Функции из семейства RswProjectionReforming* изменяют проекцию растра и преобразуют его содержимое к необходимой проекции. Но они не могут преобразовать его, если проекции у исходного растра нет. Нельзя преобразовать из ничего в WGS-84, например.
Чтобы задать начальную проекцию растру, необходимо его открыть и вызвать mapSetRstProjectionData, mapSetRstEllipsoidParam, mapSetRstDatumParam, указав соответствующие данные. Получить их Вы можете при помощи функций работы с СК или заполнить самостоятельно, если Вы понимаете что и как заполнять.
Не вижу проблемы с использованием HMAP - в своей функции открываете, назначаете и закрываете растр.
Функции RswProjectionReforming и RswProjectionReformingUn устарели, потому что в них только MAPREGISTER передается.
Чтение TAB-файла будет исправлено в следующей версии.