Название Лоссимяги (Замковая гора) дал горе находившийся на ней охотничий замок барона Вана-Антсла. Мыза Вана-Антсла была одной из крупнейших в округе, охотничий замок находился на границе мызы посреди девственного леса. Замок был уничтожен пожаром в 1921 году. Местонахождение двухэтажного здания с балконами сейчас обозначают большие туи, лиственницы, развалины печи и подвал из бутового камня.