Lossimäele on nime andnud mäel asunud Vana-Antsla paruni jahiloss. Vana-Antsla mõis oli ümbruskonna suurimaid, jahiloss asus mõisa piirimail keset põlismetsi. Loss hävis 1921. aastal tulekahjus. Kahekordse rõdudega hoone asukohta tähistavad praegu suured elupuud, lehised, ahjuvaremed ja maakivikelder.