Nagu enamik eestlaste linnuseid, paikneb ka Sangaste linnamägi looduslikul mäel, mida inimesed on aegade jooksul vastavalt vajadusele kindlustanud. Sellest annavad tunnistust vallide ja kraavidega järsud neljakandilised nõlvad. Linnamäe lähistelt teisel pool Kirgjärve kulgenud kunagi vanaaegne maantee Sangaste mõisast üle Harimäe Pühajärve poole. Siin oli röövlid sageli ketid üle tee tõmmanud, inimesed kinni pidanud ja nad paljaks röövinud – sellest sai org omale nime Röövliorg.
