L'antic recinte emmurallat de la Guàrdia era format per les cases del capdamunt del poble. D'ell es conserva encara perfectament la porta d'accés, coronada per un arc de mig punt. L'antic castell es trobava a l'interior d'aquest recinte, a tocar de l'església de Sant Esteve, i estava format per diverses estructures construïdes sobre la roca. Hi ha restes d'una torre i d'un cos quadrat amb el mur nord més o menys ben conservat. L'aparell és irregular però amb tendència a formar filades uniformes. El lloc de la Guàrdia apareix esmentat per primera vegada l'any 1004, tot i que el castell devia ser força més antic, apareixent al testament d'Arsendis, esposa d'Arnau Mir de Tost, l'any 1078.