A la part superior del penyal on hi ha Santa Maria de Castell-llebre hi ha diversos panys de murs que formarien part del castell medieval. La superposició d’estructures i la modificació de l’espai fan que la interpretació de les restes del castell siguin difícils.