Restos de una fortaleza documentada desde principios del siglo X, situada en la cima del peñasco que corona el núcleo de Castellbò y que, desde el año 989, dependía de los vizcondes de Urgell, llamados de Castellbò a partir de entonces. Actualmente solo se conservan partes de algunos muros, formados por sillares pequeños e irregulares. No obstante, se puede suponer que originalmente se trataba de una construcción de grandes dimensiones. En las laderas norte y oeste del cerro se conservan lienzos de muro de gran grosor y aparejo tosco unido con mortero. Como indica su nombre, antiguamente tenía un uso defensivo. Recientemente ha sido restaurada.