Restes d’una fortalesa documentada des de principis del segle X, situat al capdamunt de la roca que culmina el nucli de Castellbò i que, des del 989, depenia dels vescomtes d’Urgell, anomenats de Castellbò a partir d'aleshores. Actualment tan sol s'hi conserven parts d’alguns dels murs, compostos per carreus petits i irregulars. Tanmateix, podem pensar que, en origen, havia de ser una estructura de grans dimensions. Als vessants nord i oest del turó hi ha diversos llenços de paret de gruixos considerables i d’aparell matusser lligat amb morter. Anteriorment, tal i com el seu nom indica, complia un ús defensiu. Recentment s’ha restaurat.