L'antic castell devia ocupar la part superior del poble i actualment en resten dos cossos separats sense una continuïtat clara. S'intueix l'existència de dos nivells de fortificació. Hi ha una finestreta quadrada al cos oriental. El castell dels Castells apareix documentat en una donació del comte Ermengol VII al bisbe d'Urgell Bernat Sanç l'any 1159. Formava part de la comtoria de Taús dins de la qual, de la mà de la pubilla Arnaua de Caboet, acabaria revertint al patrimoni del vescomtat de Castellbò a partir del seu matrimoni amb Arnau de Castellbò l'any 1185.