El nucli de la Clua s’aixeca damunt d’un penyal, en un indret estratègic, sobre un meandre del riu Segre. Les estructures de l’antic castell es troben a cal Gitori, la casa situada al capdamunt del poble. Més enllà d’afegits més recents, la part medieval es concentra en un cos principal, de secció rectangular, amb finestres espitllerades i un gran finestral a la façana meridional, originàriament coronada amb un arc conopial. El nucli ja és documentat l’any 1033.