Construcció que devia estar entorn de l’església romànica de Sant Andreu. No se sap si era un recinte ampli o una torre mestra i un clos més reduït. Les restes són una sèrie de murs de ponent de l’església, sobre una cinglera i restes d’un poble medieval. És esmentat per primera vegada l’any 919, en les vendes d’unes cases i terrenys, amb el nom de “Castro Uliana”, la vila i el castell d’Oliana consta repetidament en la documentació dels segle XI i XII, en donacions dels comtes d’Urgell, sota el domini dels quals es trobava la fortalesa. En el fogatge de 1356-1370 pertanyia al vescomtat de Cardona. El 1381, apareix dins la vegueria de la Cerdanya com a possessió del comte d’Urgell. El 1414, el rei Ferran I donà a Antoni Cardona i Luna, senyor de Maldà i Maldanell. El seu fill ven la senyoria a Ramon d’Altarriba el 1448, i la muller, el cedeix el 1453 al capítol d’Urgell, senyor del terme fins al segle XIX.