Documentat per primera vegada l’any 1065, el castell de Nargó tingué diverses titularitats al llarg de la seva història. Fou emplaçat a l’anomenada roca Roja, controlant el camí que resseguia la vall del Segre i, si bé inicialment fou un castell comtal, acabaria sota la jurisdicció dels vescomtes de Castellbò, ja avançat el segle XIII, de manera que marcaria els límits meridionals del vescomtat. L’any 1513, la reina Caterina de Navarra, descendent dels vescomtes de Castellbò i senyora del vescomtat, estava en guerra amb el rei Ferran el Catòlic. En el decurs d’aquesta guerra, que fou guanyada pel monarca espanyol, les tropes d’aquest darrer envaïren els dominis de la reina Caterina i enderrocaren els seus principals castells, entre ells el de Castellbò, que era el que tenia una càrrega més simbòlica, i també tots aquells castells que definien les fronteres vescomtals, principalment els de la vall Ferrera i també el de Coll de Nargó.