L’antic castell de Tost, avui en dia se’ns mostra molt fragmentat. Les restes se situen en el lloc on actualment hi ha la casa que va ser rectoria del poble. L’estructura defensiva apareix documentada, per primera vegada, al segle IX. S’hi conserven restes d’algunes escales d’accés a la part superior de la roca sud, així com una cisterna de planta trapezoidal. A part d’això, cal esmentar que, les dependències del castell, ocupaven part de la rectoria, no obstant, la superposició de construccions impossibilita la clara delimitació de l’abast d’aquestes estructures. Arnau Mir de Tost, conqueridor d’Àger al segle XI, fou el titular més cèlebre d’aquest castell i del seu senyoriu.