Restes del que fou castell dels barons de Peramola, esteses sobretot a l’edifici del Casino, a cal Mestret i al Castell. Al casino encara es conserven dependències del castell, destacant la capella de la Immaculada, la més gran. El cos central de la residència baronial és el castell. De l’original medieval, només se’n conserven poques filades de carreus regulars. A cal Racó, també a la plaça del Castell, hi ha algunes restes que han fet suggerir que també formava part del nucli original del castell.