Cal Servós és una autèntica casa forta situada al capdamunt d'un tossal i formada per un mòdul principal, on es troben les estances dels propietaris, i diversos habitacles secundaris i estructures agroramaderes al voltant d'una ampla era, encerclada per les edificacions. El conjunt és cobert per un llosat de doble vessant i ressalta la portada i les cantonades amb carreus ben treballats. Aquest edifici principal s'obre a l'era central a través de dos pisos de galeries d'arcades en arc de mig punt, el superior dels quals presenta baranes tornejades de fusta a les obertures. Segons el testimoni de l'acta de consagració de la catedral de la Seu d'Urgell, antigament l'indret de Castellàs s'anomenava "Serbaos", topònim que s'ha mantingut com el nom de la casa més important del poble. Aquesta casa fortificada fou alçada sobre una fortificació anterior que es documenta l'any 1146 en el testament de Pere de Montferrer.