Malauradament ben poques restes es conserven del castell situat en el poble del Querforadat. Només queden en peu alguns murs i les restes d'una torre circular i d'un recinte rectangular. En una de les parets de l'antic castell es recolza la masia de cal Perinxes.

Les primeres notícies que tenim daten de l'any 1109. Va pertànyer als comtes de Cerdanya durant el segle XI. Posteriorment va cedit a la família Pinós.