El castillo de Rocafort era conocido con el nombre de Nèspola y era el centro del término del mismo nombre, que también comprendía los castillos de Mura y Talamanca. A finales del siglo X se dividió en los tres términos de los citados castillos. El del castillo de Rocafort ocupaba la superficie del actual término del Pont de Vilomara i Rocafort, que a finales del siglo XX vio invertido el orden de los municipios en su nombre.

La primera noticia de la fortificación data del año 926. En 1022 encontramos el primer documento dónde aparece citado el castillo, también con el nombre de Rocafort. A partir de este momento se deja de utilizar su nombre primitivo.

El año 976 el conde Borrell vendió el castillo a Riculf.  Existe un documento de compraventa anterior en que el conde Sunyer lo vendió a un tal Adrevonso, que ha resultado ser apócrifo.

En 1281 Umbert de Rocafort vendió el castillo y sus derechos a Berenguer de Sitjar (de Cigario).  Esta familia residió en el castillo poco más de cincuenta años. Pere de Sitjar murió en 1348 . Su viuda dejó en testamento el castillo al monasterio de Sant Benet de Bages. El abad Arnau tomó posesión de la fortificación el año 1377. Este dominio se terminó con la desaparición de los señoríos jurisdiccionales y con la exclaustración del monasterio del 1835.

Entre la vegetación se puede observar todavía la plata del castillo y el foso que lo protegía. La parte más visible es un fragmento de muro en el sector de mediodía, de casi once metros de longityud y ocho de altura.

En su parte superior, realizada con una fábrica de sillares más pequeños, encontramos una ventana cuadrada. La diferencia en los materiales constructivos evidencia que el edificio fue reformado a lo largo de los siglos.

Del resto de muros quedan algunos fragmentos, si bien no tan importantes como el descrito anteriormente. Hasta el momento, no se han encontrado restos de su torre maestra, ni de la capilla del castillo, dedicada a San Vicente.