Las primeras noticias del castellum Espalargi datan del año 1040 cuando era una posesión de la canónica de Santa Maria de la Seu. Como muchas fortalezas de la zona, fue cambiando de manos entre las familias nobles. En 1315 era propiedad de Berenguer de Rajadell. Un año más tarde era el señor Joan de Concabella. En 1590 aparece como una propiedad de los marqueses de Anglesola. Posteriormente pasó a manos de los Rocabertí. Al extinguirse este apellido pasó por varias familias italianas como los Pinelli,  los Pignatell o los príncipes de Belmonte. Con la abolición de los señoríos en el siglo XIX se vendió el castillo y fue adquirido por la familia Rovira, que lo restauró.

Inicialmente se encontraba aislado en la cumbre de un pequeño cerro, junto al río Sió. Pero a medida que la frontera se fue alejando y perdió su valor estratégico, se construyeron casas a su alrededor. En 1636, había 23 casas y una muralla que las rodeaba.

La construcción actual corresponde básicamente a las ampliaciones y reformas hechas en el siglo XVI. Todavía se conservan algunos elementos de las construcciones anteriores. Dentro el recinto del castillo encontramos una construcción circular, que podría corresponder con la torre circular del siglo XI.

El cuerpo central corresponde a un edificio rectangular edificado entre los siglo XIII y XIV. En este espacio encontramos la puerta de entrada, formada por un gran arco de medio punto dovelado y encima suyo una gran arcada gótica de trece metros. El balcón fue añadido posteriormente, en el siglo XVIII.

A ambos lados de este edificio central se construyeron nuevas estructuras en el siglo XVI. Es en este momento cuando se configura en buena parte la apariencia actual del castillo, si bien sufrió numerosos desperfectos durante la Guerra Civil, cuando fue ocupado militarmente y sufrió dos bombardeos.

En la planta baja, nada más cruzar la puerta accedemos a una sala con un gran arco de piedra, que sirve de refuerzo a unas sencillas bóvedas de arista. En esta misma planta encontramos las estancias destinadas a los sirvientes y al cuerpo de guardia, hoy convertidas en un museo de herramientas tradicionales.

Una escalera de caracol nos lleva a los calabozos, al pozo de hielo y a la bodega.

En el primer piso, encontramos la gran sala noble. Destacan los trabajos escultóricos de las puertas, donde se puede ver un escudo de la familia Rocabertí. Las diferentes puertas comunican con la capilla, el dormitorio y una terraza con bellas vistas de la Segarra.