Este castillo aparece citado por primera vez en el año 977, cuando el conde Borrell II lo vendió a Unifred Amat, con la condición de que reconstruyera los muros y las torres. Inicialmente era conocido con el nombre de San Esteban. Esta fortaleza sustituyó a una de origen andalusí, construida sobre un asentamiento íbero, tal y como han demostrado las diferentes campañas arqueológicas realizadas en el sector este del castillo.

En 1076, Rotland Bernat vendió la mitad de la fortaleza al conde Ramón Berenguer I, al tratarse de un castillo situado en la marca del condado de Barcelona. La cercana ciudad de L'Arboç era una de sus posesiones, hasta que se independizó en 1174.

Entre los siglos XII y XIV los Castellet ocuparon cargos importantes en la administración real y participaron activamente en la conquista de la Cataluña Nueva. A pesar de esta importancia, la saga se extinguió con la muerte de Blas de Castellet. Entonces el castillo volvió a la Corona. Martín el Humano vendió su jurisdicción a Pere de Torrelles en 1405.

De esta familia pasó a los Desplà y de éstos a Bernat de Requesens en 1460. Durante la guerra civil de 1462 fue asediado y conquistado por las tropas del rey Pere IV. Al final del conflicto bélico, en 1472, volvió a manos de los Requesens, que lo vendieron a Guillem de Peralta. De ahí pasó a manos de los Aguilar, los Icard y los Queralt.

A principios del siglo XIX el castillo ya presentaba un aspecto ruinoso, debido a su abandono. En 1925 fue adquirido por José de Peray y March, archivero diocesano, que lo restauró entre 1928 y 1929 en estilo neogótico

En 1999 lo adquirió la concesionaria de autopistas Acesa, que realizó una nueva rehabilitación y construyó nuevas dependencias para alojar la sede de la Fundación Abertis. Desgraciadamente esta fundación no permite realizar fotografías en el interior del castillo y sólo muestra cuatro salas a los visitantes. Mucha propaganda de la "gran tarea" para salvar el patrimonio que han hecho, pero casi no nos dejan disfrutar de él ... Todo ello resulta un poco triste y la visita es bastante decepcionante.

El conjunto que podemos contemplar hoy en día es básicamente el fruto de estas dos reconstrucciones que podríamos considerar de "fantasiosas".

En el sector este se descubrieron los cimientos de un foso y de estructuras de tipo andalusí. Son los elementos arquitectónicos más antiguos que se han encontrado hasta el día de hoy y que no os podemos mostrar por la citada prohibición de realizar fotografías en su interior.

Ya de época románica se conserva la torre maestra. Tiene planta circular con unos 5 metros de diámetro en el interior y unos muros que hacen más de un metro y medio de ancho. Su altura es de aproximadamente 15 metros. Esta construcción, datada en el siglo XII, conserva algunas ventanas de medio punto originales. La puerta de acceso se rehizo durante la restauración, momento en que se repararon sus muros y se aumentó ligeramente su altura.

Entre las pocas estancias que han sobrevivido de este primitivo castillo, destaca una habitación noble, en la que todavía se conserva la letrina y parte de su desagüe.

Al este, el recinto fortificado se cierra con una muralla correspondiente a un segundo momento constructivo, que tenemos que datar en el siglo XIV. Está reforzada con torres en sus ángulos.

En el lado meridional se abría la puerta original de acceso al recinto, hoy totalmente reconstruida.

De esta época también era el palacio gótico que se construyó en el sur de las estructuras románicas. En la actualidad, en su lugar se alza un edificio de nueva factura, que ocupa el mismo espacio volumétrico que el antiguo palacio.

Al este del recinto fortificado encontramos la antigua iglesia del castillo, dedicada a San Pedro .