En la cumbre de la peña Ayllón podemos contemplar los restos del castillo que dio nombre a la población. Sus orígenes se remontan a la época musulmana, si bien el que podemos observar hoy en día pertenece a las construcciones realizadas durante los periodos románico y gótico.

Entre los restos destaca la gran torre románica. El muro del lado este se hundió y durante el proceso de restauración, a que está sometido desde hace años el monumento, se reconstruyó, tal y como se puede observar por la diferencia de color de los sillares.

La puerta de acceso está en el muro sur, a la altura del primer piso. La puerta que podemos encontrar a ras del suelo se ha realizado en época moderna, en el momento en que se adecuó el edificio como centro de interpretación. Habitualmente la planta baja estaba destinada a almacén y sólo tenía acceso desde dentro de la edificación.

El interior de la torre se modificó durante el reinado de Pedro IV, siguiendo los cánones góticos. Así pues, se sustituyó la bóveda de la gran sala de la planta baja, que era de cañón, por una bóveda de crucería. También se reformaron las otras plantas, cambiando incluso su altura.

A pocos metros de esta torre se pueden ver los cimientos y parte de los muros de lo que podría ser otra torre de similares características.

Pero en tiempos de Pedro IV no sólo se reformó la torre románica, si no que se construyeron nuevas dependencias. De estas queda todavía en pie una torre octogonal y parte de una sala con bóveda de crucería adosada al muro norte. La torre está dividida en cuatro tramos visibles desde el exterior gracias a unas líneas de imposta. La sala gótica está en fase de reconstrucción ya que sólo resta en pie el muro oeste y parte del sur.