Al cim del penyal Ayllón podem contemplar les restes del castell que va donar nom a la població. Els seus orígens es remunten a l'època musulmana, si bé el que podem observar avui en dia pertany a les construccions realitzades durant els períodes romànic i gòtic.

Entre les restes destaca la gran torre romànica. El mur del costat est es va enfonsar i durant el procés de restauració, a que està sotmès des de fa anys el monument, es va reconstruir, tal i com es pot observar per la diferència de color dels carreus.

La porta d'accés està en el mur sud, a l'alçada del primer pis. La porta que podem trobar arran de terra s'ha realitzat en època moderna, quan es va adequar l'edifici com a centre d'interpretació. Habitualment la planta baixa era destinada a magatzem i només tenia accés des de dintre de l'edificació.

L'interior de la torre es va modificar durant el regnat de Pere IV, seguint els cànons gòtics. Així doncs, es va substituir la volta de la gran sala de la planta baixa, que era de canó, per una volta de creueria. També es van reformar les altres plantes, canviant fins i tot la seva alçada.

En el pis superior podem veure algunes obertures de mig punt, la majoria de les quals van ser cegades. Probablement permetien l'accés a un cadafal.

A pocs metres d'aquesta torre es poden veure els fonaments i part dels murs del que podria ser una altra torre de similars característiques.

Però en temps de Pere IV no només es va reformar la torre romànica, si no que es van construir noves dependències. D'aquestes queda encara en peu una torre octogonal i part d'una sala amb volta de creueria adossada al mur nord. La torre està dividida en quatre trams visibles des de l'exterior gràcies a unes línies d'imposta. La sala gòtica està en fase de reconstrucció, ja que només resta en peu el mur oest i part del sud.

Envolta el recinte un anell de muralles, reforçat amb alguna bestorre. Es conserva en força bon estat, malgrat que en molts trams ha perdut bona part de la seva alçada original.