Majestuoso castillo, de apariencia neo-gótica, que se levanta sobre una escarpada roca calcaría, en la que confluyen los ríos Eresma y Clamores. Sobre ella ya se instalaron los celtas y posteriormente los romanos. 

Se desconoce si existió alguna edificación visigoda o musulmana en la zona, pero es muy probable que si, pues poco tiempo después de la conquista de la ciudad por Alfonso VI en 1088, se empieza a construir una fortificación en este lugar. De esta época nos han llegado algunas ventanas geminadas, puertas, capiteles y pinturas murales de influencia musulmana, como las que se pueden encontrar en la Torre de Hércules.

Alrededor del patio de armas también podemos encontrar restos de puertas y ventanas románicas. En algunas de ellas todavía se conserva la policromía. 

Alfonso VIII, en el siglo XIII, amplía el edificio. Se construye el ala norte ya en estilo gótico cisterciense. También son de esta época la torre del homenaje y las dos torres que hay a ambos lados protegiéndola.

Tuvo un papel destacado en las luchas entre los nobles castellanos del siglo XIII, momento en que se construyó un nuevo perímetro de murallas, que permitían defender el alcázar a pesar de la aparición de los primeros cañones.

La casa de los Trastámara amplió el castillo, convirtiéndolo en palacio. Ya en el siglo XIV, acabados los periodos bélicos, se amplía el palacio para poder acoger a la numerosa corte que allí se alojaba. Es también en este siglo que se aumenta la altura de la torre de entrada (Torre de Juan II) y se construyen muchas de las pequeñas torres que hay en el perímetro del castillo. El interior se decora profusamente convirtiéndolo en uno de los palacios más suntuosos de Europa.

El 13 de Diciembre de 1474 la infanta Isabel sale del alcázar para dirigirse hacia la Plaza Mayor de Segovia dónde fue coronada Reina de Castilla

Felipe II reformó el castillo añadiendo las cubiertas de pizarra que le dan un aspecto de castillo centroeuropeo. También modificó el patio de armas, decorándolo al gusto de la época. Fue este mismo rey el que trasladó la corte a Madrid, y por lo tanto el alcázar irá perdiendo protagonismo a partir de este momento.

En el siglo XVI se convierte en prisión de Estado. En sus calabozos hubo prisioneros hasta el año 1931. A partir del siglo XVIII compartió la función de prisión con la de academia militar.

Durante la Guerra de la Independencia y las guerras Carlistas, el alcázar recuperó su función militar.

El año 1862 se declaró un incendio que ardió durante tres días. Se calcinaron todas las cubiertas y techos de madera. Sólo la torre de Juan II se salvó de las llamas.

Durante la restauración o bien se reprodujeron los elementos ornamentales gracias a grabados de la época o bien se trajeron de otros palacios o edificios de la zona.