Majestuós castell, d'aparença neo-gòtica, que s'alça sobre una escarpada roca calcaria en la que conflueixen els rius Eresma i Clamores. Sobre ella ja s'hi van instal·lar els celtes i posteriorment els romans. 

Es desconeix si va existir alguna edificació visigoda o musulmana en la zona, però és molt probable que si, doncs poc temps desprès de la conquesta de la ciutat per Alfons VI en 1088, es comença a construir una fortificació en aquest indret. D'aquesta època ens han arribat algunes finestres geminades, portes, capitells i pintures murals d'influència musulmana, com les que es poden trobar en la Torre d'Hercules.

Al voltant del pati d'armes també podem trobar restes de portes i finestres romàniques. En algunes d'elles encara es conserva policromia. 

Alfons VIII, en el segle XIII, amplia l'edifici. Es construeix l'ala nord ja en estil gòtic cistercenc. També són d'aquesta època la torre de l'homenatge i les dues torres que hi ha a banda i banda protegint-la.

Va tenir un paper destacat en les lluites entre els nobles castellans del segle XIII, moment en que es va construir un nou perímetre de muralles que permetessin defensar l'alcàsser malgrat l'aparició dels primers canons.

La casa dels Trastàmara va ampliar el castell, convertint-lo en palau. Ja en el segle XIV, acabats els períodes bèlics s'amplia el palau per tal d'acollir a la nombrosa cort que allí s'allotjava. És també en aquest segle que s'augmenta l'alçada de la torre d'entrada (Torre de Joan II) i es construeixen moltes de les petites torres que hi ha en el perímetre del castell. L'interior es decora profussament convertint-lo en un dels palaus més sumptuosos d'Europa.

El 13 de Desembre de 1474 la Infanta Isabel surt de l'alcàsser per dirigir-se cap a la Plaza Major de Segòvia on fou coronada Reina de Castella.

Felip II va reformar el castell afegint les cobertes de pissarra que li donen un aspecte de castell centreuropeu. També va modificar el pati d'armes, decorant-lo al gust de l'època. Fou aquest mateix rei el que traslladà la cort a Madrid, i per tant l'alcàsser anirà perdent protagonisme.

En el segle XVI es converteix en presó d'Estat. En els seus calabossos hi va haver-hi presoners fins l'any 1931. A partir del segle XVIII va compartir la funció de presó amb la d'acadèmia militar.

Durant la Guerra de la Independència i les guerres Carlistes, l'alcàsser va recuperar la seva funció militar.

L'any 1862 es va declarar un incendi que va cremar durant tres dies. Van cremar totes les cobertes i sostres de fusta. Només la torre de Joan II va salvar-se de les flames.

Durant la restauració o bé es van reproduir els elements ornamentals gràcies a gravats de l'època o bé es van portar d'altres palaus o edificis.