Se construyó en el año 890, si bien de esta edificación sólo quedan los cimientos. Durante el reinado de Fernando I se construyó el edificio actual. Ya en época de Felipe V se reforzaron los muros y se adecuaron a las necesidades de la artillería.

Tiene planta romboidal y está configurado en dos recintos fortificados. El exterior conserva todavía algunas pequeñas aperturas de la época tardo-románica. La más conocida era la de Santa Coloma, hoy cegada. El acceso principal todavía conserva restos de la estructura que hacía funcionar el puente llevadizo.

El segundo recinto tiene dos torres en los extremos norte y sur de planta cuadrada. La torre del homenaje tiene planta pentagonal. El interior del patio se reformó el año 1704.

Cerca del Alcázar, delante de la iglesia de San Isidoro, podemos encontrar la conocida Puerta de la Traición, que forma parte de la muralla que rodeaba la ciudad