Su estratégica posición ha hecho que a lo largo de los siglos Medinaceli fuera codiciada por los diferentes ejércitos que han ocupado la península ibérica. Primero fueron los romanos, después los árabes, a continuación los cristianos, que una vez eran aragoneses, otra castellanos y otra navarros.  Todos intentaron poseer la villa, para así tener controlada la ruta que unía Zaragoza con Mérida.

En época de dominación musulmana, la península se dividió en zonas o marcas para la mejor defensa. La Marca Superior tenía su sede en Zaragoza, la Inferior en Mérida y Badajoz y la Media en Toledo, hasta que en el año 946 pasó a Medinat Salim (Medinaceli). Allí se construyó una alcazaba, que posteriormente, ya en el siglo XIV, los primeros condes de Medinaceli reforzaron y transformaron para establecer su castillo. Fue su residencia hasta que en el siglo XVI se construyó el Palacio Ducal en la Plaza Mayor.  

Está situado en el extremo suroeste de la población, separado de ésta por el "Campillo del Castillo", una explanada dónde todavía se conservan estructuras de construcciones árabes.

Tenía planta rectangular, con tres torres circulares en los ángulos, mientras que la cuarta era de planta cuadrada, que realizaba las funciones de torre del homenaje.

Las defensas de la villa se completaban con un anillo de murallas, ya existente en época romana y que fue reconstruido y modificado a lo largo de los siglos.  La primera gran reforma data del siglo X, cuando Abderraman III hizo reconstruir las defensas de la ciudad.  Lo mismo hizo Alfonso I el Batallador al conquistar la villa en el siglo XII.

De las puertas que tenía el recinto amurallado sólo se ha conservado el magnífico arco de triunfo romano y la puerta hoy conocida como "árabe", si bien sus orígenes son romanos, al estar atravesada por el Kardo.  Seguramente fue reformada durante la ocupación árabe, de ahí su nombre, pero su aspecto actual probablemente se configuró en el siglo XIV, cuando se construyó el arco apuntado.