El palacio fue construido aprovechando parte de los muros de la puerta de los Zambranos, que formaba parte del primer cordón de murallas de la ciudad.

Del palacio románico apenas queda nada salvo el muro que corresponde a la muralla y algunos cimientos. Hoy en día se encuentran dentro de un edificio municipal que se utiliza para actividades culturales.

Según la tradición, fue en esta puerta que Doña Urraca hizo desistir al Cid del asedio que estaba llevando a cabo contra la ciudad en 1072.

La puerta está flanqueada por dos torres semicirculares.

Entre ellos se abre un triple arco de medio punto, que permite el acceso al interior de la ciudad desde el norte.

Encima hay un escudo muy erosionado, en el que según la tradición se ve a Doña Urraca en la ventana de su palacio. Otros estudiosos, en cambio, dicen que es el rostro del príncipe omeya Ibn al-Quitt, cuya cabeza estuvo colgada en alguna de las puertas de la ciudad por orden de Alfonso III. La verdad es que resulta difícil poder confirmar cualquiera de las dos teorías debido al gran estado de erosión.