El palacio fue construido aprovechando parte de los muros de la puerta de los Zambranos, que formaba parte del primer cordón de murallas de la ciudad.

Del palacio románico a duras penas queda nada a parte del muro que corresponde a la muralla y algunos cimientos. Hoy en día están protegidos por unos cristales, que permiten visualizarlos desde el nuevo edificio construido encima y destinado a dependencias municipales.

Según la tradición fue en esta puerta que Doña Urraca hizo desistir a el Cid del asedio que estaba llevando a cabo contra la ciudad en 1072.