Fue la casa dónde el Cid se crió, junto a los infantes de Castilla y León, bajo la tutela de la Alcaide de la ciudad Don Arias Gonzalo, del que era pariente. Conjuntamente con el de Doña Urraca, son los dos palacios románicos que todavía podemos ver en la ciudad.

En el muro exterior podemos ver algunas ventanas geminadas prerrománicas del siglo X que han perdido el mainel. 

Sus muros formaron parte de la muralla de la ciudad. En uno de los extremos podemos encontrar una de las entradas a la ciudad: la Puerta Óptima.

El edificio es de factura románica excepto la torre, que ha sido construida posteriormente aprovechando algunos elementos encontrados en la zona.