El actual palacio se construyó en el siglo XVII sobre el anterior del siglo XII.

Con ocasión de las restauraciones realizadas en el palacio episcopal, aparecieron los arcos del patio del antiguo edificio románico. Estas arcadas permiten imaginar la existencia de una galería sencilla sin decoración, como las del claustro de la catedral de Sant Pere. Precisamente esta galería prácticamente paralela a la galería de oeste del claustro catedralicio. 

Al otro lado de este patio, hay dos salas contiguas con ventanas abocinadas y cubiertas con bóvedas de cañón, de las que se desconoce su utilidad original. La tradición popular afirma que las puertas y ventanas que hay a la derecha del patio corresponden a las antiguas prisiones.