L'actual palau es va construir en el segle XVII sobre l'anterior del segle XII.

En ocasió de les restauracions fetes al palau episcopal, aparegueren les arcades del pati de l’antic edifici romànic. Aquestes arcades permeten d’imaginar una galeria senzilla sense decoració, com les del claustre de Sant Pere. Precisament aquesta galeria és gaire bé paral·lela a la galeria de ponent del claustre catedralici. 

A l’altre costat d’aquest pati, hi ha dues sales contigües amb finestres de doble esqueixada i cobertes amb voltes de canó, de les que es desconeix la seva utilitat original. La tradició popular afirma que les portes i finestres que hi ha a la dreta del pati corresponen a les antigues presons.