Ens trobem davant d'un edifici pre-romànic que manté l'estructura del segle VI.

Durant molts anys s'ha cregut que es tractava d'un baptisteri, separat de la catedral, degut a la seva particular arquitectura. La descoberta de la piscina baptismal en l'interior del temple de santa Maria i de les tombes que envolten a Sant Miquel, han fet variar les hipòtesis al voltant de la funció que desenvolupava aquesta església dins el conjunt episcopal. Es tracta d'un edifici de caràcter funerari, que exteriorment presenta planta quadrada amb una creu grega inscrita al seu interior. Envoltava l'edifici una galeria porxada, en l'interior de la qual hi ha nombroses tombes excavades al terra.

Al mur est podem trobar un absis poligonal per l'exterior, mentre que a l'interior té forma de ferradura.

En ell podem trobar tres finestres d'esqueixada simple i amb un arc de mig punt en la seva part interior.

L'absis està decorat amb pintures murals, del segle VI, que guarden una estreta relació amb les que també es poden veure a l'església de Santa Maria. Estan disposades en dos registres. En el quart d'esfera es troba el primer i el seu estat de conservació és molt deficient.

Per les restes que es poden identificar, sembla ser que hi havia un Crist en majestat, rodejat per quatre àngels. Al seu costat el Sol i la Lluna.

A la part inferior podem veure amb més claredat algunes figures dels dotze apòstols i del profeta Ezequiel. Al centre podem veure uns cercles concèntrics, en l'interior dels quals hi ha un crismó vermell.

Però sens dubte l'element que més destaca de tot l'edifici són les vuit columnes que envolten la pica l'espai central. Durant molts anys en aquest espai hi havia hagut una piscina baptismal, però en les darreres obres de restauració s'ha eliminat, tal i com es pot veure en la comparativa d'imatges. Després dels estudis realitzats amb motiu d'aquestes obres, es va arribar a la conclusió que  l'element havia estat afegit posteriorment i que alterava la funció inicial del temple.

Aquest recinte delimitat per les columnes és el de major alçada de tot l'edifici i està cobert per una cúpula.

Les columnes són composades per basament, fust i capitell i sembla clar que van ser reaprofitades d'altres estructures que hi va haver a la zona anteriorment.

De fet, alguns fusts no coincideixen amb l'amplada dels capitells. Aquests presenten decoració vegetal i estan datats entre el segle VII i el IX, excepte els dels angles que hi ha al davant de l'altar, que serien d'època romana.

Les columnes dels extrems són més amples que no pas les que es troben en les parts interiors.

Sota l'absis, que està lleugerament aixecat respecte a la resta de l'edifici, hi podem trobar una cripta trilobulada.

S'accedeix a ella pel costat nord-est, mitjançant una escala i un petit passadís.

La capella central té un petit altar dedicat a Sant Celoni.

L'edifici té tres portes d'accés, malgrat que dues van estar tapiades durant molts anys (al nord i al mur oest). Aquestes dues eren les portes originals i estan construïdes amb carreus d'època romana reaprofitats. Es troben a un nivell superior respecte al paviment de l'interior del temple.

L'altra porta, situada al mur sud i per on s'accedeix a l'església en l'actualitat, és del segle XVII i està formada per un gran arc adovellat.