Les primeres notícies de l'existència d'un temple en aquesta zona, corresponen a la carta de fundació de Vilafranca de Conflent, el dia 9 d'abril de l'any 1090 o 1091. Aquest temple, autoritzat per Artau II, bisbe d'Elna, amb la condició que estigués subjecta a la canònica agustiniana de Santa Maria de Cornellà de Conflent, que havia de ser fundada per Guillem Jordà de Cerdanya, fill del comte Guillem Ramon I de Cerdanya. 

El 4 de març de 1097 Guillem Jordà va fundar la canònica i el seu pare va demanar al bisbe que confirmés la dependència de l'església de Sant Jaume a la mateixa.

L'església va ser construïda en dos moments ben diferenciats. La nau de tramuntana es va edificar en el primer quart del segle XII, mentre que la del costat sud es va construir a finals del XIII.

La primitiva nau és la meitat d'ample que l'afegida posteriorment. La seva coberta no és l'original, ja que es va sobrealçar en el moment en que es va construir la segona nau i es van construir la gran arcada que comunica les dues naus. Es conserva part de la motllura on arrencava la volta original.

Els grans arcs descansen en columnes quadrades. El seu àbac està decorat amb motius vegetals.

La nova nau es va construir en l'espai existent entre el temple primitiu i la muralla, en l'indret on es trobava un petit claustre canonical. Com la nau nord, està coberta amb una volta apuntada, tot i que en aquest cas és de major alçada.

En aquesta reforma també es ca derruir la capçalera original i es va allargar el temple per llevant.

També és d'aquesta època el campanar de torre, situat en l'angle nord-oest. El pis superior, on trobem grans finestres apuntades i el coronament amb merlets piramidals, es va realitzar durant el segle XIV.

El temple té dues portes d'accés, actualment situades en el mur nord.  La més occidental es troba en el seu lloc original. Està construïda en marbre rosat, molt característic a la zona. Està formada per dos arquivoltes en gradació, que envolten un timpà llis i que es recolzen en quatre columnes.

L'arquivolta exterior està decorada amb caps humans i d'animals.

La segona, en canvi, presenta boles i rosetes i la tercera té una decoració helicoïdal i rosetes.

Tres de les quatre columnes són llises, mentre que la interior del costat dret té forma d'espiral.

Els quatre capitells estan bellament decorats. Van ser realitzats pel mestre de Cuixà, doncs en el claustre del monestir es podien observar capitells pràcticament iguals. Malauradament alguns d'aquests capitells  han abandonat el claustre del monestir i es troben en el museu The Cloisters de Nova York i en el Louvre de París.  En tots quatre podem veure petits caps humans sota l'àbac. Els dos capitells exteriors estan decorats amb motius vegetals, mentre que en els interiors veiem esculpits a uns lleons.

Al damunt de les impostes dels dos capitells exteriors, trobem dos lleons, que tenen les potes davanteres sobre un cap humà.

La porta conserva el pany i el forrellat de tradició romànica.

En el moment de la construcció de la segona nau, es va traslladar la porta que comunicava amb el claustre cap al mur nord, prop de la capçalera. A banda de ser més senzilla, també és més estreta i de major alçada que la principal.

Presenta una única arquivolta  decorada amb un entrellaçat perlat, com el que podem trobar en les tribunes de Serrabona i Cuixà.

En el capitell de l'esquerra podem veure uns grius alats disposats de manera oposada, però amb un única cap i mossegant-se les ales. En el costat dret, en canvi, veiem parelles lleons amb el cap únic en el registre superior i lleones llepant-se les potes en l'inferior. Novament són motius que trobem tant en Serrabona com en Cuixà.

Com succeeix en la porta principal, es conserva part del forrellat i la forja romànica.

Aquesta portalada té un rèplica exacta en l'església de Santa Maria de Brullà. Només es diferencien en que la de Vilafranca està realitzada amb el marbre rosa del Conflent i la de Brullà amb marbre blanc de Ceret.

En l'interior del temple es conserva la pica baptismal del temple de Sant Andreu de Bell-lloc. Està tallada en marbre i esculpida amb uns motius difícils d'identificar i de traça molt primitiva. Està datada en el segle XII.

En l'escala que ens porta cap a la torre campanar podem trobar diversos capitells romànics.

També mereixen una especial atenció les làpides que podem trobar tant en l'exterior del temple com en el seu interior.