El temple que podem contemplar va ser construït entre els segles XI i XII. En el dubtós document de 819 de la consagració de la catedral de la Seu d'Urgell, ja s'esmenta aquesta parròquia, si bé l'autenticitat d'aquest document està en dubte.  Les primeres notícies documentades i de font fidedigne corresponen a l'any 1076.

L'església és d'una sola nau acabada en un absis semicircular.

Aquest està decorat externament amb lesenes i arcs cecs.

Al llarg dels segles el temple ha patit nombroses modificacions. Es van afegir capelles laterals i una sagristia. També es va substituir l'embigat de fusta per voltes de creueria. En el mur sud s'obre una senzilla porta de mig punt precedida d'un porxo. 

En el mur nord s'alça el campanar de torre. Té planta quadrada i té una alçada de quatre plantes.

Aquests estan separats per frisos de dents de serra i arcs cecs. En el primer pis inferior trobem una finestra de mig punt en cada costat.

A la segona planta trobem dues finestres geminades a cada mur i finestres triforades en els dos pisos superiors.

El campanar està coronat amb una coberta de pissarra piramidal i una agulla. 

A l'interior del temple es conserven diversos elements força interessants. Al baptisteri trobem dues piques bautismals. Una és d'immersió, pre-romànica i està decorada amb figures humanes i un cavall

L'altra és una pica circular decorada amb motius geomètrics i vegetals, recolzada sobre tres peus esculpits també amb motius geomètrics.

A dins del temple també es pot trobar una pica d'oli de dos cossos, decorada amb figures de lleons, un àguila i un xai.   

També és digne de menció el retaule gòtic del segle XV. En 1989 va ser restaurat i ara el podem contemplar amb tota la seva esplendor. Consta de 23 taules que representen escenes com la del martiri dels sants Just i Pastor, patrons del temple i de la vida de la Mare de Déu i del nen Jesús com són l'Anunciació, la Visitació, la Nativitat i l'Epifania. Envolten el retaule unes pintures murals dels segles XVI i XVII. Representen diversos personatges religiosos com les Virtuts Teologals (Fe, Esperança i Caritat), les Virtuts Cardinals (Prudència, Justícia, Fortalesa i Temperància), Crist Ressucitat, els quatre Evangelistes i el Pare Etern, entre d'altres. Van ser descobertes l'any 1992 durant unes tasques de restauració.

Per accedir al recinte de l'església, cal passar pel costat d'una antiga torre de defensa, convertida en comunidor.

Però aquests no són els únics edificis romànics del petit nucli de Son. A escassos 100 metres a ponent del temple de Sant Just i Sant Pastor trobem les restes de l'antiga església de Sant Pere, convertida en habitatge i posteriorment abandonada.