La primera notícia d'aquest temple data del 1024, quan Ramon III de Pallars Jussà i el prevere Galindo Oriol es van permutar la meitat de Santa Maria de Noals per la meitat de Sant Martí, amb tots els seus alous i possessions. El comte va cedir la seva part al monestir de Santa Maria d'Alaó. Tres anys més tard, el comte cedia al monestir l'altre meitat, a canvi de cinc modis de blat i una mesura de vi anuals.

Castanesa va ser un lloc amb constants litigis per la jurisdicció entre la Seu d'Urgell i el monestir de Santa Maria d'Alaó. En l'any 1055, el comtes de Pallars van reconèixer els drets que tenia sobre aquest temple el cenobi d'Alaó. 

L'edifici romànic va ser profundament modificat en el segle XVIII, segons consta en un carreu del presbiteri on es veu la data de 1735.

Del temple original es conserva part de la nau, coberta amb volta apuntada, reforçada per arcs torals. A aquesta nau se li van afegir capelles laterals, es va canviar la capçalera per una plana i es va construir un cimbori.

També és d'època romànica, tot i que amb algunes modificacions, la torre campanar, de planta quadrada i adossada en el mur sud. És totalment llis amb finestres de mig punt en el pis superior.