Els orígens d'aquesta fortificació es remunten a l'època de dominació islàmica, quan era conegut com Ibn Awar. Es tractava d'un lloc estratègic i per tant de fortes disputes entre el regne d'Aragó i les tropes islàmiques. El rei aragonès Ramiro I va conquerir-lo en 1058 i va ordenar la construcció de noves dependències i defenses per tal de garantir la seguretat de la frontera, encara inestable.

D'aquesta època són les muralles perimetrals que defensen la muntanya i que són de secció rectangular.

Desaparegut l'enemic islàmic, el castell va seguir desenvolupant un paper important en la defensa de la frontera, en aquest cas contra els comtats catalans, fins la unificació de les dues corones.

El castell passa a ser residència comtal i es construeix una església romànica en el seu interior. Algunes de les seves pedres es van reutilitzar en el segle XIV per construir el nou temple gòtic.

Entre elles destaca un carreu on, malgrat l'erosió, encara es poden veure alguns elements esculpits, que els estudiosos relacionen amb un signe del zodíac.

També es poden veure carreus amb marques de picapedrer o amb un text gravat.

El rei Jaume II va restaurar el comtat de Ribagorça, atorgant-lo al seu fill l'Infant Pere. La seu del comtat es va situar en Benabarre. És en aquest moment que es construeix el gran temple dedicat a Santa María. El comtat va existir fins 1596, quan va ser abolit i incorporat a la corona per ordre de Felip II.

El que podem observar avui en dia és només el darrer tram del temple, el que corresponia als peus de la nau.

Per les restes trobades durant les diferents campanyes d'excavació arqueològica, es pot afirmar que el temple tenia tres trams més i una capçalera poligonal, sota la qual hi havia una cripta quadrada.

En el que ha sobreviscut del temple podem observar dues capelles excavades en el mur nord, obertes a la nau mitjançant un arc apuntat.

La volta és de creueria amb la clau de volta esculpida i pintada.

En el mur nord, fora del recinte actualment tancat, es conserva una altra capella lateral.

La porta d'accés es troba en el mur sud. Està formada per arcs apuntats en gradació, protegits per un guardapols.

La torre de campanar va ser ampliada en construir el temple gòtic. Té planta quadrada i finestres per a les campanes en els pisos superiors.

Durant la Guerra de Successió, la Guerra de la Independència i les Guerres Carlistes van convertir el castell en ruïnes.   Posteriorment en el segle XIX es van augmentar l'alçada dels murs i es va adaptar per a l'ús d'armes de foc lleugeres.

En 1832 es va començar a construir en estil neoclàssic el temple parroquial en el centre del poble. Després de la Guerra Carlista i amb el castell força malmès, s'utilitzen part dels carreus del temple per construir la nova església. També es van traslladar els retaules i l'orgue del cor. Malauradament aquests van ser destruïts durant  la Guerra Civil de 1936.

Les ruïnes de l'església són adaptades com a pavelló militar, dividint-la de dos pisos, ara eliminats.