Els orígens d'aquesta fortalesa els trobem durant la dominació àrab, quan era coneguda com Abinyuyas, de la que deriva el nom actual de la població. Va ser conquerida pel rei  Sancho el Mayor de Navarra, que va iniciar la construcció de diverses fortificacions per defensar la conca del Cinca i permetre la reconquesta de la del Isàbena. 

Va ser construïda per mestres llombards sobre la base de l'antiga torre musulmana.

La torre té planta rectangular de gairebé 14 metres de llarg per 8 d'ample. Els seus murs, de més de dos metres d'ample en la base, s'alcen fins els 24 metres d'alçada. La distribució interior correspon a la restauració realitzada, si bé és la mateixa que originàriament existia, dividint així la torre en cinc plantes. Per construir el sostre de la quarta planta i el terra de la cinquena, va ser necessari reconstruir els dos arcs de mig punt que sostenen l'estructura de fusta.

Per sort, la torre no es va esfondrar i manté la seva alçada original. Durant les obres de restauració es van refer els elements de fusta, desapareguts per causa del pas del temps, com són les separacions entre pisos, les escales i l'espectacular cadafal.

En la segona planta trobem la porta d'accés a la torre. Està formada per un arc de mig punt adovellat, que envolta un timpà i una llinda llisos.

La majoria de finestres són de tipus espitllerat. En la tercera planta, en els murs est i oest s'obrien unes finestres geminades, característiques de l'arquitectura llombarda. La del costat oest encara es conserva, si bé la del mur est ha esta cegada.

Una finestra de similars característiques s'obre en el mur sud, en aquest cas en la quarta planta.

La torre formava part del castell, del que encara es conserven alguns fragments de murs.

El més destacat es troba en el sector est de la fortificació, on es va construir la capella i de la que encara es conserva l'absis, integrat a la muralla.

L'absis semicircular té nombroses obertures defensives, especialment en la part inferior, destinats a abocar-hi líquids bullint o en flames.

Al seu costat s'alça l'església parroquial, dedicada a l'Assumpció. Es va construir en el segle XVI, encara en estil gòtic, tot i que amb una clara influència renaixentista.