Pere IV d'Aragó va fer fortificar la vila i construir un castell en la part nord-oest de la població durant la Guerra dels dos Peres. Pedro I de Castella va conquerir Bijuesca en 1358. Posteriorment va ser reconquerit per Aragó, però en 1362 es va tornar a perdre a mans castellanes. Per evitar tornar-lo a perdre, Pere IV va ordenar destruir-lo un cop reconquerit. Per sort només es va executar l'ordre parcialment.

Està format per tres recintes de muralles. El superior té la planta rectangular de gairebé 40 metres de llargada i és el que millor s'ha conservat.

Encara podem veure part dels seus murs rematats per merlets i sageteres.

En aquest sector podem veure una de les torres, que en el passat defensava el castell.

Té planta rectangular i tres plantes d'alçada. En la superior podem veure les mènsules on es recolzava un matracà, encarregat de defensar la porta d'accés, situada en la part baixa de la torre. Aquesta entrada era en forma de colze, per dificultar l'entrada de tropes enemigues, una forma molt habitual en fortificacions musulmanes. Això ha fet avançar els seus orígens fins al segle XI per part d'alguns estudiosos, hipòtesi no contrastada fins ara, doncs no s'ha realitzat cap estudi arqueològic.

Malauradament, el sector nord, situat en la part més alta d'un penya-segat, ha desaparegut gairebé en la seva totalitat.

En un dels costats es conserva el que sembla ser part d'una altra torre.

El segon recinte té una planta ovalada amb gairebé setanta metres de llargada en l'eix major. Els seus murs gairebé no s'han conservat o bé han perdut gran part de la seva alçada.

L'accés a aquest segon recinte està situat junt a l'església del castell, però separat per un petit fossar.

Del recinte inferior només es conserven alguns fragments aïllats de murs situats en el sector sud-oest.

Dins aquest recinte trobem l'església dedicada a la Verge del Castell, que va aprofitar part de la segona muralla.

Té una sola nau, sense creuer i amb capçalera plana, modificada posteriorment i en la que es veuen restes de la muralla.

Als peus de la nau s'alça la torre campanar, de planta quadrada, que té una aparença de torre defensiva, ja que en 1357 es va fortificar el temple.