El lloc de Lluçars va ser motiu de constants enfrontaments el comtat del Pallars Jussà i el regne d'Aragó, Sobrarb i Ribagorça durant el segle XI, per trobar-se a la frontera entre aquests dos territoris. L'any 1062 apareix documentat Ximèn Fortuny com a tinent del castell de Lluçars, si bé la castellania corresponia a Arnau Mir de Tost, que també tenia sota el seu control els castells de Viacamp i Falç. Aquest va deixar en herència tots aquests territoris al seu nét Guerau Ponç i a la seva filla Letgarda, que estaven al servei del rei d'Aragó Sanç Ramírez.

No es coneixen els motius ni quines les raons per les quals els vescomtes d'Àger van perdre el control de Lluçars en el segle XII, que va passar als comtes del Pallars Jussà. A finals del segle XII va tornar a mans de la Corona catalano-aragonesa. Ja en 1292, Jaume II va assignar el castell a la nova baronia de Felip de Saluzzo. Aquest va empenyorar els castells de Lluçars, Llaguarres i Lasquarri per la dot del seu casament amb Galbons de Cervera.

Vers la segona meitat del segle XIV, Lluçars es va integrar en el tercer comtat de Ribagorça, tot i que per poc temps, doncs el comte Alfons de Ribagorça va infeudar el castell als barons de Castre-Pinós. Va restar en mans d'aquesta nissaga fins que en el segle XVIII passà a mans dels ducs de Medinaceli.

El castell, del segle XI, s'organitzava al voltant d'una torre pentagonal, que destaca per la seva gran alçada. Per sort, fa pocs anys va ser restaurada i es van consolidar els seus murs abans que s'esfondrés. Malauradament no es va adaptar per a les visites turístiques, doncs, gràcies a la seva alçada, es tracta d'un mirador excepcional.

Malgrat que exteriorment tingui planta poligonal, la planta interior és quadrada. La forma pentagonal s'aconsegueix gràcies a un esperó que hi ha en la façana occidental, que fa que el mur sigui més gruixut i més fàcilment defensable.

Té gairebé 25 metres d'alçada, dividits interiorment en 6 plantes. Els seus murs tenen un gruix de gairebé dos metres i mig. Com és habitual, el pis inferior era totalment cec. El seu sostre era de fusta, que es subjectava en uns forats a la paret i en quatre permòdols, dels que només s'han conservat tres. El segon pis té tres espitlleres i com l'anterior, servia de rebost.

La següent planta era la principal, on s'obria la porta d'accés. Està lleugerament descentrada cap a l'oest.

Està formada per un arc de mig punt adovellat, reconstruït, i envoltat per un segon arc fet amb petites lloses a l'estil llombard.

En aquesta mateixa planta, però a l'oest, trobem la latrina. En l'interior d'aquest mur hi ha un petit corredor cobert amb volta de canó i paral·lel a la paret interior, que acaba en una fornícula, on hi ha un forat quadrat amb una llossa inclinada, que servia de desguàs. Aquest tipus d'estructura era habitual en grans castells, que havien de patir importants setges.

Pel damunt d'aquesta estança hi havia tres plantes més. En la primera trobem tres grans finestres de mig punt en cadascun dels murs nord, sud i est i quatre en el de l'oest. Els muntants de les finestres dels extrems són esbiaixats, per permetre una millor defensa. En la part superior i inferior de les finestres, veiem uns petits orificis, que permetien la subjecció d'estructures de fusta, probablement un cadafal, per permetre una millor defensa.

En el pis superior trobem dues finestres de similars característiques a les del pis anterior, entre les que hi ha una espitllera. Les dues grans finestres s'obrien de manera intercalada entre les finestres del pis inferior, per tal de poder cobrir tot el perímetre, a l'estil de la fortalesa del Món, a Perarrúa. Més que finestres, eren obertures que permetien l'accés a un cadafal de fusta.

En el mur est s'obre una fornícula semicircular entre les dues grans finestres. Ha estat interpretada pels estudiosos com la capella del castell. Sens dubte, ens trobem amb una de les torres més importants de la zona, que no només complia funcions defensives, si no que també era utilitzada com a residència.

En el mur est veiem dos merlets. Són els únics que s'han conservat de tot el perímetre. Es creu, que com en molts altres castells de la zona, hi havia un terrabastall de fusta, que coronava l'edifici.

El recinte del castell tenia uns 70 metres de llarg i una 25 d'ample. No queden en peu gaires fragments de la seva muralla, que s'adaptava al perfil rocós de la plataforma on s'alça. Els més importants són les dues bestorres semicirculars que hi ha en els extrems nord i sud. La primera encara conserva gairebé 2,5 metres de la seva alçada, mentre que la del costat sud no s'alça més que unes quantes filades de carreus.