Les primeres notícies que ens han arribat del castell daten del 905, moment en que es consagra el temple de Santa Maria de Lluçà. Dóna nom al Lluçanès. En 1279 va ser pres per les tropes de Jaume I, amb qui mantenia una disputa Bernat de Saportella, senyor del castell. Durant la guerra dels remences el castell va ser destruït.

Del castell només queda en peu un mur del sector nord i dues estances en el costat sud. Les restes d'altres murs, datades entre els segles XII i XIV,  permeten determinar que tenia planta triangular, adaptant-se a l'orografia del terreny.

El mur nord té una alçada de dues plantes en el que es poden veure les restes d'una finestra biforada, que ha perdut el mainell.

Les altres estances que es conserven estan en el costat sud. La més petita és pràcticament quadrada. Sembla que era utilitzada com a cisterna, ja que té l'accés pel sostre i les parets estan arrebossades i lliscades. La coberta és de volta de canó.

Al costat hi havia una sala de majors dimensions i de planta rectangular. Estava coberta per una volta de canó, avui esfondrada. Dues portes de mig punt adovellades comunicaven les estances amb el pati. També es conserven les restes de quatre finestres.

Junt al castell trobem l'església de Sant Vicenç del castell de Lluçà.