No tenim cap referència escrita del castell de Sort fins el segle XIII, tot i que la vila si que apareix vinculada als comtes de Pallars en el segle X. La tradició ens diu que en el castell va nèixer Sant Ot, bisbe d'Urgell (1065-1122).

En 1055 la comtessa Ermessenda va fer donació de la vila a Santa Maria de la Seu d'Urgell, si bé va mantenir el control sobre el castell. Dos segles més tard, en 1280, Arnau Roger I de Pallars s'uní a altres nobles per alçar-se contra el rei Pere II. En sotmetre als sublevats, aquests van haver de cedir algunes terres i possessions al monarca, entre les que es trobava Sort.

Els deixebles dels comtes de Pallars van intentar recuperar el control del castell, arribant a conquerir-lo en diverses ocasions entre finals del segle XIII i l'any 1327, però el rei Jaume II recuperava una vegada i una altra el control.

Ja en el segle XV Hug Roger III es va declarar en contra del Rei Joan II en aquest castell. En ser derrotat va ser empresonat a Xàtiva, on va morir en 1503 i el comtat va ser venut al comtes de Cardona. Aquests van concedir nombrosos privilegis a la vila i van convertir el castell en palau, que posteriorment van abandonar en el segle XVII.

L'any 1842, el duc de Medinaceli va cedir el castell a l'ajuntament per tal d'instal·lar-hi el cementiri municipal.

Actualment el castell presenta un estat de runa, quedant en peus alguns dels seus murs i torres.

De la muralla que envoltava el recinte el fragment millor conservat correspon al sector est. Està formada per grans carreus irregulars i va ser construïda entre els segles XI i XII. En els extrems podem veure dues torres circulars.

A l'oest es conserva una gran torre de planta circular, identificada com la torre de l'homenatge. Fins al segle XVII va allotjar la presó.

En època gòtica es va construir un palau, del qual es conserva el mur de llevant, on destaca la gran porta adovellada i dos finestrals gòtics, molt restaurats.