Era una de las fortalezas más importantes de la Conca de Tremp, debido a su situación estratégica. Está situado en tierra de frontera entre cristianos y musulmanes entre los siglos X y XI. Posteriormente, con la conquista de Àger, la frontera se desplaza hacia el sur y pierde sus funciones de defensa de la frontera y pasa a desarrollar tareas de control del territorio y mantenimiento del poder feudal. La primera referencia histórica que nos ha llegado data del año 969, en un documento que habla de la iglesia de San Fructuoso, que se encontraba dentro del término de este castillo.

En 1055 Ramón V del Pallars Jussà se casó con Valença, hija de Arnau Mir de Tost. El conde Ramón recibe de Arnau 12.000 sueldos a cambio de los castillos de Mur y Llimiana, Orcau y Basturs. El mismo día, Ramon V empeñó a su suegro los castillos de Mur y Llimiana, Areny y Montañana como garantía de la dote que debía recibir Valença en el plazo de un años, según establecía la ley visigótica. La dote fue entregado a Valença el 16 de Octubre de 1056 y consistía en el castillo de Mur y la mitad del castillo de Areny. En 1064 se vuelve a repetir la operación de empeño de los castillos de Mur, Llimiana y Montañana como garantía de no quitarle el castillo de Areny a Arnau Mir.

Es en esta época que el castillo adquiere la estructura y la fisonomía que ha llegado hasta nuestros días. Hay que decir que los muros perimetrales han llegado casi intactos hasta el día de hoy. Las estructuras interiores son las que, en gran parte, no han tenido la misma suerte.

A la muerte de Arnau Mir de Tost dejó el castillo a su hija Valença y a su nieto Arnau. En 1076 los condes Ramón V y Valença infeudaron el castillo a Ramon Pere. Posteriormente, en 1094, Ramon V donó el control del castillo a su primo Artal II, conde del Pallars Sobirà.

En 1280 hubo una revuelta nobiliaria y se produjo la toma de Balaguer por parte de las tropas del rey. Tras este hecho, el rey Pedro II infeudó el castillo de Mur a Bernat de Toralla. Bartolomé, hijo de Bernat, legó los castillos de Mur y Olp a Pere de Meitat. A partir de este momento, los Mur fueron muy colaboradores con las políticas de la Corona, ocupando cargos de responsabilidad en la corte.

A partir del siglo XV el título de barón de Mur y el control del castillo pasó por manos de numerosas familias nobles de la península, mediante diferentes acuerdos matrimoniales.

El castillo es un claro ejemplo de la arquitectura civil del siglo XI. Es sin duda uno de los conjuntos mejor conservados de la época.

Tiene una planta triangular con los ángulos redondeados, que algunos han comparado con la silueta de un barco, con el fin de adaptarse a la forma de la roca sobre la que se asienta.

En el vértice del triángulo sobresale por encima de los muros una torre. Tiene una cámara triangular, apoyada en un gran arco de medio punto, con el espacio interior vacío.

Se accede a esta estancia por una puerta abierta en el este al nivel del paso ronda.

Es la única estancia que ha conservado prácticamente intacta del castillo. Cinco ventanas de medio punto iluminan su interior.

En el ángulo opuesto del castillo encontramos una torre circular.

Esta es exenta, es decir está separada del resto de muros del castillo. El motivo es que fue construida en un momento ligeramente anterior al resto de la fortificación.

Gracias a los espacios donde se apoyaban las estructuras de madera que servían de techo y de suelo, podemos saber que la torre estaba dividida internamente en 5 espacios. El más inferior probablemente era destinado a las mazmorras. Encima suyo encontraríamos el almacén utilizado en caso de asedio. Llegamos al tercer piso, donde se abre una puerta de medio punto que comunicaba, mediante una estructura de madera, con el paso de ronda. Esta estancia era ocupada por el cuerpo de guardia.

El piso superior era destinado a la sala del homenaje y parece que el último piso era utilizado como capilla.

Varias ventanas en forma de aspillera y aberturas para lanzar en él líquidos ardientes, completan las estructuras defensivas de la fortaleza.

Se accedía al castillo por una puerta de medio punto, situada en el muro sur y elevada respecto al nivel del suelo exterior.

Actualmente se está adecuando el interior del castillo con pasarelas y escaleras metálicas que permitirán acceder a las dos torres y recorrer completamente el paso de ronda.

Las diferentes campañas de excavación han permitido identificar varias estructuras, que configuraban las dependencias del castillo. Un gran muro divide el recinto en dos bloques. El que hay más al sur, donde se encuentra la torre circular, es el que se excavó primero. En él se identificaron dos grandes espacios. El el sector sudoeste, entre el muro perimetral y la torre había un edificio de dos plantas, a juzgar por los agujeros donde colocar vigas. Probablemente era el espacio destinado a las caballerizas y los soldados.

El otro espacio era destinado al patio del castillo, donde también había estructuras como la cisterna de agua y un par de hornos o lugares donde se hacía fuego.

El sector donde se encuentra la torre del vértice, ha sido excavado más recientemente. También tenia un edificio de dos plantas.

El inferior, como mínimo, estaba dividido longitudinalmente por un muro. En el piso inferior vemos varias estancias, que estaban destinadas a almacenes y estancias para los criados. Hay que pensar que el nivel superior estaba destinado a la sala noble y a los dormitorios.

En el extremo opuesto de la colina, Ramón V y Valença construyeron una iglesia sobre la antigua capilla del castillo y que posteriormente se convirtió en canónica agustiniana.

Acercarse al conjunto monumental del castillo y la canónica de Santa María es muy recomendable. Ambos edificios son una clara muestra de la consolidación del románico en nuestra región y del poder de los señores feudales y de las comunidades religiosas en aquella época. También son interesantes las vistas que desde el promontorio se tienen de la zona y comprender así el poder ejercido por los dos edificios.