El castillo templario de Ponferrada se levanta en el lugar dónde previamente existió un castro prerromano y una ciudadela romana, que fue asolada en el siglo IX. Dos siglos más tarde se reconstruye la fortaleza. 

En el siglo XII los reyes de León dieron Ponferrada a los templarios para que protegieran a los peregrinos que iban a Compostela. En 1312 se disolvió la orden del temple y el castillo volvió a manos de la Corona de León.

Es durante los siglos XII y XIII que se construye gran parte del castillo que conocemos en la actualidad. Está formado por un gran recinto poligonal con doble e incluso en algún punto triple línea de murallas, reforzadas con robustas torres. Todo el recinto rodeaba un gran patio de armas. En 1340 el rey Alfonso XI cedió el castillo a su mayordomo Pedro Fernández de Castro, conocido como Señor de Lemos y Sarria. Este construyó nuevas dependencias, conocidas popularmente con el nombre de “Castillo Viejo”. De este edificio quedan en pie los muros perimetrales y las torres de los extremos.

En el siglo XV se realizan grandes obras en el castillo. Se construye en su interior un lujoso palacio, conocido como “Castillo nuevo”. La calidad de esta construcción no era demasiada buena, si tenemos en cuenta que no ha resistido tan bien el paso de los siglos como otras partes del castillo. Sus muros eran más delgados que el resto del castillo y predominaban las ventanas y puertas. Tenía varias suntuosas dependencias, como un mirador decorado con baldosas de colores, una sala de armas, la capilla, la bodega, un rico salón o las cuadras.

También en esta época se refuerzan sus defensas, construyendo nuevas torres, la torre de acceso, situada en el muro sur y el puente elevado. Una rampa nos permite cruzar el foso y acercarnos a la torre de acceso, flanqueada por dos torres unidas por un arco doble de medio punto. Este conjunto es uno de los más característicos del castillo y está muy reconstruido.
 

El castillo llegó prácticamente intacto hasta 1811. Dos años antes los franceses habían tomado la ciudad, pero el castillo no había sufrido demasiados daños. Fue en este año que se decide dinamitar parte de las fortificaciones para evitar que los franceses se pudieran hacer fuertes en su interior.

A partir de este momento empieza el declive del edificio. Muchas casas y edificios de Ponferrada están hechos con las piedras del castillo. También se convirtió parte de la zona interior de castillo en zona de cultivo. Finalmente en 1923 un grupo de jóvenes intentaron construir un campo de fútbol, demoliendo edificios y elementos de gran valor. Por suerte en 1924 se declara Monumento Histórico Artístico y se consigue evitar la destrucción total del edificio, que se empezó a restaurar en 1996.