El castillo de San Esteban de Gormaz se levanta en el punto más alto del pueblo a 920 metros. Era uno de los castillos encargados de defender la frontera entre musulmanes y cristianos que formaba el río Duero. Al ser uno de los pocos puntos en que se podía cruzar este río, durante mucho tiempo San Esteban de Gormaz fue conocido como la "Puerta de Castilla" 

Los orígenes del castillo los encontramos bajo la dominación musulmana. Es por este motivo que su planta es rectangular y estrecha. Posteriormente fue reformado por las tropas cristianas. Como otros muchos edificios de nuestro país sufrió numerosos destrozos durante la Guerra de la Independencia. Por este motivo quedó abandonado y en 1914 se demolió uno de los sus muros, que amenazaba con desplomarse sobre la población. De todos modos la demolición no se hizo correctamente y las piedras del castillo hundieron y causaron destrozos en numerosas casas del pueblo.

Así pues, en la actualidad tan sólo podemos contemplar un gran muro y los restos de pozos y de algunos aposentos.