Las primeras noticias de una fortificación en Vic datan del año 878, cuando se creó el condado de Osona por parte del conde Guifré el Pilós. En este momento se reconstruye la antigua ciudad romana de Ausa, de la que sólo quedaban en pie los muros del templo del siglo II. Estos se aprovecharon para construir el castillo condal. 

En el siglo XI el castillo pasa a ser la residencia de los señores de Montcada que lo amplían y reforman. Los muros del templo romano servían como patio interior del castillo.

Actualmente sólo quedan en pie algunos de los muros perimetrales del muro norte y parte del oeste. Todavía se pueden ver restos de las bóvedas que cubrían las salas, puertas y ventanas de doble derrame. En 1882 se demolió el castillo, que previamente había sido utilizado como prisión. Al demoler los muros del edificio se descubrieron los restos del templo romano y se reconstruyó.