Les primeres notícies d'una fortificació a Vic daten de l'any 878, quan es va crear el comtat d'Osona per part del compte Guifré el Pilós. En aquest moment es reconstrueix l'antiga ciutat romana d'Ausa, de la que sols quedaven en peu els murs del temple del segle II. Aquests es van aprofitar per construir el castell comtal. 

En el segle XI el castell passa a ser la residència dels senyors de Montcada, que l'amplien i reformen. Els murs del temple romà servien com a pati interior del castell.

Actualment només queden en peu alguns dels murs perimetrals del mur nord i part de l'oest. Encara s'hi poden veure restes de les voltes que cobrien les sales, portes i finestres de doble esqueixada. En 1882 es va enderrocar el castell, que prèviament havia estat utilitzat com a presó. En enderrocar els murs de l'edifici es van descobrir les restes del temple romà i es va reconstruir.