La demolición de la fortaleza transformó en una unidad a la parte de Colonia protegida por la muralla. En esta unidad, la "Casa del Gobernador" fue el edificio civil de mayor
importancia. Durante la primera intervención militar de Don Pedro de Ceballos, primer Virrey español del Río de la Plata, la “Casa del Gobernador” sufrió graves daños y en 1777 fue demolida.