El también llamado pazo de Castrelos es una institución dependiente del Ayuntamiento de Vigo, emplazado en el pulmón verde de la ciudad. Su historia ya aparece documentada en el siglo XV como antigua fortaleza, consecuencia de las incursiones de los piratas sobre la ría, y más concretamente por causa de la guerra contra Portugal, si bien es reedificado en el siglo XVII.

El aspecto actual de la obra se completó con las torres y la fachada corrida de clara inspiración renacentista, herencia de la escuela castellano-leonesa de Valladolid. En 1883, la marquesa de Valladares entronca con el marquesado de Alcedo tras su matrimonio con Fernando Quiñones de León. Se amplía entonces la estructura palaciega imprimiéndoles un claro gusto inglés tanto a la vivienda como a los jardines.

El 12 de diciembre de 1924 el último marqués de Alcedo donó el pazo al pueblo de Vigo para transformarlo en museo de arte regional. En él se pueden contemplar importantes colecciones de arte, arqueología e historia.

Pazo, museo y jardines están declarados bien de interés cultural y varios de los árboles del jardín figuran en el Catálogo de árboles singulares de Galicia.

El jardín se crea en tiempos del I marqués de Alcedo y existe constancia de que en 1860 se trajeron camelias procedentes de los viveros de marqués Loureiro de Portugal. Se continúa con el ix marqués de Valladares, a cargo de personal inglés. En los años setenta se planta la zona hortícola bajo la administración del museo de Ángel Ilarri Gimeno, y se suceden diferentes actuaciones hasta los años noventa.

El jardín tiene tres niveles. El superior, la Rosaleda, arranca de un cenador cubierto con una pérgola metálica que fue antiguamente un invernadero. El intermedio constituye el jardín francés, con un trazado de setos de boj casi laberíntico. En el nivel más bajo hallamos el jardín inglés, también llamado pradera del Té, rodeado por dos sendas de paso. En su centro hay un estanque para patos con un islote en el que se contempla una maqueta del pazo. Cabe mencionar el espécimen de Camellia japonica con flores rosas incluido en el Catálogo de árboles monumentales de Galicia, que se conoce popularmente con el nombre de Matusalén debido a su antigüedad.