La Diputación de Pontevedra se crea a partir del decreto de septiembre de 1835, pero no es hasta 1890, una vez finalizadas las obras del nuevo edificio, cuando se traslada a su nueva ubicación, el Pazo provincial, sede de esta institución hasta la actualidad. La edificación es obra de los arquitectos Alejandro y Domingo Sesmero.

Se trata de una obra de inspiración renacentista con reminiscencias barrocas, con un juego de entrantes y salientes que da movimiento a la fachada. En el cuerpo central se utilizan columnas estriadas con capiteles jónicos (en la planta baja) y dóricos (en el piso superior) y arcos de medio punto en ventanas y puertas. Remata este cuerpo con unas claraboyas y un frontón triangular.

La propiedad, ubicada en el centro histórico de la ciudad de Pontevedra, está rodeada por un conjunto de bellos jardines y de muchos otros edificios históricos.

En el año 1891 se inician los jardines que rodean el Pazo provincial. Según planos de la época en que se diseñó este edificio, tenían una estructura geométrica a modo de los diseñados en las fincas de los pazos gallegos próximos; pero actualmente no se sabe si se ejecutaron de esa manera. A lo largo del siglo pasado sufrieron varias remodelaciones hasta llegar a su estructura actual, que fue realizada en 1986.

En 1891 se inician las obras para el cierre de los jardines que rodean el pazo. En los archivos provinciales consta una partida de mil pesetas para comprar plantas y otra de cien pesetas para transportarlas y plantarlas. La iluminación del exterior no se realizará hasta cinco años después y se tardará hasta siete años más en terminar dichos jardines. Las plantas las eligió el arquitecto y se plantaron entre enero y febrero de 1899.

Entre las especies que podemos encontrar en estos jardines destacan las camelias. Las más antiguas, plantadas a finales del siglo xix y principios del xx, podrían proceder de la Escuela de Agricultura de A Caeira, que, si bien cerró en 1886, continuó vendiendo las plantas de sus viveros hasta principios del siglo xx. También se podrían haber comprado directamente en Portugal y, más concretamente, en Oporto, en los viveros de la Real Companhia Horticola-Agrícola Portuense. El jardín se restauró por primera vez mediados del siglo xx y se remodeló en 1986 para sustituir algunas camelias en mal estado. La última adhesión fue un ejemplar de Camellia japonica blanca del cultivar ‘Madame Henri Cormerais', plantado en el lateral derecho, en conmemoración de la visita del embajador japonés a España el 28 de febrero de 2004.

En cuanto a las demás especies, sobresalen la Magnolia grandiflora y el Cordyline australis, que, por su tamaño, pueden haber sido plantadas en el momento de diseño del jardín.