El origen de la fortaleza se remonta al reinado de Alfonso VII, cuando se construyó una estructura militar y defensiva en un lugar estratégico de Soutomaior. De un lado el recinto se sitúa cerca de la costa pero al tiempo protegido de las invasiones marítimas de normandos, turcos o piratas al erigirse sobre rocas, a 119 metros sobre el nivel del mar al fondo de la ría de Vigo. De otro, permitía controlar las comunicaciones de norte a sur, y dominaba el valle del río Verdugo desde su confluencia con el Oitavén hasta la desembocadura.

El suelo sobre el que se asienta es, además, rico para el cultivo, lo que, unido al emplazamiento con fines estratégicos y defensivos, lo convertía en idóneo para señorear el feudo.

El castillo evolucionó de torre de defensa a fortaleza con doble recinto amurallado en el siglo XV. Su figura central en esa etapa fue Pedro Álvarez de Sotomayor, más conocido como Pedro Madruga. El noble ostentaba además el título de conde de Camiña, vizconde de Tui y mariscal de Baiona, y existen investigaciones sobre su figura que apuntan a que podría ser Cristóbal Colón ante las coincidencias entre ambos sobre amigos y rivales, así como por la toponimia ligada a las Rías Baixas con la que fueron bautizados más de cien lugares del Nuevo Mundo.

El castillo, destruido en la revuelta campesina, fue erigido de nuevo y adaptado para el empleo de armas de fuego, que acababan de introducirse en Galicia

Pedro Madruga convirtió la fortaleza de Soutomaior en su centro de operaciones en las luchas de poder en la Galicia de la época. Mantuvo contiendas con la jerarquía eclesiástica y con otras familias nobiliarias gallegas, como los Sarmiento, y se posicionó a favor de la Beltraneja en la Guerra de Sucesión.

El castillo había sido destruido durante la revuelta campesina de los Irmandiños, y el noble intervino para su reconstrucción, adaptándolo además al empleo de las armas de fuego, que Pedro Madruga acababa de introducir en Galicia. El recinto vivió entonces su época de mayor esplendor.

Residencia de verano

En los siglos siguientes la fortaleza vivió un largo declive debido en gran parte a pleitos familiares. Ya a punto de concluir el siglo XVIII pasaría a manos de Benito Fernando Correa, que colocó su escudo de armas en el acceso principal. En el XIX asumiría la propiedad el marqués de la Vega de Armijo, y aquí se produciría un cambio clave en la arquitectura del castillo ya que fue construida la “Galería de Damas”. El recinto pasaría a ser así mitad fortaleza, mitad palacio neogótico, y la familia la empleaba como residencia de verano.

De esa época datan también el formidable parque y los jardines del castillo, que sustituyeron a los maizales. Los árboles más antiguos son los castaños, con 800 años de antigüedad, pero cuenta asimismo con una fantástica riqueza botánica, con árboles de gran porte y una excelente colección de camelias.