Este Castillo, sus piedras se remontan a lo largo de la historia llegando a contemplar al las luchas romanas contra los infatigables herminios, habitantes de estos lugares. Tuvo que ser el emperador romano Julio Cesar, quein los expulsó hacia las cercanas islas Cíes. Esta fortaleza, llamada antiguamente :castillo de Monterreal o fortaleza del Monte Boi, está construida tal y como la vemos ahora sobre los siglos XII y XIV. Situada en el municipio pontevedrés de Baiona (Bayona) es un punto estratégico para el control de la entrada de la Ría de Vigo y defensa fundamental de las Ríás Bajas gallegas. Frente a sus murallas y en algunas ocasiones tras ellas, estuvieron Almanzor qyue destruyó la fortaleza, El futuro primer rey de Portugal, Alfonso Enriquez, el mariscal Sir Thomas Moriaux a las órdenes del duque de Lancaster, Juan de Gante, el famoso y sanguinario conocido como Pedro Madruga bajo las órdenes del rey de Portugal Alfonso V. El Obispo de Tuy Diego de Muros, estuvo encerrado en la llamada «Torre de la Tenaza. El 1 de marzo de 1493, desde la Torre del Príncipe, se divisó la arribada de la Carabela «La Pinta» al mando de Martín Alonso Pinzón. En la Huerta de los Frailes, y dentro del castillo, está enterrado el primer americano llegado abordo de La Pinta. Francis Drake, famosos corsario inglés., también estuvo bombardeando las murallas que a pesar de sus 30 navíos no consiguió rendirla. En 1596, partió de este punto una flota con más de 90 navíos y 14.000 infantes para liberar a la Irlanda católica. Y como siempre, las tropas francesas al mando del mariscal Soult, hicieron de las suyas durante la guerra de la Independencia.

La importancia de Baiona en relación con el mar, era notoria debido a su estratégica posición sobre la entrada de la Ría de vigo, debido a que era una de las últimas villas del sur de Galicia.

Dicha posición hacía que Baiona fuera continuamente presa de ataques de corsarios ingleses o piratas normandos e invasores portugueses, los cuales tomaron la villa en el siglo XIV, arrasando la villa.

Debido a esto, en 1341, el rey da orden de comenzar las obras de unas murallas defensivas y una torre, con el fin de evitar que se repitiese la historia.

En 1493, a la llegada de La Pinta anunciando el «descubrimiento del nuevo mundo», los reyes católicos mandan levantar la ciudad dentro del terreno amurallado situado en el Monte Boi, pasando a llamarse Monte Real.

Baiona logra su máximo fulgor en el siglo XVI, época en la que se erigen 3 kilómetros de murallas y 3 torres.