Het was aanvankelijk niet meer dan een "sterk huis", omgeven door een gracht, op een weiland "de Steen". Het moet in 1339 gesticht zijn, waarschijnlijk door Heer Hinrich, die zich naar de plaats van vesting Van den Gramsberghe heeft genoemd. Dit Huis kan als grondslag van het latere kasteel beschouwd worden. In 1385 vinden we vermeld, dat het zeer deugdelijk geweest is: Muren en torens waren van oersteen en verder was het huis omringd door "natte" grachten. Sterk was het ook door zijn ligging aan de Vecht.

De overlevering vermeldt, dat de Heren van Gramsbergen aan drie kruistochten zouden hebben deelgenomen, met name wordt genoemd Egt van Gramsbergen. Ten bewijze, dat men werkelijk de tocht ondernomen had, nam de heer van Gramsbergen uit het verre oosten een gouden munt mee. Vandaar, naar men zegt, in het wapen van Gramsbergen de drie gouden Byzantijnenmunt uit Constantinopel, eerder Byzantium geheten.-

Het Kasteel heeft in de loop der tijd al veel meegemaakt.

In 1521 werd het door de Geldersen bezet. Nog hetzelfde jaar werd de bezetting door de Drost van Coevorden, Frederik van Twickeloo, eruit verdreven, maar het volgende jaar waren de Geldersen weer heer en meester van het kasteel.

Plus minus 1572 in het begin van de 80-jarige oorlog werd Gramsbergen door een vendel Spaanse Soldaten belegerd en ingenomen. De heer Statius van Aeswijn, heer van Gramsbergen, heeft in deze tijd van zijn bezittingen niet veel plezier beleefd. Dagen voor de bezetting had hij de vlucht genomen naar Zwolle. De troepen stelden zich tevreden met het Kasteel.

In 1591 werd- bij zijn tocht naar het noorden-Kasteel Gramsbergen door Maurits veroverd.

In 1593 neemt Verdugo, de Spaanse Stadhouder van Groningen, het kasteel Gramsbergen; in hetzelfde jaar werd het door graaf Willem van Nassau aanwezig met vele manschappen en zes stukken geschut, heroverd. Het kasteel Gramsbergen was niet ongeschonden uit de strijd tevoorschijn gekomen. Toen Statius in 1607 was gestorven, stelde zijn weduwe Anna van Wachtendonk het zich als taak het huis weer op te bouwen (1608 – 1614).

Anna van Wachtdonk kwam in 1612 door aankoop in ’t volledige bezit van het Kasteel.

Haar dochter was getrouwd met Dirk van Haeften en ze hadden een zoon genaamd Dirk Statius Reinier, die uiteindelijk alles erfde.

Tijdens Dirk Statius werd in mei 1673 het kasteel belegerd door de Munstersen onder Ransdorff, generaal van Bernard van Galen. Deze kwam met 900 voetknechten en 11 kornetten voor de poort van het Kasteel. De bezetting van het Huis- 36 man- stond onder bevel van Gerrit van Riemsdijk, vaandrig van 17 jaar, later schout van Hardenberg en Heemse, rentmeester van Gramsbergen. Het doel van de bisschop was eerst het slot Gramsbergen en daarna de Veste Coevorden weer te nemen. Tot tweemaal toe werd de overmachtige vijand afgeslagen, maar ten derde male kwamen de Munstersen opdagen met groot geschut, dat zij uit Uelsen lieten aanrukken. Van Riemsdijk gaf zich na onderhandeling over. Coevorden viel in 1672 na een beleg van 14 dagen. Maar reeds in december van dat jaar werd deze stad door de Groningers onder Rabenhaupt heroverd.

De bisschop liet hierop het Kasteel van Gramsbergen in 1673 versterken. Ook legde hij een dam aan in de nabij gelegen rivier de Vecht. Al deze maatregelen waren bedoeld om Coevorden terug te winnen. Alleen het noodlot keerde zich, de dijk brak door met behulp van een oosterstorm en door de geweldige stroming lieten 500 Munstersen er het leven. Coevorden bleef Staats. In April 1674 werd het slot Gramsbergen door de vijand verlaten en in het zelfde jaar liet Raubenhaupt het kasteel, een pistool op de borst van Coevorden, door middel van buskruit in de lucht vliegen.

Na de dood van Aletta Anna van Haeften de laatstoverlevende "Vrouwe van Gramsbergen" in 1712 is het geslacht uitgestorven.

Het kasteel is nooit weer opgebouwd. Het Huize Gramsbergen heeft nog bestaan tot 1822. Bij de sloop van dit huis zijn het houtwerk en de stenen gebruikt voor het bouwen van een dokterswoning. Het koetshuis bleef nog ruim 100 jaar bestaan. Het werd in 1942 afgebroken.

Toen de gracht in de jaren dertig verlegd werd, kwamen er restanten van de vestigingsmuur te voorschijn, die men weer onder het zand heeft bedolven. Wel groef men toen op een vrouwenkopje, vermoedelijk Venus of Hesta voorstellende. Met twee andere beeldhouwwerkjes zijn deze ook te bewonderen in het Infocentrum Vechtdal. De laatste aanwinst van dit museum is de oude en geheel gerestaureerde kasteelzonnewijzer. Ook deze is vervaardigd uit Bentheimer zandsteen.

Voor meer informatie en het bezichtigen van deze fraaie authentieke kasteelstukken kunt u terecht bij:
Infocentrum Vechtdal, Meiboomplein 4 te Gramsbergen
Tel.nr: 0524 – 56 1639
WWW: http://www.infocentrumvechtdal.nl/
E-mail: info@infocentrumvechtdal.nl