Het gebouwencomplex dat in het begin van de 18^e eeuw werd afgebroken kent een roerige geschiedenis. Nadat de Duitse orde rond 1200 het gebouw had gesticht ten behoeve van de kruisridders, was het tot 1580 in het bezit van de Duitse orde te Münster. In deze periode resideerden 16 Commandeurs op het kasteel. In 1580 werd het kasteel door Willem van Nassau belegerd en stelde hij de Commandeur Johan Diederik van der Heyden aan als zijn beheerder via de provinciale Staten.

In 1639 verkochten de Staten van Overijssel het kasteel aan deze Van der Heyden. In 1754 werd de laatste telg uit dit geslacht Drost van Twente en Burgemeester van Ootmarsum. In 1782 werden de Drostendiensten afgeschaft en werd het gebouw particulier woonhuis. Omdat de laatste bewoner geen nageslacht had werd het gebouw in 1810 openbaar verkocht. Koper werd J. Palthe die het gebouw voor Fl. 3.500,- kocht en het complex in de periode tot 1833 met de grond gelijk maakte.