Hij liet aan de zuidkant van Vollenhove het kasteel bouwen dat zijn naam kreeg. Zijn vrouw overleed daar in 1526. Uit hun huwelijk kwamen 3 kinderen: Maria die abdis werd in Rijnsburgh, Frederick werd proost in Oldenzaal, terwijl de oudste zoon op jeugdige leeftijd in Spanje was gestorven.

Hij sloot een tweede huwelijk, nu met Joanna, dochter van graaf Johan van Egmond. Toen Georg op 2 februari 1540 overleed liet hij een zoon Carel na, die toen pas 13 jaar was. Bij testament had Georg voogden ovr Carel benoemd maar Frederick voch dat testament aan. Hij procedeerde, maar het hof van Friesland stelde hem in het ongelijk omdat Georg reeds in 1527 een erfrechtelijke overeenkomst met Frederick had gemaakt. 

Carel stierf in 1571 ongehuwd. Hij liet een bestaardzoon na en geen wettige erfgenamen, waarna Frederick zich in het bezit van het kasteel en alle bezittingen stelde en deed alsof hij de enige erfgenaam was. Na de dood van Frederick op 25 augustus 1580 kwam het kasteel in handen van de geslachten Van Haersolte en Van den Boetselaer. Aan het eind van de 18e eeuw was nog slechts een bouwval over.