Binnen een jaar na het overlijden van zijn vrouw huwde hij Johanna van Dedem. In 1763 werd hij aangesteld als drost van Salland. Zijn riante vermogen en inkomen stelde hem in staat ingrijpende verbouwingen door te voeren. Ook breide hij het grondbezit sterk uit. Direct na zijn dood in 1786 kocht de familie de Toutenburg aan die vrijwel direct werd afgebroken.
Bij een van deze verbouwingen werd gebruik gemaakt van het sloopmateriaal van het kasteel Toutenburg. Kort nadat deze verbouwing voltooid was heeft Lodewijk Napoleon hier tijdens zijn bezoek aan Vollenhove in 1809 gelogeerd in de opkamer, die sindsdien koningskamer wordt genoemd. 9 jaar later bezochten Koning Willem I en prins Frederik Oldruitenborgh.

De huidige imposante voorgevel dateert uit het eind van de 18e eeuw, toen Arend Sloet tot Tweenijenhuizen het pand ingrijpend heeft laten verbouwen.
In 1947 werd het pand met landgoed van ruim 8 hectare door de gemeente aangekocht voor 75.000 gulden om er het gemeentehuis in te vestigen. Tot dan was het pand eigendom van de familie Sloet van Oldruitenborgh.
Op het landgoed omvatte het een koetshuis, een oranjerie, een boswachters- en arbeiderswoning en park met vijver, de ruïne van het slot Toutenurg en de achtergelegen laan van Toutenburg.
De ingebruikname als gemeentehuis volgde op 17 januari 1948. Ook nu nog vervult het pand de functie van gemeentehuis, zij het nu van de gemeente Brederwiede (1973).

Van 1962 tot 1966 is het pand ingrijpend gerestaureerd. Het pand werd van zijn witte bepleistering ontdaan en de muren hersteld. Bij de restauratie zijn jammer genoeg alle dakkapellen verdwenen, evenals het bordes en de blinden aan de zuidgevel. De restauratie kostte 810.000 gulden.
In 1973 werd het pand inwendig volledig gerestaureerd. Vervolgens was het pand het gemeentehuis, zij het nu van de gemeente Brederwiede (1973).