De vorm van het huis is in de loop der eeuwen veranderd. De oorspronkelijke verdedigbare vorm was een carré met binnenplaats. Het huidige voorhuis was aanvankelijk poortgebouw en de edelmanswoning stond op de plek dus nu als terras wordt gebruikt. Helaas is dit karakteristieke achtergebouw met zijn vrolijke trapgevels gesloopt en verdwenen en ook de schilderachtige lage gebouwtjes met hun rode pannedaken, die de beide hoofdgebouwen verbonden. Alleen het poortgebouw bleef behouden. Met gebruikmaking van de oude muurdelen verrees op de voormalige binnenplaats de achterbouw zodat er een geheel ontstond met het oorspronkelijke poortgebouw. Van een weerbaar huis met zijn vele ongemakken werd een statig en leefbaar huis gemaakt.

In 1874 werd het huis gedeeltelijk afgebroken. In 1928 vond een restauratie en vernieuwing plaats.

Van de latere bewoners verdient vooral baronesse F.S.A. Creutz vermelding, die in de jaren twintig van de 20e eeuw niet alleen het huis, maar ook de vooral de tuin heeft gerestaureerd. In 1952 is het huis aangekocht door Prins Bernhard. Zijn moeder, prinses Armgard heeft tot haar dood in 1971, het huis bewoond. Toen onze prinsessen nog klein waren, noemden ze dit kasteel 'Het warme Loo' en Paleis Het Loo waar destijds grootmoeder Wilhelmina woonde 'Het koude Loo'.