De naam Ittersum wordt al in 1207 genoemd. De bisschop van Utrecht schenkt in dat jaar de novale tienden in Withmen en Ittersen aan het kapittel van Deventer, onder beding dat op hoogtijdagen grotere kaarsen dan tot nu toe gebruikelijk in het koor gebrand zullen worden. Van een landgoed Ittersum is al in 1374 sprake. In de archieven van de gemeente Kampen vinden we de volgende aantekening: 1374, 16 september: Henricus van esten, ambtsman der heilige luden in het Sticht van Utrecht vanwege de abdis van Essende, geeft aan Heer Vrederic van Rechter, ridder, in erftins 18 morgen land in Mastenbroek in Ittersimslaghe, geslagen tot een goed te Ittersum, dat aan Willem van Ittersum behoort, tegen 2 oude grote koningstournooisen per morgen. 

Eeuwenlang heeft het klooster Essen het landgoed Ittersum in leen uitgegeven en pas in 1803 worden de leenplichten samen met de op het goed rustende tinsplicht afgekocht. In 1660 legt ene Johan Batthold van Ittersum de leeneed af. In 1661 wordt deze Johan toegelaten tot de vergaderingen van Ridderschap en Steden. In 1666 verkoopt hij "het oude stamgoed van de Ittersums", mede namens zijn broers en zusters, aan de Zwolse burgemeester Egbert Greven, die ook nog lid is van de Admiraliteit van Amsterdam. 

Vanaf 30 juli 1697 mag Johannes van den Broeck, als rentmeester van freule Judith Aleyda baronne van Rechteren, over het landgoed beschikken en in 1760 wordt opgetekend: "Het erve goet Ittersum in ’t Carspel van Zwoll in de buyrscap Ittersum gelege, soo tegewoordigh bij Jan Willemse meyerwijse gebruyket wort". In 1764 koopt de "gecommitteerde der Landdage" de heer P.E. Sabé het landgoed van de erven van dr. Willem van Grootveld en Johanna van Delden. 

In 1799 woont vice-admiraal J.P.van Braam er en tot 1839 wordt het huis bewoond door de president van de rechtbank in Zwolle, de heer J.D.F.van Wijck. In het "Woordenboek der Nederlanden" geschreven door Van der Aa in 1845 staat het volgende over Huize Ittersum: "Buiten in Zalland prov. Overijssel aan den straatweg van Zwolle naar Deventer. Dit buiten beslaat met Heerenhuis, tuin, aangename wandelingen, opgaande bomen en houtgewassen, drie katersteden en onderscheidene stukken groen- en bouwland, ongeveer 55 bunder en wordt thans in eigendom bezeten door den heer L.C.Cnopius, woonachtig te Zwolle". 

Cnopius staat aan het hoofd van de stedelijke kostschool in de Bloemendalstraat in Zwolle. In een rapport van schoolinspecteur Wijnberg in 1833 lezen we: "Eindelijk is Zwolle sedert twee jaren in bezit van eene uitmuntende stads dag- en kostschool, bevattende ruim 50 leerlingen, waaronder 16 in de geheele kost. De inrigting, zoo der woning als der drie schoolzalen voor de drie schoolklassen, het onderwijs van den hoofdonderwijzer Cnopius en van zijne twee hulponderwijzers, in de meest gebruikelijke vreemde talen, in beschaafde kundigheden, vooral in de wiskunde, waarvan het onderwijs dienstbaar wordt gemaakt onder anderen aan de voorbereiding voor de militaire of de marineschool, dat alles scheen mij voldoende toe. Voor de opvoeding scheen in dit gesticht ook veel zorg gedragen te worden". 

Tot 1851 woont de familie Cnopius niet zelf in huize Ittersum, maar als Cnopius in dat jaar overlijdt gaat zijn weduwe met haar zoon op het landgoed wonen. De zoon heet net als zijn vader Lodewijk Christiaan Cnopius en maakt zich vooral verdienstelijk in het bestuur van de Gereformeerde kerk.