Ein stattliches Schloss, umgeben von breiten Wassergräben, davor die großzügigen Gebäude der Ökonomie - das zeigt der Stich von Michael Wening von 1701. Davon ist in Adelshofen fast nichts übrig geblieben, außer dem Schlossrichterhaus, in dem die Kongregation der armen Schulschwestern einen Kindergarten betrieben. Auf der Fläche, wo einst das Schloss stand, hatten die Schwestern einen Gemüsegarten angelegt.
Die Anfänge von Adelshofen sowie des Schlosses liegen im Dunkeln. Die älteste bisher aufgefundene Urkunde, in der die Herren von Adelshofen genannt werden, stammt von 1170 und fand sich im Kloster Schäftlarn. Es handelte sich um eine Hofmark, in der der Grundherr bei geringeren Delikten wie Diebstahl selbst Recht sprach und allerlei Abgaben und Fronarbeiten einfordern konnte. Die Burg wird in den Karten von Philipp Apian 1563 erwähnt. In dieser Zeit gehörte das Anwesen der Augsburger Patrizierfamilie Lauginger, die verschuldet war und die Hofmark 1580 an die Fugger verkauften, an die Raymundsche Linie, die von einem Neffen des großen Jakob Fugger abstammten. Adelshofen war eine vergleichsweise arme Hofmark.
Die Bauern mussten ihren Herren Holz, Getreide und Heu liefern, sie mussten Flachs und Werch spinnen, aber auch Lerchen fangen und einen Jagdhund halten. Dazu scheint es viele Taglöhner gegeben zu haben, die auf Arbeit aus dem Schloss hofften. Peter Heine hat in einem Beitrag im Amperland geschrieben, dass die Fugger die Hofmark vermutlich erwarben, weil sie Land für den Flachsanbau akquirieren wollten. In dieser Zeit kaufte die Familie auch Schmiechen, Haldenberg und Türkenfeld.
Jedenfalls war die Investition wohl so einträglich, dass die Patrizier gegen Ende des 17. Jahrhunderts die Burg abreißen und ein schickes Schloss hinstellen ließen, nach Plänen des Hofbaumeisters Zwerger. Zwischen 1818 bis 1829 gehörten Schloss und Hofmark kurzzeitig zum Besitz der Kurfürstenwitwe Leopoldine, nach den Maßstäben der damaligen Zeit eine ziemlich wilde Maus. Als 19-Jährige wurde die Habsburgerin aus Mailand 1795 mit dem greisen bayerischen Kurfürsten vermählt, der vier Jahre später das Zeitliche segnete. Maria Leopoldine demonstrierte offen gegen diese Ehe und legte sich öffentlich wechselnde Liebhaber zu.
1829 kaufen die Brüder Anton und Simon Pfleger, zwei Bauern aus Nassenhausen, das Anwesen. Sie ließen das Schloss 1835 abbrechen und verkauften die Steine. Einige wurden im Pschorrhof nebenan verbaut, wie man feststellte, als das denkmalgeschützte Haus restauriert wurde, das seitdem als Rathaus dient. Die Schlossgräben sind aufgefüllt, nur auf der Nordseite ist ein Abschnitt zu sehen.
Übrig blieben das Schlossrichterhaus und der Garten, die der Pfarrer Hamberger kaufte. Er ließ das Haus herrichten und erweitern, so dass es hinterher mit Keller, Küche mit Speise, Wasch- und Backhaus, vier Zimmern unten und sechs oben doppelt so groß war. Ein Stall für vier Kühe und ein Pferd wurde angebaut. 1845 erwarb Maria Theresia Gerhardinger, inzwischen selig gesprochen, das ehemalige Schloss für die Kongregation der Armen Schulschwestern. Die erteilten dort ab 1851 Unterricht, anfangs nur für Mädchen, später auch für Jungen. 1890 ließen die Schwestern zwei Räume anbauen, um die Schule zu erweitern. Der Zweck der Kongregation war, der notleidenden Landbevölkerung Zugang zur Schulbildung zu verschaffen. Pfarrer Lampert gründete dazu um 1890 eine Stiftung. Aus deren Erträgen sollten Kleidung, Stifte und Hefte sowie ein Mittagessen für die Kinder der Armen finanziert werden.
Der Schulbetrieb dauerte bis in die Achtzigerjahre. Die meisten älteren Dorfbewohner haben dort noch die Schulbank gedrückt, darunter Bürgermeister Michael Raith (CSU). Während des Zweiten Weltkrieges war das Haus sogar für Berufsausbildung zuständig. Altbürgermeister Benedikt Schwarz besaß ein Zeugnis von der "Berufsschule Adelshofen". 1987 richteten die Schwestern einen Kindergarten ein. Die letzten drei Nonnen verließen Adelshofen 2014, weil es dem Orden an Nachwuchs mangelte. Das Gebäude sowie das Gelände kaufte die Kommune. Auf einem kleinen Teil soll eine Unterkunft für Asylbewerber entstehen. Das passt zur sozialen Orientierung der Schulschwestern, findet der Bürgermeister.