Mit Vorliebe, so die Überlieferungen, ist der "Hauser Lenz" (1869-1918) sechsspännig ausgefahren, obwohl dies nur königlichen Kutschen zu besonderen Anlässen vorbehalten war. Ein besonderes Vergnügen soll es dem zu Reichtum gekommenen Bauern aus Neuhausen bereitet haben, direkt vor dem Gefährt des Prinzregenten herzufahren, wenn dieser durch Neuhausen nach Nymphenburg fuhr. Verwarnungen und Geldstrafen wegen Majestätsbeleidigung nahm er gerne hin. "Was da Prinzregent konn', des konn' i scho lang", war sein Leitspruch.
"S'Geld muaß unter d'Leit", soll ein Motto des Millionenbauern gewesen sein
Kein Wunder, dass er sich direkt am historischen Würmkanal einen herrschaftlichen dreigeschossigen Wohnsitz mit einem 18 Meter hohen Turm, umrahmt von Zinnen, Wappen, Figuren, Tierhäuptern und Fabelwesen in einem Fünf-Hektar-Park hinstellen ließ. Kurfürstliche Lustgondeleien auf dem Kanal fanden zu jener Zeit allerdings nicht mehr statt. Die Leute nannten es mal Gilmer-, mal Hauser-Schlösschen oder "Neuschwanstein im Dachauer Moos". Hauser selbst hat es "Schloss Waldeck" getauft, in den offiziellen Karten ist es als Schloss Allach verzeichnet. Die Glocken der von den Gebrüdern Rank dazu entworfenen Kapelle waren am 9. August 1900 in der Münchner Frauenkirche geweiht worden, wie Franz Schröther, Vorsitzender der Neuhauser Geschichtswerkstatt, in seinem Buch "S'Geld muaß unter d'Leit" über die Lebensgeschichte des Lorenz Hauser schrieb. Die dortigen Gottesdienste durften auch Allacher und Karlsfelder besuchen.
Um den Lebensstil des "Millionenbauern" ranken sich viele Anekdoten und Legenden, denen Schröther akribisch auf die Spur gegangen ist. Hauser züchtete Rennpferde, soll gigantische Trinkgelage und Orgien veranstaltet, gar ganze Gaststätten freigehalten haben. Früher als "Wagerl-Protz" bezeichnet, "würde er heute im Ferrari vorfahren", hat Schröther einmal über ihn gesagt. Das Schloss ist von 1908 an durch mehrere Hände gegangen, darunter ein echter "zu Waldeck" und der Sanitätsrat Dr. Ludwig Gilmer. Letzterer bekam 1936 Ärger mit dem stellvertretenden Bürgermeister der damals noch selbständigen Gemeinde Allach, weil er einen jüdischen Architekten mit dem Umbau und der Renovierung beauftragt hatte.
Im Zweiten Weltkrieg erhielt es einen Tarnanstrich und auf den Turm kam eine Flugabwehrkanone. Nach dem Krieg waren zehn Jahre lang US-Soldaten einquartiert. Als sie das Schloss wieder räumten, war es fast eine Ruine. 1955 erwarb die Maschinenfabrik Augsburg-Nürnberg (MAN) das Gelände samt Schloss von den Bayerischen Motoren-Werken (BMW) und renovierte es wieder. Für die Öffentlichkeit ist es nicht frei zugänglich. Der Konzern nutzt es für seine Gäste und Empfänge.