Über das Gelände von Schloss Tutzing und der Violaburg will die Gemeinde ihre schützende Hand halten. Für das Areal soll im Rahmen des Bebauungsplans mit der Bezeichnung "Ortszentrum" der Teilbebauungsplan mit der Nummer 9 aufgestellt werden. Rund um die Violaburg mit ihrem klassizistischen Kern ranken sich immer wieder Verkaufsgerüchte. Vor einigen Jahren soll sich Fußballstar Sebastian Schweinsteiger für das verborgene Anwesen direkt neben der Evangelischen Akademie interessiert haben. 2015 gab es schon einmal eine Bauvoranfrage, ob man das später angefügte Haus abreißen und ein größeres Wohnhaus bauen dürfe. Mit Hinweis auf Bestandsschutz hatte die Gemeinde den Antrag damals aber abgelehnt. "Momentan ist es ruhig", beteuerte Bürgermeisterin Marlene Greinwald (Freie Wähler) im Bauausschuss auf die Frage, ob es Bauüberlegungen gebe. Bekannt ist allerdings, dass die Evangelische Akademie sich gern vergrößern würde und Interesse am Erwerb der Violaburg hat. Vor einigen Jahren beauftragte sie einen Projektentwickler mit Verhandlungen. Die Kaufsumme sei allerdings utopisch gewesen, war vom Referat Liegenschaften der Landeskirche 2015 zu hören gewesen.
Das weitläufige Grundstück am Starnberger See hatte über Jahrhunderte eine wechselvolle Geschichte. Zwei Drittel des Areals - das Schloss samt Park - kaufte 1949 die Evangelische Landeskirche von dem Unternehmer Rudolf August Oetker für 350 000 Mark. Das verbleibende Drittel des Grundbesitzes mit der Violaburg ging an den Maler Anton Leidl. Der Münchner Künstler (1900 bis 1976) war während des Kriegs im Schloss aufgenommen worden, nachdem er in München ausgebombt worden war. Sein Freund Oetker hatte ihn sogar zum "Schlossvogt", also zum Verwalter, bestellt, nachdem es noch vor Kriegsende zu Plünderungen im Schloss gekommen war.
Leidl baute den Pavillon im Westteil des Parks, dessen Ursprung von Denkmalschützern auf 1803 datiert wird, zu seinem Atelier aus. in den Jahren 1946 und 1947 fügte er ein kleines Haus an. In seinen Erinnerungen "Mein Münchner Malerleben" schilderte er, wie er sich durch den Abbruch eines Bootshauses Material organisierte, um "eine Art Amalienburg" zu errichten. Leidl gab dem Haus den Namen "Violaburg". Er machte das Anwesen, das gut verborgen hinter der alten Schlossmauer an der Monsignore-Schmid-Straße liegt, zum Treffpunkt für Künstler und Literaten und malte es selbst wiederholt. Bis heute ist das etwa 6000 Quadratmeter große Parkareal mit der Violaburg in Privatbesitz.