Die Idee, Wohnungen in die alte Schlossbergbrauerei zu bauen, ist bereits 22 Jahre alt. Damals wurde unterm Schloss noch Helles und Thoma-Bier gebraut. 1919 hatten Zieglerbräu und Hörhammerbräu an dieser Stelle fusioniert, am 1. Oktober 1983 hatte die Familie Ziegler die Brauerei an Spaten verpachtet. Erst 2008 verkaufte sie das Gelände an die heutige Sedlmayr Grund und Immobilien KGaA. Auch dieser späte Verkauf verzögerte die Bauvorhaben zu beiden Seiten der Klosterstraße. Im Rückblick war der Streit zwischen Pächter und Verpächter um Erbpachtzinsen ein vergleichsweise kleiner Nebenschauplatz in der Kette der Verzögerungen.
1994 verlangten die Stadträte als Reaktion auf den ersten Antrag zunächst ein städtebauliches Gutachten, das am Ende 50 000 D-Mark kostete. Als das zwei Jahre später vorlag, fanden viele plötzlich Gefallen an dem unveränderten Vorhaben. Von Anfang an sah das Projekt den Abriss der Flaschenabfüllerei vor. Aber erst im Juni 2013 beschlossen die Stadträte den Abriss, SPD, Bündnis, Grüne und ÜB waren damals dagegen. Damit bestätigten die Fraktionen nun plötzlich die Meinung der früheren Grünen-Stadträtin Elisabeth Schilhabel. Sie hatte die Initiative "Rettet den Schlossberg" gegründet und einen Bürgerentscheid durchgesetzt. Im Sommer 2009 wollten aber nicht einmal 35 Prozent der Wähler das baufällige Haus erhalten. Ärger gab es damals, weil kurz vor der Abstimmung plötzlich das bayerische Landesamt für Denkmalpflege auf den Plan trat und schwere Vorwürfe gegen die Stadt erhob. Auf dem Grundstück befänden sich Jahrhunderte alte Gebäudereste, hieß es, die Stadt habe dieses Wissen für sich behalten. Ein Richterhaus aus dem 15. Jahrhundert stellte sich später als einzelne verbliebene Wand heraus. Der Hochschulausschuss des Landtags beschäftigte sich damit, wollte sich aber nicht festlegen und überließ die Entscheidung schließlich der Stadt.
Wesentlich wichtiger als die Erhaltung der Flaschenabfüllanlage war den Stadträten über all die Jahre die Fortführung des Biergarten- und Wirtshausbetriebes. Mehrere Fraktionen knüpften diese Bedingung seit den Neunzigern an die Erlaubnis für den Wohnungsbau. Eine Gaststätte war in den Plänen tatsächlich fest vorgesehen. Zwischenzeitlich überraschte der Pächter und heutige Grundstücksbesitzer mit Plänen für einen Biergarten mit bis zu 1000 Plätzen, das war selbst einigen Stadträten zu groß. Das Landratsamt machte schließlich diese Pläne zunichte: Anwohnerlärmschutz.
Im Januar 2000 machte die Brauerei zu. Vorübergehend, hieß es, aber es wurde nicht gebaut und die Brauerei blieb für immer geschlossen. Ein Jahr später gab der damalige Wirt den Zieglerkeller auf. Ein neuer Pächter kam und 2005 noch ein neuer, seit Februar 2009 ist das Wirtshaus zu. Nun fand sich kein Pächter mehr. Kai Kühnel (Bündnis) brachte den Vorschlag ein, das Café Gramsci dorthin umziehen zu lassen. Doch 2012 erklärte Kayser-Eichberg der Stadt, dass er keine neue Gastwirtschaft einplane. Im Ausgleich solle die Stadt einen Teil des Grundstücks erhalten. Der damalige Oberbürgermeister Peter Bürgel (CSU) prägte das Wort vom Bürgerbiergarten. Manche Stadträte werfen Kayser-Eichberg aber bis heute vor, sein Versprechen gebrochen zu haben.