Stadtbaumeister Justus Klement sieht das Bahnhofsareal als Mittelpunkt der Stadtmittelpunkt. "Daher stellt sich schon die Frage, ob man solche Flächen einfach weggibt oder selbst behält", sagt Klement. Zudem handle es sich beim Bahnhof um ein "emotional besetztes Gebäude". Protest scheint gewiss, sollte das Bahnhofsgebäude mit seinen Arkaden tatsächlich abgerissen werden.
Der Verein für Denkmalpflege und Penzberger Stadtgeschichte hat schon früher versucht, den Bahnhof unter Denkmalschutz stellen zu lasse, doch ohne Erfolg. Einige Stadträte hingegen scheinen einem Abriss nicht abgeneigt zu sein. Das Bahnhofsgebäude samt Umgriff gehört der Stadt. Zu schwierig gestaltet sich jedoch die Nutzung des alten, leerstehenden Gebäudes, in das sehr viel Geld gesteckt werden müsste. Heftige Kritik übte der Denkmalverein, als die ersten Skizzen für das Wohn- und Geschäftshaus an der Ecke Philipp-/Bahnhofstraße publik wurden. Diese Art der Bebauung sei indiskutabel, heißt es in einem Brief an Bürgermeisterin Elke Zehetner. Die Rede ist von einer "Monsterplanung". Vehement wehrt sich der Verein gegen einen Abriss des Bahnhofsgebäudes. Der 1926 erbaute Bahnhof sei für die Penzberger ein Denkmal, das unwidersprochen zur Geschichte der Stadt gehöre und somit schutzwürdig sei. Auch während der Erarbeitung des "Innerstädtischen Entwicklungskonzept" sei dieses Gebäude als "Visitenkarte von Penzberg" bezeichnet worden. Der Denkmalverein fordert für das Bahnhofsareal nicht das angekündigte "Faceliftig", sondern eine Gestaltung mit Augenmaß.
Dem widerspricht die Initiative "Proinnenstadt", ein Zusammenschluss von 50 Penzberger Geschäftstreibenden, Hausbesitzern und Ärzten. Sie unterstützen die Pläne von Investor Johann Thierer, der das Bahnhofsareal in seiner Gesamtheit überplanen möchte - auch wenn das den Abriss des historischen Bahnhofs bedeutet. Ihr Vorstoß stieß wiederum im Bauausschuss des Penzberger Stadtrats auf Kritik.
Mit welcher Legitimation diese neue Initiative spreche, könne er nicht nachvollziehen, sagte Stadtrat André Anderl (CSU). Wichtig sei, dieses wichtige innerstädtische Gebiet mit Bedacht zu entwickeln und sich hierzu möglichst viele Anregungen zu holen.
Stadtbaumeister Klement betont, es sei nicht Sache der Verwaltung, Geschmacksdiskussionen zu führen. Eine Kommune dürfe die Steuerungsmittel, die sie bei Bauanfragen habe, nicht aus der Hand geben. Nur wenn man sie behalte, könne einer Beliebigkeit beim Bauen etwas entgegengesetzt werden.
Auch Zehetner sagte, der Bauausschuss dürfe keine "geschmäcklerischen" Entscheidungen treffen. Sie würdigte den Mut von Altbürgermeister Kurt Wessner, unter dessen Regie in den Siebzigern der Rathausplatz mit seinen Hochhäusern entstand. Wessner wird wiederum im Brief des Denkmalverein wie folgt zitiert: Auf die Frage, was der größte Fehler seiner Amtszeit gewesen sei, antwortete er: "Die Hochhäuser der Karlstraße, die passen nicht nach Penzberg."