Anton Silbernagls Urgroßeltern Sebastian und Theresa Silbernagl hatten die Gaststätte 1895 erworben, von jenem Josef Schex, der ihr seinen Namen lieh. Die Familie betreibt das Gasthaus mittlerweile in der vierten Generation. Ursprünglich sollte der ältere Bruder von Anton Silbernagl das Wirtshaus weiterführen. Als der Bruder 1975 bei einem Autounfall ums Leben kam, war Anton gerade 14 Jahre alt. Er ging damals aufs Gymnasium und wollte Lehrer werden, obwohl er, wie er selbst sagt, als "schwer erziehbar" gegolten habe. "Da ich nicht unbedingt zu den Einserschülern zählte, verließ ich ganz gerne das Gymnasium, um daheim einzuspringen."
Er absolvierte erst eine Ausbildung als Metzger, um auch die heimische Metzgerei weiterzuführen, dann als Küchenmeister. Zusammen mit seiner Frau Anita und seiner Mutter Elisabeth führte er auch die Gastwirtschaft. Die Mutter zog sich 1993 aus dem Geschäft zurück und übergab ihm die Gastwirtschaft. Der 59-Jährige greift gerne auf die Rezepte zurück, die in der Familie von Generation zu Generation weiter vererbt werden. Neben diesen altbayerischen Schmankerln hat er als Autodidakt auch eigene Spezialitäten kreiert. Der vielfach ausgezeichnete Spitzenkoch sagt über seine Arbeit: "Ein Wirtshaus muss man leben." Ohne diese Leidenschaft wäre es nicht möglich, die Küche über Jahrzehnte hinweg kontinuierlich auf diesem hohen Niveau zu halten. Silbernagel ist Vater von vier Töchtern, darunter Drillingen. Eine will Ärztin werden, eine Juristin, eine Beamtin und eine ist im Hotel- und Gaststättenfach.
Ob es noch eine fünfte Wirtsgeneration im Hause Schex geben wird, steht wohl metaphorisch noch in den Sternen.
