Einer Legende nach soll im 13. Jahrhundert auf dem Domberg ein Torwächter namens Otto Semoser gelebt haben, der Bettlern und Notleidenden, Hungrigen und Durstigen geholfen hat. Sehr zum Ärger seines Bischofs Gerold, der hartherzig und geizig gewesen sein soll und es seinem Pförtner schließlich verboten habe, an Arme und Kranke Speisen und Trank zu verteilen. Allerdings soll sich Otto Semoser nicht an das Verbot gehalten und weiter heimlich Brot verteilt haben, das er unter seinem Mantel versteckte. Eines Tages aber, so sagt die Legende weiter, sei er vom Bischof angehalten und gefragt worden, was er unter seinem Mantel habe. "Nur Steine! Nichts als Steine, Herr", soll der ertappte Diener geantwortet haben. Und als er seinen Mantel auf Geheiß des Bischofs öffnete, seien die Brote tatsächlich zu Stein geworden. Der Bischof, so endet die Geschichte, soll darüber so verwundert gewesen sein, dass er von da an seinem braven Torwächter wieder erlaubte, Essen und Trinken an die Armen auszuteilen.
Eine schöne Geschichte, die Jahr für Jahr während des Freisinger Martinszugs auf dem Domberg erzählt wird. Kreisheimatpfleger Rudolf Goerge hat sich auf die Spuren des Otto Semoser begeben und schon 1976 für die Zeitschrift Amperland einen Beitrag darüber verfasst. Demnach ist im südlichen Seitenschiff des Doms gegenüber dem Kanzelaufgang in der Wand ein Grabstein eingelassen, der auf Otto Semoser verweist.
Das Kalksteinrelief zeigt eine männliche Gestalt mit langem spitzem Bart, gekleidet in eine Art Tunika mit einem Gürtel. Unter dem Mantel, der von einer Spange zusammengehalten wird, verbirgt der Mann seinen linken Arm. Zwischen seinen Schuhen sind drei Steine zu erkennen. Die umlaufende Majuskelinschrift gibt Auskunft über den Verstorbenen: "Otto Semoser. Unter diesem Grabeshügel ruht der tugendhafte Mann Otto. Seine Gebeine ruhen in der Erde Schoß, sein Geist in Gott". Nach Ansicht von Goerge muss "ein hervorragender Meister" dieses Epitaph kurz nach dem Jahr 1200 geschaffen haben. In der Nähe des Grabsteins findet sich noch eine Steinplatte aus dem 18. Jahrhundert auf der steht: "Otto Semoser, Torhüter unter Bischof Gerold".
Merkwürdig sei, so schreibt Goerge, dass für einen Pförtner ein kunstgeschichtlich so bedeutendes Grab geschaffen worden ist. Merkwürdig sei auch, dass dieser einfache Torhüter inmitten hoher geistlicher Würdenträger seine letzte Ruhestätte gefunden hat. Erklären lasse sich das damit, dass Semoser außerordentlich tugendhaft und fromm gewesen sein muss. In einem neueren Beitrag für die "Zeitschrift für bayerische Landesgeschichte" über die Inschriften der Stadt Freising kommt Ingo Seufert zu anderen Ergebnissen. Er glaubt, dass die Grabplatte mit dem Porträt des angeblichen Otto Semoser in Wirklichkeit den um 1160 verstorbenen Domkanoniker Otto von Moosen zeigt. Ob und wie der in die Geschichte über Brot und Steine verwickelt ist, ist nicht bekannt. Aufgeschrieben hat die bekannte Legende von Otto Semoser im Jahr 1729 der Geschichtsschreiber Carolus Meichelbeck in seiner "Historia Frisingensis".
Das Wunder erklärt er damit, "dass Gerolds Gefühllosigkeit dem allmächtigen Gott schwer missfallen, Ottos Mitgefühl aber sein höchstes Wohlgefallen erregt hat" und folgert daraus: "Einen fröhlichen Geber hat Gott lieb." Der Grabstein schien Meichelbeck so bemerkenswert, dass er eine Abbildung davon in Kupfer stechen und seinem Freisinger Geschichtswerk beifügen ließ. Nach Anschauung von Goerge hat die Darstellung des Verstorbenen auf dem Epitaph die Legende erst entstehen lassen. Meichelbeck habe sie sicher aus mündlicher Überlieferung gekannt, auch wenn er noch zusätzlich von einer schriftlichen Tradition schreibt, die "irgendwo aufgezeichnet" sei. Interessant auch, so Goerge, dass der Geschichtsschreiber die Legende in christlichem Sinn zu deuten versucht und die Gegensätze zwischen der Hartherzigkeit des Bischofs und dem Mitgefühl des Pförtners besonders hervorhebt.
Noch im 19. Jahrhundert konnte man in Freising die Kopie eines in Stein verwandelten Brotes besichtigen. In einer Beschreibung des Gebildes, das der Freisinger Antiquar Joseph Mozler (1761-1817) aufbewahrte, heißt es unter anderem, dass das Bild dieser aus Kalkstein geformten und bemalten Brote so täuschend sei, "dass man einen wirklichen Brodlaib zu sehen glaubt". Goerge zählt die Legende von Otto Semoser zum Typus der verwandelten Speise, die im 15. Jahrhundert entwickelt und über ganz Europa verbreitet worden sei. Als Beispiele führt er den Augustinermönch Friedrich von Regensburg an, der an der Klosterpforte Brot verteilt habe. Als er von seinem Prior erwischt worden sei, habe sich das Brot in Holz verwandelt.
Auch in einem Kloster in Thüringen soll ein Bäcker beim Verteilen von Brot erwischt worden sein. Sein böser Abt habe aber nur Holzspäne in seiner Schürze gefunden. Bei der heiligen Notburga in Tirol fand der Dienstherr angeblich Hobelschaiten; eine Darstellung davon findet sich in der Wallfahrtskapelle in Weißling im Landkreis Freising. Alle diese Geschichten zeigten, so Kreisheimatpfleger Rudolf Goerge, dass die Legende um Otto Semoser nicht isoliert dastehe, sondern eingebettet sei in das abendländische Denken der mittelalterlichen Welt.