Bis 1848 war Garatshausen eine Hofmark, die Herzog Max in Bayern zusammen mit der Hofmark Possenhofen 1834 erworben hatte. Er bezog das Schloss in Possenhofen, wo Sisi, die spätere Kaiserin Elisabeth, ihre Kindheit und Jugend verbrachte. Im Schloss Garatshausen wohnte von 1834 bis 1867, wie der Festschrift "1250 Jahre Garatshausen" aus dem Jahr 1992 zu entnehmen ist, der herzogliche Hofkaplan Signore Cavaliere Giuseppe de Maffei. 1867 schenkte Max in Bayern seinem Ludwig, der auf das Erstgeburtsrecht verzichtete, das Schloss. Ein Jahr später, im August 1868, kam Sisi, 30 Jahre alt, mit ihrer erst drei Monaten alten Tochter Valerie zum Sommeraufenthalt ins Schloss ihres Bruders, um sich von den Strapazen der Niederkunft zu erholen. Ihr Gemahl, Kaiser Franz Joseph, hatte zu der Reise in die Heimat geraten, da er wusste, dass Elisabeth am schnellsten im Kreise ihrer Familie zu Gesundheit und guter Laune finden würde. Zu Besuch kam König Ludwig II. als großer Verehrer von Sisi, und auch Kaiser Franz Joseph weilte einige Tage in Schloss Garatshausen.
Ein Jahr später, 1869, mietete Elisabeth das Schloss ganz offiziell für sechs Monate von ihrem ältesten Bruder Ludwig. Im Juni reiste sie an und schrieb an ihre Vertraute am Wiener Hof: "Ganz gedankenlos lebe ich hier, wie ich es liebe." Dennoch wollte sie laufend Berichte über die Stimmung des Kaisers und das Befinden ihrer Lieblingspferde aus Wien erhalten.
Bei ihren späteren Besuchen am Starnberger See stieg Sisi dann aber im Feldafinger Hotel Strauch ab, dem heutigen Hotel "Kaiserin Elisabeth". Von dort aus konnte sie beide Schlösser, Garatshausen und Possenhofen, gut erreichen. 1881 schickte Ludwig II. einen prachtvollen Blumenstrauß nach Garatshausen und ließ fragen, wann er Sisi besuchen dürfe. Der bekannteste Treffpunkt der beiden ist jedoch die Roseninsel. Wenige Tage nach Ludwigs Tod im Starnberger See ließ Sisi ein feierliches Requiem in der Feldafinger Dorfkirche für Ludwig II. lesen. In den folgenden Jahren kam sie seltener an den See, es zog sie mehr zu ihrem Schloss auf Korfu.