Sein Vater soll Forstmeister in den Diensten des Fürsten Esterhazy gewesen sein, deshalb durfte der Sohn auf einem Schloss aufwachsen, landete bei Kriegsende aber trotzdem als letztes Aufgebot an der Flak. Hermann Graml studierte in München und Tübingen, wo er bei Hans Rothfels und Theodor Eschenburg hörte, denen er seine Stellung als guter und strenger Geist des Münchner Instituts für Zeitgeschichte verdankte. Nach einem bedenklichen Ausflug zur "Abendländischen Aktion", in deren trübem Entmüdungsbecken für unheilbare Reaktionäre auch die Organisation Gehlen eifrig fischte, trat Graml Anfang 1953 in München als Hilfskraft ein und blieb dort bis zur Pensionierung 1993 wie ein immerwährender Hausmeister.
Nur einmal verließ er das Institut kurz, erlaubte sich zwei Jahre Freigang bei einer anderen Zeitschrift, aber dann blieb er und wollte sich auch mit 65 keineswegs in einen Ruhestand schicken. Legendär wurde seine Arbeit für die Vierteljahrshefte für Zeitgeschichte. Hans Woller, einer seiner Nachfolger, rühmte diesem mustergültigen Redakteur vor allem seine "Dünkelfreiheit" nach, denn bei ihm durfte jeder schreiben, der etwas zu sagen hatte, und wenn er nicht schreiben konnte, zeigte ihm Graml, wie er es besser machte.
Bereits 1961 war Graml am Streit um Kurt Sontheimers bahnbrechende Studie "Antidemokratisches Denken in der Weimarer Republik" beteiligt, dessen Veröffentlichung durch das Institut nicht zuletzt Eschenburg verhindern wolle. Neben seiner Arbeit für die Zeitschrift schrieb Graml wichtige Monografien über die "Reichskristallnacht", über die "Stalinnote" von 1952 und über die Präsidialkabinette Brüning, Papen und Schleicher, die die Republik von Weimar schon vor der Machtübergabe an Hitler zugrunde richteten. Als Johannes Hürter, auch er beim IfZ, 2005 mit neu aufgefundenen Dokumenten belegte, dass nicht wenige aus dem Offizierswiderstand sich an der "laufenden Liquidierung" beteiligten, empörte sich Graml im Bewusstsein des Zeitgenossen und wies darauf hin, dass die Wehrmachtssoldaten nach getaner Arbeit zu Hause begeistert empfangen wurden.
Manche haben Graml verübelt, dass er anders als die von ihm betreuten Autoren keinen Wert auf akademische Titel legte, doch die Münchner Universität wusste, was die Wissenschaft an ihm hatte und verlieh ihm 2002 die Ehrendoktorwürde. Am 4. Februar ist der leidenschaftliche Hebammer Hermann Graml im Alter von neunzig Jahren in Wasserburg am Inn gestorben.