Der AI Act bekommt Zähne

Guten Morgen. Wie gut funktionieren KI-Modelle in der öffentlichen Verwaltung? Um diese Frage zu beantworten, hat die Bundesdruckerei gemeinsam mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) und dem Fraunhofer AISEC ein neues Tool gebaut.

Bestehende Rankings messen englisches Textverständnis, Mathe, Weltwissen. „Was sie nicht messen: Wie verlässlich ein Modell deutsche Verwaltungssprache versteht“, schreibt Frederik Blachetta, CTO der Bundesdruckerei, auf Linkedin. Oder ob es bei Rechtstexten halluziniere.

Möve, so heißt das Forschungsprojekt, hat über 50 Sprachmodelle mit neun deutschsprachigen Datensätzen aus dem Verwaltungskontext getestet. Sieben Kriterien wie Leistung oder Wertekonformität ergeben einen finalen Score. Entstanden ist so ein interaktives Vergleichstool. Laut Blachetta sei das erst der Anfang.