Referent: Jenia Jitsev, Jülich Supercomputing Center/LAION e.V
Datum: 26.01.2026, 11:00 Uhr
Titel: Open Foundation Models: Reproducible Science of Strongly Scalable Transferable Learning
Inhaltszusammenfassung:
In dieser Lecture wird erläutert, wie Skalierungsgesetze genutzt werden können, um die Leistungsfähigkeit von Foundation-Modellen vorherzusagen und verschiedene Lernverfahren systematisch zu vergleichen. Es wird gezeigt, dass generalistisches Pre-Training entscheidend für robuste Generalisierung und erfolgreichen Transfer über Aufgaben und Domänen hinweg ist, und wie Skalierungsgesetze bereits aus kleineren Experimenten verlässliche Aussagen über Modelle auf größeren Skalen ermöglichen.
Ein weiterer Schwerpunkt der Lecture ist die Bedeutung offener Foundation-Modelle, bei denen Daten, Trainingsprozesse und Evaluation vollständig nachvollziehbar sind – eine Voraussetzung für belastbare Skalierungsstudien und die gemeinsame Weiterentwicklung von Lernverfahren. Zudem diskutieren wir, warum etablierte Benchmarks viele Schwächen moderner Modelle übersehen, und stellen neue Messmethoden vor, die Generalisierungsdefizite durch kontrollierte Variationen einfacher Aufgaben sichtbar machen.
Jenia Jitsev
Jenia Jitsev ist Mitbegründer und wissenschaftlicher Leiter von LAION e.V., einer gemeinnützigen Forschungsorganisation, die sich der Forschung an offenen großskaligen Foundation-Modellen und Datensätzen widmet. Er leitet zudem die Abteilung für Scalable Learning & Multi-Purpose AI (SLAMPAI) am Jülich Supercomputing Centre und ist Mitglied von ELLIS.
