Veranstaltungen

19.05.2021

Mittwoch, 11:00

online

Data Science Seminar: Improving Transfer Learning via Large-Scale Model Pre-Training

Michael Schmitz für Helmholtz/HIDA

Transfer-Lernen wurde bereits beim sehr frühen Aufkommen von tiefen neuronalen Netzen erfolgreich eingesetzt, um starke Modelle zu erhalten, wenn nur kleine Datenmengen verwendet werden. Kürzlich wurde nachgewiesen, dass eine Erhöhung der Modellgröße bei gleichzeitiger Erhöhung der Daten- und Rechenmenge für das Pre-Training zu sehr großen Modellen führt, die noch stärkere Generalisierungs- und Transferfähigkeiten haben. In dem Vortrag werden Beweise gegeben für die Qualität des Transfers auf natürliche oder medizinische Bilder und deren Variation aufgrund der beim Pre-Training verwendeten Modell- und Datengröße. Es werden Belege dafür gezeigt, dass insbesondere bei geringem Datenumfang oder bei der Übertragung von wenigen Aufnahmen große Modelle, die auf großen Daten (z. B. ImageNet-21k oder größer) vortrainiert wurden, starke Vorteile bieten können. Es wird die Notwendigkeit für systematische Experimente dargelegt, die Skalierungsgesetze für die Transferleistung in Abhängigkeit von Modell, Datengröße, Rechenbudget und Zusammensetzung des großen Quelldatensatzes, der für das Pre-Training verwendet wird, liefern können. Solche Experimente erfordern große Computing-Ressourcen und die richtige Nutzung von Supercomputing-Einrichtungen. Als Ausblick wird die COVIDNetX-Initiative vorgestellt, die darauf abzielt, großangelegtes Transfer-Lernen an einem spezifischen Anwendungsfall der Durchführung medizinischer bildgebender Diagnostik auf Basis von COVID-19 zu untersuchen.

Gemeinsame Arbeit mit Mehdi Cherti.

 

Bitte registrieren Sie sich hier

Weitere Informationen finden Sie auf der Website

 

download