Unsere Forschung

Mit dem WestAI-Servicezentrum hat sich unter der Leitung der Universität Bonn ein Konsortium aus exzellenten Wissenschaftseinrichtungen Nordrhein-Westfalens formiert. Damit bündelt das Zentrum komplementäre Kompetenzen aus verschiedenen Anwendungsgebieten der KI, um neue leistungsstarke und effiziente multimodale KI-Modelle für Deutschland zu entwickeln. 

Unser Forschungsschwerpunkt liegt auf Transferlernen und multimodaler KI.

Bei WestAI forschen wir im Bereich Künstliche Intelligenz und Maschinellem Lernen zur Anwendung von Verfahren des Deep Learnings. Deep Learning nutzt tiefe neuronale Netze und große Datenmengen, um Probleme zu lösen. Genauer befassen wir uns hier mit dem Teilbereich des Transferlernens. Diese Methode ermöglicht es, vorhandenes Wissen aus einer bestehenden KI-Lösung zu nutzen, um ein neues Problem effizienter zu lösen. Es kommen künstlichen neuronale Netze zum Einsatz, was Zeit und Ressourcen spart.

Dabei fokussieren wir uns in unserer Forschung auf das Transferlernen von multimodalen KI-Modellen – das sind KI-Modelle, die neben Texten z. B. auch Sensor-, Audio oder Videodaten verarbeiten können. Ziel ist, den Stand der Technik in der multimodalen KI vorantreiben, indem Skalierbarkeit, Effizienz, Übertragbarkeit und kontinuierliche Verbesserung von Lernalgorithmen untersucht werden.

Unser Forschungsrahmen umfasst folgende Bereiche:

Skalierbare Datenverwaltung und -integration

Erforschung von Techniken zur automatischen Datenvorverarbeitung und -generierung, insbesondere für heterogene und multimodale Datentypen. Dabei spielt die Berücksichtigung des Datenschutzes und der Datenhoheit in realen Anwendungen eine zentrale Rolle.

Großangelegtes Modelltraining

Entwicklung effizienter Lernverfahren für das Training über mehrere Rechenknoten hinweg sowie die Erforschung verschiedener Modellarchitekturen und Methoden des Modelltrainings für die nächste Generation von beschleunigten Berechnungen.

Effizientes Transferlernen

Systematische Untersuchung der Bedingungen des Transfer-Lernens von vortrainierten Modellen auf verschiedene Domänen oder Anwendungsbereiche unter Berücksichtigung von Faktoren wie Modell- und Datenumfang, Architektur und Übertragungseffizienz.

Modellkomprimierung für ressourcenarme Umgebungen

Untersuchung von Methoden zur Komprimierung vortrainierter und „übertragener“ Modelle (nach dem Transferlernen) unter Beibehaltung der Leistung eines Modells. Auch die Erforschung des Einsatzes von Modellen auf spezieller Hardware für eine energieeffiziente Ausführung wird realisiert.

Kontinuierliches Lernen

Untersuchung der fortlaufenden Entwicklung großer KI-Modelle durch kontinuierliches Lernen aus übertragenen und komprimierten Modellen. Dabei wird die Skalierbarkeit und möglicher Anwendungen in föderierten Lernumgebungen durchgeführt erforscht.

Unsere Publikationen

Post-Processing Independent Evaluation of Sound Event Detection Systems

Janek Ebbers, Reinhold Haeb-Umbach, Paderborn University, Romain Serizel, and Universit´e de Lorraine, CNRS, Inria, Loria, “Post-Processing independent evaluation of sound event detection systems,” Journal-article, 2023. [Online]. https://dcase.community/documents/workshop2023/proceedings/DCASE2023Workshop_Ebbers_62.pdf

mehr lesen

DataComp: In search of the next generation of multimodal datasets

Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, Mitchell Wortsman, Dhruba Ghosh, Jieyu Zhang, Eyal Orgad, Rahim Entezari, Giannis Daras, Sarah Pratt, Vivek Ramanujan, Yonatan Bitton, Kalyani Marathe, Stephen Mussmann, Richard Vencu, Mehdi Cherti, Ranjay Krishna, Pang Wei Koh, Olga Saukh, Alexander Ratner, Shuran Song, Hannaneh Hajishirzi, Ali Farhadi, Romain Beaumont, Sewoong Oh, Alex Dimakis, Jenia Jitsev, Yair Carmon, Vaishaal Shankar, Ludwig Schmidt; DataComp: In search of the next generation of multimodal datasets. NeurIPS 2023.

mehr lesen

LAION-5B: An open large-scale dataset for training next generation image-text models

Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, Patrick Schramowski, Srivatsa Kundurthy, Katherine Crowson, Ludwig Schmidt, Robert Kaczmarczyk, Jenia Jitsev. LAION-5B: An open large-scale dataset for training next generation image-text models. Advances in Neural Information Processing Systems 35 (NeurIPS 2022), 25278-25294.

mehr lesen

Reproducible scaling laws for contrastive language-image learning

Mehdi Cherti, Romain Beaumont, Ross Wightman, Mitchell Wortsman, Gabriel Ilharco, Cade Gordon, Christoph Schuhmann, Ludwig Schmidt, and Jenia Jitsev. Reproducible scaling laws for contrastive language-image learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

mehr lesen

Nehmen Sie Kontakt mit uns auf

Sie haben Fragen oder sind an einer Zusammenarbeit interessiert?

Schreiben Sie uns eine E-Mail – wir beraten Sie gerne.

Folgen Sie uns auf LinkedIn

Sie möchten keine Updates, News und Events zu WestAI verpassen oder schneller mit Ihrem Netzwerk teilen?
Folgen Sie uns gerne auf LinkedIn!