Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) leitet die dritte Phase ihres Forschungswettbewerbs Robustes und Sicheres Maschinelles Lernen (RSML) ein. Von Dezember 2024 bis November 2025 werden drei ausgewählte Forschungsteams innovative Ansätze zur Sicherung und Robustheit maschineller Lernsysteme erforschen und umsetzen. Die Forschung konzentriert sich auf Anwendungen in kritischen Infrastrukturen, Lagezentren und Open Source Intelligence (OSINT) und fokussiert im ersten Schritt auf die Absicherung der Datengrundlage neuronaler KI-Systeme.
Für die Phasen 2 bis 5 hat die Cyberagentur ein Budget von insgesamt 25 Millionen Euro bereitgestellt. Eine abschließende Phase 6, die in etwa drei Jahren starten soll, wird an das Forschungsteam mit der innovativsten Forschungsleistung in den Phasen 3 bis 5 und dem überzeugendsten Angebot für Phase 6 vergeben.
Die drei Teams widmen sich dabei den folgenden Ansätzen:
- Modulares Toolkit mit End-to-End-Bewertungsworkflows: Entwicklung neuer Metriken und Tools für die geleitete Entwicklung abgesicherter ML-Systeme.
- Hybride KI-gestützte Red/Blue-Team-Agenten: Diese Agenten sollen schutzbedürftige Systeme sowie die zugehörigen Sicherungs-KIs wechselseitig testen und absichern.
- Holistisches Framework für sichere ML-Anwendungen: Ein umfassendes Verifikationssystem mit Bedrohungsmodellierung und einem RSML Operations Center als zentrale Schnittstelle.
„Mit den Ansätzen der dritten Phase richten wir den Fokus auf Daten, die das Fundament aller Deep Learning-Anwendungen sind, darunter Large Language Models und Bildklassifikationssysteme. Oft sind die zum Training verwendeten Daten unvollständig, nicht repräsentativ, schlecht gelabelt oder gar manipuliert. Das ist die Wurzel vieler nachgelagerter Sicherheits- und Verlässlichkeitsprobleme, für die wir Lösungen finden wollen“, erklärt Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur.
Die Ergebnisse sollen nicht nur die wissenschaftliche Basis erweitern, sondern auch prototypische Anwendungen hervorbringen, die in realistischen Testumgebungen evaluiert werden. (jr)
