Forschende der University of California haben festgestellt, dass die gängigen Metriken zur Bewertung des kompositorischen Schließens von multimodalen KI-Modellen deren Fähigkeiten systematisch unterschätzen. In ihrer Veröffentlichung „Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models“ berichten sie über ihre Ergebnisse und stellen einen von ihnen entwickelten Algorithmus namens TTM (Test-Time Matching) vor. Test-Time Matching ist ein sich selbst verbessernder, iterativer Algorithmus, der die Modellleistung ohne externe Überwachung steigert. Mit TTM übersteigt die MMVP-VLM-Performance von SigLIP-B16 die von GPT-4.1 und stellt somit einen neuen „Stand der Technik“ dar. Experimente mit 16 Datensatzvarianten haben dabei gezeigt, dass TTM die Leistung in verschiedenen Umgebungen konsistent verbessert – auch in solchen ohne metrikbedingte Effekte oder vordefinierte Gruppenstrukturen. (jr)
Ähnliche Artikel
Technologie-Radar
Projekt VorSAFe-D: Förderung für mehr Fahrzeugsicherheit
Ziel des Förderprojektes ist es, Verletzungen von Fahrzeuginsassen bei Unfällen mithilfe von KI proaktiv und vorausschauend abzumildern.
Branchen-News
Schaeffler und Sonatus integrieren KI-Funktionen in Steuergeräte
Durch die Integration von KI-Software in zentrale Steuergeräte sollen Fahrzeugfunktionen künftig direkt im Fahrzeug analysiert, optimiert und über den gesamten Lebenszyklus hinweg weiterentwickelt werden.
Branchen-News
Studie: Wenn Menschen KI-Entscheidungen verschlechtern
Eine Studie zeigt, dass Menschen zuverlässige KI-Empfehlungen häufig aus Überschätzung der eigenen Rolle oder aus Misstrauen gegenüber der Technik überstimmen.
