Forschende der University of California haben festgestellt, dass die gängigen Metriken zur Bewertung des kompositorischen Schließens von multimodalen KI-Modellen deren Fähigkeiten systematisch unterschätzen. In ihrer Veröffentlichung „Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models“ berichten sie über ihre Ergebnisse und stellen einen von ihnen entwickelten Algorithmus namens TTM (Test-Time Matching) vor. Test-Time Matching ist ein sich selbst verbessernder, iterativer Algorithmus, der die Modellleistung ohne externe Überwachung steigert. Mit TTM übersteigt die MMVP-VLM-Performance von SigLIP-B16 die von GPT-4.1 und stellt somit einen neuen „Stand der Technik“ dar. Experimente mit 16 Datensatzvarianten haben dabei gezeigt, dass TTM die Leistung in verschiedenen Umgebungen konsistent verbessert – auch in solchen ohne metrikbedingte Effekte oder vordefinierte Gruppenstrukturen. (jr)
Ähnliche Artikel
Fachberichte & White Paper
Fachartikel: Edge-KI mit NPUs und Modellkompression optimieren
Der Fachbeitrag von MathWorks zeigt, wie sich Edge-KI durch den Einsatz von NPUs und Modellkompression für Echtzeit- und Embedded-Anwendungen optimieren lässt, etwa in der Motorsteuerung mit Inferenzzeiten unter 10 ms.
Technologie-Radar
Porsche Engineering: KI-System zur objektiven Fahrkomfortbewertung
Porsche Engineering entwickelt eine KI, die Fahrkomfort objektiv bewertet. Basierend auf Sensordaten und menschlichen Einschätzungen unterstützt sie effizientere Fahrwerksabstimmungen – künftig auch für den Serieneinsatz.
Technologie-Radar
Software kann bis zu 30 % des Energiebedarfs für das KI-Training einsparen
Software-Tool erkennt Prozessoren mit zugewiesenen Teilaufgaben, die mit weniger Rechenlast verbunden sind und passt die Taktfrequenz entsprechend an.
