Forschende der TU Wien und des MIT haben untersucht, welche Mechanismen sich im neuronalen Netz entwickeln, wenn diese für die Erkennung von Bildobjekten trainiert werden. Die Analysen zeigen, dass sich Strukturen bilden, die eine verblüffende Ähnlichkeit mit Strukturen haben, die im Nervensystem von Tieren oder Menschen auftreten.
Bei den zur Objekterkennung verwendeten Convolutional Neural Networks (CNNs) entscheiden Filter, welche Neuronen einen Einfluss auf ein bestimmtes nachfolgendes Neuron haben und welche nicht. Diese Filter werden nicht vorgegeben, sondern sie entstehen beim Training des neuronalen Netzes von selbst und passen sich – wie auch noch andere Parameter – während des Trainings an.
Auch wenn der Trainer keinen Einfluss auf die Entstehung der Filter hat, kann aber am Ende des Trainings analysiert werden, welche Filter sich auf diese Weise entwickelt haben. Und dabei zeigen sich laut den Forschenden interessante Muster: Die Filter nehmen nicht etwa völlig zufällige Formen an, sondern fallen in mehrere einfache Kategorien.
„Das Verblüffende ist, dass genau diese Muster auch in biologischen Nervensystemen bereits beobachtet wurden, etwa bei Affen oder Katzen“, sagt Zahra Babaiee vom Institut für Computer Engineering der TU Wien. Beim Menschen dürfte die Verarbeitung visueller Daten genauso funktionieren. Dass die Evolution dieselben Filter-Funktionen hervorgebracht hat, wie sie auch in einem automatisierten Machine-Learning-Prozess entstehen, ist wohl kein Zufall. „Wenn man weiß, dass sich genau diese Strukturen beim visuellen Lernen immer wieder bilden, dann kann man das im Trainingsprozess bereits berücksichtigen und Machine-Learning-Algorithmen entwickeln, die viel schneller zum gewünschten Ergebnis kommen als bisher“, hofft Zahra Babaiee. (jr)
