Forschende der TU München haben eine Methode zum Training neuronaler Netze entwickelt, die hundertmal schneller und damit wesentlich energieeffizienter funktioniert. Statt iterativ vorzugehen, werden die Parameter auf Grundlage ihrer Wahrscheinlichkeit direkt aus den Daten berechnet. Die Qualität der Ergebnisse ist mit den bislang üblichen iterativen Verfahren vergleichbar.
Zum Training des Netzwerks werden die Parameterwerte beim üblichen Ansatz zufällig gewählt, zum Beispiel in einer Normalverteilung. Sie werden dann über kleinste Änderungen angepasst, um die Netzwerkvorhersagen langsam zu verbessern. Da für diese Trainingsmethode viele Wiederholungen benötigt werden, ist sie extrem aufwendig und benötigt viel Strom.
Die Forschenden der TU München haben nun ein neues Verfahren entwickelt. Statt die Parameter zwischen den Knotenpunkten iterativ zu bestimmen, basiert ihr Ansatz auf Wahrscheinlichkeitsberechnungen. Die hier gewählte, probabilistische Methode basiert darauf, gezielt Werte zu nutzen, die sich an kritischen Stellen der Trainingsdaten befinden. Sie fokussiert sich also auf die Stellen, an denen sich die Werte besonders stark und schnell ändern.
Die Methode ermöglicht es laut den Forschenden, die benötigten Parameter mit minimalem Rechenaufwand zu bestimmen. Neuronale Netze ließen sich dadurch erheblich schneller und damit energieeffizienter trainieren. Darüber hinaus hätte sich gezeigt, dass die neue Methode in ihrer Genauigkeit mit iterativ trainierten Netzwerken vergleichbar ist. (jr)
