Datenanalyse

Als Anwendung eines neuronalen Netzes ist im Folgenden die Erkennung von hand­geschriebenen Ziffern beschrieben. Das Programm ist in der Programmier­sprache Python als jupyter-Notebook implementiert.

Handgeschriebene Ziffern

Eine Standardanwendung für ein neuronales Netz ist die Erkennung von hand­geschriebenen Ziffern. Die Datei mnist_train.csv enthält die Daten von 60.000 gescannten hand­geschriebenen Ziffern. Mit diesen Daten trainieren Sie zunächst das neuronale Netz. Anschließend testen Sie das neuronale Netz mit weiteren 10.000 hand­geschriebenen Ziffern, die sich in der Datei mnist_test.csv befinden. Die Daten entstammen der öffentlich zugänglichen MNIST-Daten­sammlung.

Jede der beiden CSV-Dateien enhält eine Tabelle. Jede Zeile der Tabelle besteht aus 785 Zahlenwerten, dabei gibt der erste Wert die Ziffer an, die dargestellt ist, und die restlichen 784 Zahlenwerte stellen Graustufen eines 28×28-Pixel-Bildes dar, das die hand­geschriebene Ziffer zeigt. Als Beispiel sehen Sie in Bild 1 eine hand­geschriebene Ziffer 6.

Eingabedaten aufbereiten

Zunächst lesen Sie die Trainings­daten, die sich in der CSV-Datei mnist_train.csv befinden, mit folgender Funktion ein:

Das Array datalist besteht aus 60.000 Strings, die jeweils Zeilen von durch Kommas getrennten Werten darstellen. Mit einer Funktion prepareInput bereiten Sie die Daten für die weitere Verwendung auf.

Im ersten Schritt wandeln Sie jede der durch Kommas unterteilten Zeilen in eine Liste um. Die Listeneinträge sind aber noch Strings, daher wandeln Sie diese als nächstes in Zahlen um. Dann trennen Sie die erste Zahl ab, diese entspricht dem Wert der dar­gestellten Ziffer, und speichern diee in der Variablen d. Die restlichen Zahlen vermindern Sie um 128, sodass sie in den Bereich {-128., ..., +127} fallen. Das Ergebnis ist der spätere Eingabe­vektor x, auf den in der Eingabe­schicht ja die Funktion σ angewandt wird. So erreichen Sie, dass der Wertebereich von σ ausgeschöpft wird.

Den Zielvektor y bilden Sie folgender­maßen. Zunächst erzeugen Sie einen Vektor mit zehn gleichen Werten von 0.1. In diesem Vektor ändern Sie an Index­position d den Wert in 0.9. Das neuronale Netz soll später so trainiert werden, dass bei Eingabe einer hand­geschriebenen Ziffer d das Neuron an Index­position d der Ausgabe­schicht einen hohen Wert liefert und alle anderen Neuronen der Ausgabe­schicht einen niedrigen Wert. Die Ausgabewerte des neuronalen Netzes liegen stets zwischen 0 und 1, da sie als Fiúnktionswerte der Funktion σ zustande kommen.

Eingabe­vektor und zugehöriger Zielvektor werden miteinander verkettet, und alle so aufbereiteten Zeilen werden zum Schluss zu einer zwei­dimensionalen Liste r zusammengefügt.

In ent­sprechender Weise werden auch die Testdaten aus der Datei mnist_test.csv eingelesen und aufbereitet.

Programm

Es folgt das fertige Programm. Es beginnt mit den Definitionen der Funktionen readInput und prepareInput. Dann kommt die Definition der Funktion sigma. Die Definitionen der eigentlichen Funktionen des neuronalen Netzes, nämlich propagate, backpropagate, train und test schließen sich an. Die Theorie dazu, wie die Funktionen propagate und backpropagate zustande kommen, finden Sie in dem Artikel über Neuronale Netze.

Im Haupt­programm definieren Sie zunächst das neuronale Netz, indem Sie pro Schicht die Anzahl der Neuronen angeben. Hier etwa definieren Sie ein neuronales Netz mit drei Schichten, wobei die Eingabe­schicht 28 · 28 = 784 Neuronen umfasst, die innere Schicht 100 Neuronen und die Ausgabe­schicht 10 Neuronen. Alternativ, hier im Programmtext auskommentiert, können Sie auch ein neuronales Netz mit vier Schichten definieren.

Überraschender­weise hat die Initialisierung der Gewichtungsmatrizen erheblichen Einfluss auf die Erkennungsrate des neuronalen Netzes. Hier ist eine Initialisierung gewählt, die normalverteilte Zufallswerte enthält.

Für die im Verlauf der Berechnung erforder­lichen Vektoren erzeugen Sie zunächst Platzhalter, sodass Sie später per Indizierung darauf zugreifen können (zum Beispiel muss e[0] vorhanden sein, wenn Sie ihm ein Wert zuweisen).

Es folgt dann das Programm­stück zum Trainieren und Testen des neuronalen Netzes. Die 60.000 Trainings­datensätze geben Sie mehrfach in sogenannten Epochen in das Netz ein, um es zu trainieren. Im Anschluss daran bestimmen Sie mit den 10.000 Testdatensätzen jeweils die erzielte Erkennungsrate.

Der Programmtext steht in Form eines jupyter-Notebooks unter MultilayerNeuralNetwork-HandwrittenNumbers.ipynb zum Herunterladen zur Verfügung. Zusätzlich erforderlich sind die Dateien mnist_train.csv und mnist_test.csv. Kopieren Sie diese drei Dateien in ein Verzeichnis.

Probieren Sie das Programm mit unter­schiedlichen neuronalen Netzen mit unter­schiedlicher Anzahl von Schichten und Anzahl von Neuronen in den inneren Schichten aus. Die Anzahl der Neuronen in der Eingabe­schicht liegt fest, sie beträgt 28 · 28 = 784 entsprechend der Anzahl der Pixel der Eingabebilder. Die Anzahl der Neuronen der Ausgabe­schicht liegt ebenfalls fest, sie beträgt 10 entsprechend der Anzahl der zu erkennenden unter­schiedlichen Ziffern 0, ..., 9.

Leistungsfähigkeit

Das hier angegebene neuronale Netz erzielt nach der vierten Trainingsepoche eine Erkennungsrate von über 95 %. Tatsächlich wäre eine Erkennungsrate von 100 % auch gar nicht unbedingt sinnvoll, da manche Ziffer so unsauber geschrieben ist, dass eine Zuordnung zu einem "richtigen" Wert rein willkürlich wäre.