Abschlussvortrag: Vergleich von neuronalen Netzarchitekturen und Gradient-Boosting-Verfahren anhand tabellarischer Daten

Betreuer: Prof. Dr. Hans-Peter Beise

Kurzfassung:
Die KI-Forscher Ravid Shwartz-Ziv sowie Amitai Armon haben sich in ihrer Veröffentlichung mit dem Titel "Deep Learning is not all you need" mit der Frage auseinandergesetzt, wie effektiv die neuronalen Netzarchitekturen NODE, 1D-CNN, TabNet sowie DNF-Net einmal im Vergleich untereinander sowie zu XGBoost, dem aktuell gängigen ML-Verfahren, sind. Dabei haben sich die beiden Wissenschaftler mit den Daten beschäftigt, anhand dessen die neuronalen Netze trainiert und für gut befunden erklärt wurden, näher angeschaut und festgestellt, dass es in der Tat Konstellationen gibt, bei dem die einzelnen neuronalen Netze ein besseres Ergebnis hinsichtlich der Generalisierung erreichten, jedoch nicht immer. Darüber hinaus haben beide Wissenschaftler Kombinationen aus den fünf Lernverfahren gebildet und daraus ein Ensemble konstruiert, welches die einzelnen Algorithmen sogar hinsichtlich der Generalisierung übertrafen. In meiner Masterarbeit möchte ich daran anknüpfen. Mein Ansatz geht dahin, dass ich die fünf verschiedenen ML-Verfahren unter möglichst identischen Bedingungen trainiere und anschließend evaluiere. Dabei zeige ich, dass sich unter den vier neuronalen Netzarchitekturen durchaus gute Alternativen zu dem Gradient-Boosting-Verfahren XGBoost befinden.