Othello Experiment

Kontakt

Verantwortlich für dieses Experiment ist Prof. Dr. Christoph Lürig. Bei Rückfragen wenden Sie sich bitte an ihn. Die Teilnahme an diesem Experiment ist freiwillig und kann von Ihrer Seite aus jederzeit beendet werden.

Ziel

Ziel dieses Experimentes ist es, eine Erklärungskomponente einer Alpha-Zero AI für das Spiel Othello oder auch Reversi genannt zu testen. Die AI hat eine mittlere Spielstärke und ist über 6 Stunden trainiert worden. Die Erklärungskomponente besteht aus einer Erklärungsfunktion des Spieles selbst und einem Video, in dem die Resultate verschiedener Wissensextraktionskomponenten diskutiert werden. Ziel dieses Experimentes ist es den Fähigkeitszugewinn mit der Erklärungskomponente zu vergleichen mit einer Kontrollgruppe, die das Spiel ohne Erklärungsvideo und -komponente spielt. In beiden Fällen können Sie für das Experiment 30 – 45 Minuten ansetzen.

Erfasste Daten

Am Ende des Experiments füllen Sie einen Fragebogen aus, in dem folgende Daten erfasst werden:

Geschlecht
Alter
Spielerfahrung mit Othello
Information, ob Sie zur Erklärungsgruppe oder Kontrollgruppe gehören
Ihre Spielergebnisse von 3 Othello Spielen

Die Umfrageergebnisse werden aug Google Docs gespeichert.

Die zentrale Frage an dieser Stelle ist der Einfluss der Gruppenzugehörigkeit (Kontroll- oder Erklärung) auf den Verlauf der Spielergebnisse. Geschlecht, Alter und Spielerfahrung können als moderierende Variablen betrachtet werden. Die teilnehmende Persion erklärt sich damit einverstanden, dass die so gewonnenen Daten in aggregierter Form für Veröffentlichungen verwendet werden. Sollten Sie damit nicht einverstanden sein, führen Sie das Experiment bitte nicht durch.

Ablauf

Das Spiel selber ist in Python programmiert und als Windows Installer (hier) zur Verfügung gestellt. Installieren Sie sich dieses Programm. Nach der Installation befindet sich im Startmenü ein Programm namens "Othello".

Fragen Sie die Betreuungsperson des Experimentes, ob Sie zu der Erklärungsgruppe oder zu der Kontrollgruppe gehören. Bitte halten Sie sich auch an dieses Anweisung. Wenn es Sie (verständlicherweise) interessiert, können Sie nach Abschluss des Experiments auch noch die andere Variante durchspielen.

In beiden Fällen sehen Sie sich folgendes Einleitungsvideo an und verfahren dann wie unter dem jeweiligen Akkordeon beschrieben.

Einleitungsvideo

Ein Einleitungsvideo ist hier erhältlich.

Ablauf abhängig von der Gruppe

Kontrollgruppe

Bitte spielen Sie das Spiel insgesamt dreimal. Fangen Sie in allen drei Durchgängen an. Wählen Sie dazu „Human Start“. Spielen Sie das Spiel. Wählen Sie NICHT den Button auf dem oben „No Analysis“ steht. Am Ende des Spieles wird Ihnen angezeigt, wer gewonnen hat und wieviel Steine wer hatte. Notieren Sie sich für für alle drei Spiele, wie viele Steine Ihnen gehören (schwarze). Diese Informationen werden in dem abschließenden Formular benötigt.

Erklärgruppe

In der Erklärgruppe werden insgesamt vier Schritte durchgeführt:

Spielen Sie das Spiel und fangen an. Wählen Sie dazu "Human Starts". Spielen Sie das Spiel bis zum Ende und wählen dabei nicht den Button, auf dem "No Analysis" steht. Am Ende des Spieles wird angezeigt, wer gewonnen hat und wieviele Steine Ihnen gehören (schwarze). Diese Angabe wird anschließend beim Ausfüllen des Formulares benötigt.
Schauen Sie sich das Video mit der Analyse der KI auf Panopto an.
Spielen Sie das Spiel ein zweites Mal. Fangen Sie wieder an. Diesmal schalten Sie die Erklärungskomponente durch die Anwahl des Buttons zu, auf dem im Moment "No Analysis steht". Durch Anwahl des Buttons lässt sich dieser in den Modus "Full analysis" und "No corner analysis" schalten. In beiden Fällen werden für den jeweiligen Zug die Gewichte visualisiert, die in dem Video des vorherigen Schrittes angesprochen worden sind. Die beiden Modi unterscheiden sich dadurch, dass bei "No corner" die jeweiligen 2*2 Konstellationen aus den Ecken ausgenommen sind. Positive Gewichte sind grün, negative rot. In den ersten Zügen ist hier nicht viel zu sehen, da die ersten Züge nicht von besonderer Bedeutung sind. Notieren Sie sich die Menge der Steine (schwarz), die am Ende des Spieles Ihnen gehören.
Spielen Sie das Spiel ein drittes Mal. Fangen Sie wieder an. Spielen Sie diesmal NICHT mit der Erklärungskomponente. Notieren Sie sich am Ende des Spieles wieder wieviele Steine Ihnen gehören (schwarze). Sie haben sich jetzt die Steine vom ersten, zweiten und dritten Spiel notiert.

Ergebnisprotokoll

Sie haben jetzt in beiden Fällen für Ihre drei Spiele die Menge der schwarzen Steine, die Ihnen gehörten. Bitte tragen Sie diese mit der Angabe zu der Gruppe zu der Sie gehören sowie einige biographische Daten in dieses Protokoll ein. Vielen Dank für die Teilnahme an diesem Experiment.