CITEC-Team gewinnt bei Aktion von Microsoft
Seit 2017 ruft das Softwareunternehmen Microsoft weltweit zu einem Wettbewerb im populären Computerspiel Minecraft auf. Das Ziel: Künstlich intelligente Computerspieler sollen lernen, miteinander zusammenzuarbeiten. Als „künstliche Agenten“ basieren die Spieler auf Algorithmen. In diesem Jahr beteiligten sich 133 Informatikerinnen und Informatiker mit ihren Algorithmen am Wettbewerb – darunter auch der CITEC-Forscher Dr. Andrew Melnik und seine beiden Mitstreiter, die Informatik-Studenten Lennart Bramlage und Hendric Voß von der Universität Bielefeld. Ihr Agent hat sich in dem Wettbewerb MARLÖ die meisten Punkte geholt.
Der Wettbewerb dient dazu, künstlich intelligente Agenten zu schaffen, die von sich aus in der Lage sind, Probleme zu erkennen und zu lösen. Genutzt wird dafür eine Methode des maschinellen Lernens – das „Reinforcement Learning“ (Bestärkendes Lernen). Die Methode wird heute zum Beispiel für Autonomes Fahren, Robotik und an Finanzmärkten eingesetzt. Eine Forschungsgruppe von Microsoft hat im Computerspiel Minecraft einen Wettbewerb aufgebaut, um Verfahren aus der Forschung zu künstlicher Intelligenz zu testen. Die Gruppe ruft einmal im Jahr Forschende und Studierende aus der Informatik auf, einen künstlich intelligenten Computerspieler zu entwickeln. Er lernt mit anderen, zufällig zugeordneten Spielern zu kooperieren, um die meisten Punkte in der virtuellen Welt bei kleinen Aufgaben zu holen.
Die künstlichen Agenten müssen bei MARLÖ in Minecraft eine Reihe von spielerischen, kooperativen Aufgaben bewältigen: gemeinsam ein Haustier fangen oder etwa nach einem Plan möglichst schnell und präzise ein Gebilde aus Bausteinen konstruieren. Der Wettbewerb ist in Form eines Turniers aufgebaut. Das Bielefelder Team um Dr. Andrew Melnik setzte sich im Finale durch. Den zweiten Platz belegte das Team der New York University. Den dritten Platz belegte das Team der Nanchang University.
„In dem Wettbewerb geht es um allgemeine künstliche Intelligenz, die eigenständig verschiedene Situationen bewältigen kann“, sagt der CITEC-Forscher Dr. Andrew Melnik. Er arbeitet in der Forschungsgruppe Neuroinformatik von Professor Dr. Helge Ritter. „Um erfolgreich zu sein, brauchte unser Agent einen Algorithmus, der ihm erlaubt, mehrere Aufgaben gleichzeitig auszuführen – zum Beispiel einem Haustier nachzulaufen und parallel im Blick zu haben, wo die Mitspieler sind.“
„Doch besonders herausfordernd war das wechselnde Aussehen der Objekte in der virtuellen Welt, mit dem unser künstlicher Agent zurechtkommen musste“, sagt Melnik. Dazu gehörten beispielsweise das Wetter und die Lichtbedingungen. „Ob es regnet oder sonnig ist, wirkt sich auf das Aussehen des Zielobjektes aus und erschwert die Erkennung.“
Für die Programmierung ihres Spieler-Agenten nutzte das Bielefelder Team einen Ansatz mit dem Namen „MimicStates“. „Das ist eine Form des nachahmenden Lernens“, erklärt Melnik. Aufzeichnungen von Spielsequenzen mit menschlichen Spielern werden dabei verwendet, um dem Agenten die nötigen Aktions- und Zustandsmuster zu zeigen, die zur erfolgreichen Lösung der Aufgabe führen.
Als Gewinner des Wettbewerbs erhält das Team zwei Reisestipendien. Mit dem einem Stipendium können die drei Teammitglieder eine Fachkonferenz ihrer Wahl besuchen, um ihren für den Wettbewerb entwickelten Algorithmus vorzustellen. Das zweite Stipendium ermöglicht ihnen den Besuch der Applied Machine Learning Days 2020 in Lausanne, Schweiz, eine der größten Konferenzen in ihrem Bereich. Sie bekommen zudem eine Förderung für die Nutzung der Cloud-Computing-Plattform Microsoft Azure.
Der Wettbewerb MARLÖ wird von Microsoft, der Queen Mary University of London und CrowdAI, einer gemeinnützigen Open-Source-Plattform, ausgerichtet. Die Initiative für das Projekt kam von der Forschungsabteilung von Microsoft. Die Microsoft-Forscherin Dr. Katja Hofmann sieht die Minecraft-Computerwelt als perfekte Umgebung, um künstlich intelligente Agenten darin zu trainieren, vernünftig und kooperativ zu handeln. Der Wettbewerb MARLÖ heißt mit vollen Namen „The Multi-Agent Reinforcement Learning in Malmö“ (Verstärkendes Lernen mit mehreren Agenten in Malmö). „Malmö“ heißt die von Microsoft geschaffene technische Plattform in Minecraft, über die der Wettbewerb läuft.
Minecraft ist ein Computerspiel, in dem die Nutzer ihre eigene Welt gestalten können, wobei sie Bausteine verwenden, ähnlich wie bei Lego – nur virtuell. Es handelt sich um ein Spiel in einer 3D-Welt mit beliebig vielen Teilnehmerinnen und Teilnehmern und kommt damit der Komplexität der wirklichen Welt nahe.
Weitere Informationen:
- „Winners announced in multi-agent reinforcement learning challenge” (Blog-Beitrag vom 22.02.2019): https://www.microsoft.com/en-us/research/blog/winners-announced-in-multi-agent-reinforcement-learning-challenge
- „In the Quest for General Intelligence, AIs Are Chasing Chickens in Minecraft” (Artikel vom 21.12.2018): https://spectrum.ieee.org/robotics/artificial-intelligence/in-the-quest-for-general-intelligence-ais-are-chasing-chickens-in-minecraft
Kontakt:
Dr. Andrew Melnik, Universität Bielefeld
Exzellenzcluster Kognitive Interaktionstechnologie (CITEC)
Telefon: 0521 106-12120
E-Mail: anmelnik@techfak.uni-bielefeld.de