Refine
Has Fulltext
- yes (2)
Keywords
- Adaptive Schrittweite (1)
- Board Games (1)
- Klassifikation (1)
- Maschinelles Lernen (1)
- Modeling (1)
- Modellierung (1)
- Modelllernen (1)
- N-tuple Systems (1)
- Online Adaptation (1)
- Optimierung (1)
Institute
Learning board games by self-play has a long tradition in computational intelligence for games. Based on Tesauro’s seminal success with TD-Gammon in 1994, many successful agents use temporal difference learning today. But in order to be successful with temporal difference learning on game tasks, often a careful selection of features and a large number of training games is necessary. Even for board games of moderate complexity like Connect-4, we found in previous work that a very rich initial feature set and several millions of game plays are required. In this work we investigate different approaches of online-adaptable learning rates like Incremental Delta Bar Delta (IDBD) or Temporal Coherence Learning (TCL) whether they have the potential to speed up learning for such a complex task. We propose a new variant of TCL with geometric step size changes. We compare those algorithms with several other state-of-the-art learning rate adaptation algorithms and perform a case study on the sensitivity with respect to their meta parameters. We show that in this set of learning algorithms those with geometric step size changes outperform those other algorithms with constant step size changes. Algorithms with nonlinear output functions are slightly better than linear ones. Algorithms with geometric step size changes learn faster by a factor of 4 as compared to previously published results on the task Connect-4.
SOMA - Systematische Optimierung von Modellen in IT- und Automatisierungstechnik (Schlussbericht)
(2013)
Das im Rahmen der Förderlinie IngenieurNachwuchs geförderte Forschungsvorhaben Systematische Optimierung von Modellen für Informations- und Automatisierungs-technik (kurz: SOMA) startete im August 2009. Eine wesentliche Zielsetzung war die Entwicklung und Optimierung von Modellen zur Prognose von Zielgrößen. Ein wichtiges Merkmal ist dabei die effiziente Optimierung dieser Modelle, welche es ermöglichen soll, mit einer streng limitierten Anzahl an Auswertungen gute Parametereinstellungen zu bestimmen. Mithilfe dieser genaueren Parametrierungen der unterliegenden Modelle können unter Einbeziehung neuer merkmalserzeugender Verfahren insbesondere für kleine und mittelständische Unternehmen verbesserte Lösungen erzielt werden. Als direkter Gewinn derartiger Verbesserungen konnte für KMUs ein geeignetes Framework für Modellierungs- und Prognoseaufgaben be- reitgestellt werden, sodass mit geringem technischem und personellen Aufwand performante und nahezu optimale Lösungen erzielt werden können. Dieser Schluss-bericht beschreibt die im Projekt durchgeführten Maßnahmen und Ergebnisse.