TY - INPR A1 - Bartz-Beielstein, Thomas T1 - Meaningful Problem Instances and Generalizable Results N2 - Computational intelligence methods have gained importance in several real-world domains such as process optimization, system identification, data mining, or statistical quality control. Tools are missing, which determine the applicability of computational intelligence methods in these application domains in an objective manner. Statistics provide methods for comparing algorithms on certain data sets. In the past, several test suites were presented and considered as state of the art. However, there are several drawbacks of these test suites, namely: (i) problem instances are somehow artificial and have no direct link to real-world settings; (ii) since there is a fixed number of test instances, algorithms can be fitted or tuned to this specific and very limited set of test functions; (iii) statistical tools for comparisons of several algorithms on several test problem instances are relatively complex and not easily to analyze. We propose amethodology to overcome these dificulties. It is based on standard ideas from statistics: analysis of variance and its extension to mixed models. This work combines essential ideas from two approaches: problem generation and statistical analysis of computer experiments. T3 - CIplus - 1/2015 KW - Soft Computing KW - Versuchsplanung KW - Varianzanalyse KW - Optimierung KW - Simulation KW - Statistische Versuchsplanung KW - Simulationsmodell KW - Varianzanalyse KW - R KW - Computational Intelligence KW - Design of Experiments KW - Mixed-Effects Models KW - R Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:hbz:832-cos-764 ER - TY - RPRT A1 - Bartz-Beielstein, Thomas A1 - Flasch, Oliver T1 - FIWA - Methoden der Computational Intelligence für Vorhersagemodelle in der Finanz-und Wasserwirtschaft (Schlussbericht) T1 - FIWA - Computational Intelligence Methods for Prediction Models in Finance- and Watermanagement N2 - Dieser Schlussbericht beschreibt die im Projekt „Methoden der Computational Intelligence für Vorhersagemodelle in der Finanzund Wasserwirtschaft“ (FIWA) im Zeitraum von Juni 2009 bis einschließlich November 2012 erzielten Ergebnisse. In der Praxis werden für diese Vorhersagemodelle Verfahren der linearen und nichtlinearen Regression, NN, Support Vector Machines (SVM) und viele weitere Verfahren eingesetzt. Das Projekt FIWA befasste sich mit der Entwicklung modularer Systeme zur Analyse und Prognose von Daten aus der Finanz- und Wasserwirtschaft mittels Verfahren der Computational Intelligence (CI) mit methodischem Fokus auf dem CI-Unterbereich Genetic Programming (GP). Ein zentrales Ergebnis der wissenschaftlichtechnischen Arbeit im Projekt FIWA ist die Entwicklung der Open-Source Software RGP. Dabei handelt es sich um ein Software- Framework für GP, welches auf die automatische Erstellung von Vorhersagemodellen spezialisiert ist. Für die Finanzwirtschaft stand ein Handelssimulator zu Verfügung, der auf Basis von echten Finanzdaten die Qualität verschiedener Strategien testen kann. Dieser wurde im Projekt weiterentwickelt. GP wurde genutzt, um auf Basis der Simulationen genaue Vorhersagen und damit verbesserte Handelsstrategien zu entwerfen. Auch für die Wasserwirtschaft wurden Prognoseverfahren mit GP entwickelt. Der Schwerpunkt lag dabei auf der Füllstandprognose für Regenüberlaufbecken. Hier konnten moderne Verfahren mit GP oder SVM klassische Methoden deutlich schlagen oder verbessern. Auch der Einsatz von Sequentieller Parameter Optimierung zeigte signifikante Verbesserungen für die Prognosegenauigkeit. Dabei war die Kombination von klassischen Methoden und GP besonders erfolgreich. GP ist nach wie vor ein sehr aktives Forschungsgebiet und erlaubt auch für die Folgezeit zahlreiche Kooperationen mit den Partnern der Fachhochschule Köln. Sowohl für technische Anwendungen als auch zur Lösung von Forschungsfragen bieten sich zahlreiche Möglichkeiten an. N2 - This report describes results achieved in the project "Computational Intelligence Methods for Forecasting Models in Finance and Water Resource Management" (FIWA) during the time frame from July 2009 to November 2012. In practice, these forecasting models are created with methods of linear- and non-linear-regression, NN, Support Vector Machines and many others. The FIWA project developed modular systems for the analysis and forecasting of data from finance and water resource management by Computational Intelligence (CI) methods, with a focus on Genetic Programming (GP). A central result is the development of the open-source software RGP, a GP-system optimized for the automatic generation of forecasting models. For finance application, a trading simulator was extended to be able to efficiently test the quality of trading strategies based on real-world data. GP was employed to generate improved strategies based on these simulations. GP was also used to generate forecasting models for water resource management. An application focus was the forecasting of fill levels of storm water tanks. Modern methods like GP and SVM where able to generate significantly better results than classical methods. Sequential Parameter Optimization was able to further improve these results. GP is a very active field of research and enables multiple cooperations with partners of the Cologne Universtiy of Applied Sciences for commercial and scientific applications. T3 - CIplus - 3/2013 KW - Soft Computing KW - Prognose KW - Wasserwirtschaft KW - Finanzwirtschaft KW - Modellierung KW - Computational Intelligence KW - Genetisches Programmieren KW - Computational Intelligence KW - Genetic Programming Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:hbz:832-cos-466 ER - TY - RPRT A1 - Bartz-Beielstein, Thomas A1 - Zaefferer, Martin T1 - A Gentle Introduction to Sequential Parameter Optimization N2 - There is a strong need for sound statistical analysis of simulation and optimization algorithms. Based on this analysis, improved parameter settings can be determined. This will be referred to as tuning. Model-based investigations are common approaches in simulation and optimization. The sequential parameter optimization toolbox (SPOT), which is implemented as a package for the statistical programming language R, provides sophisticated means for tuning and understanding simulation and optimization algorithms. The toolbox includes methods for tuning based on classical regression and analysis of variance techniques; tree-based models such as classification and regressions trees (CART) and random forest; Gaussian process models (Kriging), and combinations of different meta-modeling approaches. This article exemplifies how an existing optimization algorithm, namely simulated annealing, can be tuned using the SPOT framework. T3 - CIplus - 1/2012 KW - Optimierung KW - Globale Optimierung KW - Simulation KW - Simulated annealing KW - Versuchsplanung KW - Modellierung KW - Soft Computing KW - Sequentielle Parameter Optimierung KW - Parametertuning KW - Computational Intelligence Y1 - 2012 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:hbz:832-cos-191 ER -