We propose to apply typed Genetic Programming (GP) to the problem of finding surrogate-model ensembles for global optimization on compute-intensive target functions. In a model ensemble, base-models such as linear models, random forest models, or Kriging models, as well as pre- and post-processing methods, are combined. In theory, an optimal ensemble will join the strengths of its comprising base-models while avoiding their weaknesses, offering higher prediction accuracy and robustness. This study defines a grammar of model ensemble expressions and searches the set for optimal ensembles via GP. We performed an extensive experimental study based on 10 different objective functions and 2 sets of base-models. We arrive at promising results, as on unseen test data, our ensembles perform not significantly worse than the best base-model.
Dieser Schlussbericht beschreibt die im Projekt „CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie“ (CIMO) im Zeitraum von November 2011 bis einschließlich Oktober 2014 erzielten Ergebnisse. Für aufwändige Optimierungsprobleme aus der Industrie wurden geeignete Lösungsverfahren entwickelt. Der Schwerpunkt lag hierbei auf Methoden aus den Bereichen Computational Intelligence (CI) und Surrogatmodellierung. Diese bieten die Möglichkeit, wichtige Herausforderung von aufwändigen, komplexen Optimierungsproblemen zu lösen. Die entwickelten Methoden können verschiedene konfliktäre Zielgrößen berücksichtigen, verschiedene Hierarchieebenen des Problems in die Optimierung integrieren, Nebenbedingungen beachten, vektorielle aber auch strukturierte Daten verarbeiten (kombinatorische Optimierung) sowie die Notwendigkeit teurer/zeitaufwändiger Zielfunktionsberechnungen reduzieren. Die entwickelten Methoden wurden schwerpunktmäßig auf einer Problemstellung aus der Kraftwerkstechnik angewendet, nämlich der Optimierung der Geometrie eines Fliehkraftabscheiders (auch: Zyklon), der Staubanteile aus Abgasen filtert. Das Optimierungsproblem, das diese FIiehkraftabscheider aufwerfen, führt zu konfliktären Zielsetzungen (z.B. Druckverlust, Abscheidegrad). Zyklone können unter anderem über aufwändige Computational Fluid Dynamics (CFD) Simulationen berechnet werden, es stehen aber auch einfache analytische Gleichungen als Schätzung zu Verfügung. Die Verknüpfung von beidem zeigt hier beispielhaft wie Hierarchieebenen eines Optimierungsproblems mit den Methoden des Projektes verbunden werden können. Neben dieser Schwerpunktanwendung konnte auch gezeigt werden, dass die Methoden in vielen weiteren Bereichen Erfolgreich zur Anwendung kommen können: Biogaserzeugung, Wasserwirtschaft, Stahlindustrie. Die besondere Herausforderung der behandelten Probleme und Methoden bietet viele wichtige Forschungsmöglichkeiten für zukünftige Projekte, die derzeit durch die Projektpartner vorbereitet werden.
SOMA - Systematische Optimierung von Modellen in IT- und Automatisierungstechnik (Schlussbericht)
(2013)
Das im Rahmen der Förderlinie IngenieurNachwuchs geförderte Forschungsvorhaben Systematische Optimierung von Modellen für Informations- und Automatisierungs-technik (kurz: SOMA) startete im August 2009. Eine wesentliche Zielsetzung war die Entwicklung und Optimierung von Modellen zur Prognose von Zielgrößen. Ein wichtiges Merkmal ist dabei die effiziente Optimierung dieser Modelle, welche es ermöglichen soll, mit einer streng limitierten Anzahl an Auswertungen gute Parametereinstellungen zu bestimmen. Mithilfe dieser genaueren Parametrierungen der unterliegenden Modelle können unter Einbeziehung neuer merkmalserzeugender Verfahren insbesondere für kleine und mittelständische Unternehmen verbesserte Lösungen erzielt werden. Als direkter Gewinn derartiger Verbesserungen konnte für KMUs ein geeignetes Framework für Modellierungs- und Prognoseaufgaben be- reitgestellt werden, sodass mit geringem technischem und personellen Aufwand performante und nahezu optimale Lösungen erzielt werden können. Dieser Schluss-bericht beschreibt die im Projekt durchgeführten Maßnahmen und Ergebnisse.
An essential task for operation and planning of biogas plants is the optimization of substrate feed mixtures. Optimizing the monetary gain requires the determination of the exact amounts of maize, manure, grass silage, and other substrates. Accurate simulation models are mandatory for this optimization, because the underlying chemical processes are very slow. The simulation models themselves may be time-consuming to evaluate, hence we show how to use surrogate-model-based approaches to optimize biogas plants efficiently. In detail, a Kriging surrogate is employed. To improve model quality of this surrogate, we integrate cheaply available data into the optimization process. Doing so, Multi-fidelity modeling methods like Co-Kriging are employed. Furthermore, a two-layered modeling approach is employed to avoid deterioration of model quality due to discontinuities in the search space. At the same time, the cheaply available data is shown to be very useful for initialization of the employed optimization algorithms. Overall, we show how biogas plants can be efficiently modeled using data-driven methods, avoiding discontinuities as well as including cheaply available data. The application of the derived surrogate models to an optimization process is shown to be very difficult, yet successful for a lower problem dimension.
Multi-criteria optimization has gained increasing attention during the last decades. This article exemplifies multi-criteria features, which are implemented in the statistical software package SPOT. It describes related software packages such as mco and emoa and gives a comprehensive introduction to simple multi criteria optimization tasks. Several hands-on examples are used for illustration. The article is well-suited as a starting point for performing multi-criteria optimization tasks with SPOT.
RGP is genetic programming system based on, as well as fully integrated into, the R environment. The system implements classical tree-based genetic programming as well as other variants including, for example, strongly typed genetic programming and Pareto genetic programming. It strives for high modularity through a consistent architecture that allows the customization and replacement of every algorithm component, while maintaining accessibility for new users by adhering to the "convention over configuration" principle.
Dieser Schlussbericht beschreibt die im Projekt „Methoden der Computational Intelligence für Vorhersagemodelle in der Finanzund Wasserwirtschaft“ (FIWA) im Zeitraum von Juni 2009 bis einschließlich November 2012 erzielten Ergebnisse. In der Praxis werden für diese Vorhersagemodelle Verfahren der linearen und nichtlinearen Regression, NN, Support Vector Machines (SVM) und viele weitere Verfahren eingesetzt. Das Projekt FIWA befasste sich mit der Entwicklung modularer Systeme zur Analyse und Prognose von Daten aus der Finanz- und Wasserwirtschaft mittels Verfahren der Computational Intelligence (CI) mit methodischem Fokus auf dem CI-Unterbereich Genetic Programming (GP). Ein zentrales Ergebnis der wissenschaftlichtechnischen Arbeit im Projekt FIWA ist die Entwicklung der Open-Source Software RGP. Dabei handelt es sich um ein Software- Framework für GP, welches auf die automatische Erstellung von Vorhersagemodellen spezialisiert ist. Für die Finanzwirtschaft stand ein Handelssimulator zu Verfügung, der auf Basis von echten Finanzdaten die Qualität verschiedener Strategien testen kann. Dieser wurde im Projekt weiterentwickelt. GP wurde genutzt, um auf Basis der Simulationen genaue Vorhersagen und damit verbesserte Handelsstrategien zu entwerfen. Auch für die Wasserwirtschaft wurden Prognoseverfahren mit GP entwickelt. Der Schwerpunkt lag dabei auf der Füllstandprognose für Regenüberlaufbecken. Hier konnten moderne Verfahren mit GP oder SVM klassische Methoden deutlich schlagen oder verbessern. Auch der Einsatz von Sequentieller Parameter Optimierung zeigte signifikante Verbesserungen für die Prognosegenauigkeit. Dabei war die Kombination von klassischen Methoden und GP besonders erfolgreich. GP ist nach wie vor ein sehr aktives Forschungsgebiet und erlaubt auch für die Folgezeit zahlreiche Kooperationen mit den Partnern der Fachhochschule Köln. Sowohl für technische Anwendungen als auch zur Lösung von Forschungsfragen bieten sich zahlreiche Möglichkeiten an.
There is a strong need for sound statistical analysis of simulation and optimization algorithms. Based on this analysis, improved parameter settings can be determined. This will be referred to as tuning. Model-based investigations are common approaches in simulation and optimization. The sequential parameter optimization toolbox (SPOT), which is implemented as a package for the statistical programming language R, provides sophisticated means for tuning and understanding simulation and optimization algorithms. The toolbox includes methods for tuning based on classical regression and analysis of variance techniques; tree-based models such as classification and regressions trees (CART) and random forest; Gaussian process models (Kriging), and combinations of different meta-modeling approaches. This article exemplifies how an existing optimization algorithm, namely simulated annealing, can be tuned using the SPOT framework.
Formerly, multi-criteria optimization algorithms were often tested using tens of thousands function evaluations. In many real-world settings function evaluations are very costly or the available budget is very limited. Several methods were developed to solve these cost-extensive multi-criteria optimization problems by reducing the number of function evaluations by means of surrogate optimization. In this study, we apply different multi-criteria surrogate optimization methods to improve (tune) an event-detection software for water-quality monitoring. For tuning two important parameters of this software, four state-of-the-art methods are compared: S-Metric-Selection Efficient Global Optimization (SMS-EGO), S-Metric-Expected Improvement for Efficient Global Optimization SExI-EGO, Euclidean Distance based Expected Improvement Euclid-EI (here referred to as MEI-SPOT due to its implementation in the Sequential Parameter Optimization Toolbox SPOT) and a multi-criteria approach based on SPO (MSPOT). Analyzing the performance of the different methods provides insight into the working-mechanisms of cutting-edge multi-criteria solvers. As one of the approaches, namely MSPOT, does not consider the prediction variance of the surrogate model, it is of interest whether this can lead to premature convergence on the practical tuning problem. Furthermore, all four approaches will be compared to a simple SMS-EMOA to validate that the use of surrogate models is justified on this problem.