Refine
Year of publication
Document Type
- Report (22) (remove)
Has Fulltext
- yes (22)
Keywords
- Optimierung (10)
- Soft Computing (8)
- Modellierung (6)
- Evolutionärer Algorithmus (4)
- Globale Optimierung (4)
- Genetisches Programmieren (3)
- Maschinelles Lernen (3)
- Mehrkriterielle Optimierung (3)
- Metaheuristik (3)
- Optimization (3)
- Sequential Parameter Optimization (3)
- Sequentielle Parameter Optimierung (3)
- Computational Intelligence (2)
- Ensemble Methods (2)
- Evolutionsstrategie (2)
- Genetic Programming (2)
- Genetische Algorithmen (2)
- Multi-Criteria Optimization (2)
- Multiobjective Optimization (2)
- Optimierungsproblem (2)
- Prognose (2)
- Simulation (2)
- Surrogat-Modellierung (2)
- Surrogate Modeling (2)
- Surrogate Models (2)
- Versuchsplanung (2)
- Algorithm Tuning (1)
- Algorithmus (1)
- Automated Learning (1)
- Bayesian Learning (1)
- Bayesian Regression (1)
- Co-Kriging (1)
- Cyber-physische Produktionssysteme (1)
- Cyclone Dust Separator (1)
- Data Analysis (1)
- Data Mining (1)
- Data Modelling (1)
- Datenanalyse (1)
- Ensemble based modeling (1)
- Entstauber (1)
- Event Detection (1)
- Evolution Strategies (1)
- Evolutionary Algorithms (1)
- Evolutionsstrategien (1)
- Evolutionäre Algorithmen (1)
- Expected Improvement (1)
- Experiment (1)
- Experimental Algorithmics (1)
- Fehlende Daten (1)
- Finanzwirtschaft (1)
- Flushing (1)
- Function Approximation (1)
- Gaussian Process (1)
- Genetic Algorithms (1)
- Genetic programming (1)
- Heuristics (1)
- Imputation (1)
- Kognitive Referenzarchitektur (1)
- Kriging (1)
- Lineare Regression (1)
- Machine Learning (1)
- Massive Online Analysis (1)
- Metamodel (1)
- Metamodell (1)
- Missing Data (1)
- Mixed Models (1)
- Model Selection (1)
- Multi-criteria Optimization (1)
- On-line Algorithm (1)
- Parametertuning (1)
- R (1)
- Regression (1)
- SPOT (1)
- Sensortechnik (1)
- Simulated annealing (1)
- Spülen (1)
- Stacked Generalization (1)
- Statistics (1)
- Surrogate (1)
- Surrogate Model (1)
- Surrogate Optimization (1)
- Surrogate-Model-Based Optimization (1)
- Surrogate-model-based Optimization (1)
- Surrogatmodellbasierte Optimierung (1)
- Taxonomie (1)
- Taxonomy (1)
- Time-series (1)
- Trinkwasserversorgung (1)
- Unsicherheit (1)
- Vorverarbeitung (1)
- Wasserwirtschaft (1)
- Water Distribution Systems (1)
- Water Quality Monitoring (1)
- Zeitreihe (1)
- Zeitreihenanalyse (1)
- Zylon Enstauber (1)
We propose to apply typed Genetic Programming (GP) to the problem of finding surrogate-model ensembles for global optimization on compute-intensive target functions. In a model ensemble, base-models such as linear models, random forest models, or Kriging models, as well as pre- and post-processing methods, are combined. In theory, an optimal ensemble will join the strengths of its comprising base-models while avoiding their weaknesses, offering higher prediction accuracy and robustness. This study defines a grammar of model ensemble expressions and searches the set for optimal ensembles via GP. We performed an extensive experimental study based on 10 different objective functions and 2 sets of base-models. We arrive at promising results, as on unseen test data, our ensembles perform not significantly worse than the best base-model.
Die steigende Komplexität der Produktionssysteme, insbesondere im Maschinenbau, führt zu einer Belastung für Automatisierer und Anlagenbauer. Um dieser Belastung entgegenzuwirken, bietet Industrie 4.0 mit Cyber-physischen Systemen und intelligenten Automatisierungssystemen eine Lösung. Dabei wird menschliches Expertenwissen in die Automatisierung verlagert, indem Ziele deklarativ formuliert werden, anstatt prozedurale Handlungsabläufe zu beschreiben. Dieser Ansatz ermöglicht es intelligenten Systemen, ausreichenden Handlungsspielraum zu haben und den menschlichen Aufwand bei der Optimierung, Inbetriebnahme und Anlagenumbau zu reduzieren. Um intelligente Automation umzusetzen, werden neue Automatisierungstechniken und Software-Services benötigt, die verschiedene Methoden wie maschinelles Lernen, Condition-Monitoring und Diagnose-Algorithmen sowie Optimierungsverfahren nutzen. Derzeit werden diese Services unabhängig voneinander implementiert und die Schnittstellen sind oft proprietär, was den Austausch von Daten, Modellen und Ergebnissen erschwert. Dennoch strebt Industrie 4.0 die Zusammenarbeit von Geräten und Komponenten unterschiedlicher Hersteller an. Als ein Lösungsansatz wurde in diesem Projekt eine kognitive Referenzarchitektur entwickelt, welche die genannten Punkte adressiert.
The performance of optimization algorithms relies crucially on their parameterizations. Finding good parameter settings is called algorithm tuning. Using
a simple simulated annealing algorithm, we will demonstrate how optimization algorithms can be tuned using the Sequential Parameter Optimization Toolbox (SPOT). SPOT provides several tools for automated and interactive tuning. The underlying concepts of the SPOT approach are explained. This includes key techniques such as exploratory fitness landscape analysis and response surface methodology. Many examples illustrate
how SPOT can be used for understanding the performance of algorithms and gaining insight into algorithm behavior. Furthermore, we demonstrate how SPOT can be used as an optimizer and how a sophisticated ensemble approach is able to combine several meta models via stacking.
Dieser Schlussbericht beschreibt die im Projekt „Methoden der Computational Intelligence für Vorhersagemodelle in der Finanzund Wasserwirtschaft“ (FIWA) im Zeitraum von Juni 2009 bis einschließlich November 2012 erzielten Ergebnisse. In der Praxis werden für diese Vorhersagemodelle Verfahren der linearen und nichtlinearen Regression, NN, Support Vector Machines (SVM) und viele weitere Verfahren eingesetzt. Das Projekt FIWA befasste sich mit der Entwicklung modularer Systeme zur Analyse und Prognose von Daten aus der Finanz- und Wasserwirtschaft mittels Verfahren der Computational Intelligence (CI) mit methodischem Fokus auf dem CI-Unterbereich Genetic Programming (GP). Ein zentrales Ergebnis der wissenschaftlichtechnischen Arbeit im Projekt FIWA ist die Entwicklung der Open-Source Software RGP. Dabei handelt es sich um ein Software- Framework für GP, welches auf die automatische Erstellung von Vorhersagemodellen spezialisiert ist. Für die Finanzwirtschaft stand ein Handelssimulator zu Verfügung, der auf Basis von echten Finanzdaten die Qualität verschiedener Strategien testen kann. Dieser wurde im Projekt weiterentwickelt. GP wurde genutzt, um auf Basis der Simulationen genaue Vorhersagen und damit verbesserte Handelsstrategien zu entwerfen. Auch für die Wasserwirtschaft wurden Prognoseverfahren mit GP entwickelt. Der Schwerpunkt lag dabei auf der Füllstandprognose für Regenüberlaufbecken. Hier konnten moderne Verfahren mit GP oder SVM klassische Methoden deutlich schlagen oder verbessern. Auch der Einsatz von Sequentieller Parameter Optimierung zeigte signifikante Verbesserungen für die Prognosegenauigkeit. Dabei war die Kombination von klassischen Methoden und GP besonders erfolgreich. GP ist nach wie vor ein sehr aktives Forschungsgebiet und erlaubt auch für die Folgezeit zahlreiche Kooperationen mit den Partnern der Fachhochschule Köln. Sowohl für technische Anwendungen als auch zur Lösung von Forschungsfragen bieten sich zahlreiche Möglichkeiten an.
EventDetectR: An efficient Event Detection System (EDS) capable of detecting unexpected water quality conditions. This approach uses multiple algorithms to model the relationship between various multivariate water quality signals. Then the residuals of the models were utilized in constructing the event detection algorithm, which provides a continuous measure of the probability of an event at every time step. The proposed framework was tested for water contamination events with industrial data from automated water quality sensors. The results showed that the framework is reliable with better performance and is highly suitable for event detection.
This paper proposes an experimental methodology for on-line machine learning algorithms, i.e., for algorithms that work on data that are available in a sequential order.
It is demonstrated how established tools from experimental algorithmics (EA) can be applied in the on-line or streaming data setting.
The massive on-line analysis (MOA) framework is used to perform the experiments.
Benefits of a well-defined report structure are discussed.
The application of methods from the EA community to on-line or streaming data is referred to as experimental algorithmics for streaming data (EADS).
Dieser Schlussbericht beschreibt die im Projekt „CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie“ (CIMO) im Zeitraum von November 2011 bis einschließlich Oktober 2014 erzielten Ergebnisse. Für aufwändige Optimierungsprobleme aus der Industrie wurden geeignete Lösungsverfahren entwickelt. Der Schwerpunkt lag hierbei auf Methoden aus den Bereichen Computational Intelligence (CI) und Surrogatmodellierung. Diese bieten die Möglichkeit, wichtige Herausforderung von aufwändigen, komplexen Optimierungsproblemen zu lösen. Die entwickelten Methoden können verschiedene konfliktäre Zielgrößen berücksichtigen, verschiedene Hierarchieebenen des Problems in die Optimierung integrieren, Nebenbedingungen beachten, vektorielle aber auch strukturierte Daten verarbeiten (kombinatorische Optimierung) sowie die Notwendigkeit teurer/zeitaufwändiger Zielfunktionsberechnungen reduzieren. Die entwickelten Methoden wurden schwerpunktmäßig auf einer Problemstellung aus der Kraftwerkstechnik angewendet, nämlich der Optimierung der Geometrie eines Fliehkraftabscheiders (auch: Zyklon), der Staubanteile aus Abgasen filtert. Das Optimierungsproblem, das diese FIiehkraftabscheider aufwerfen, führt zu konfliktären Zielsetzungen (z.B. Druckverlust, Abscheidegrad). Zyklone können unter anderem über aufwändige Computational Fluid Dynamics (CFD) Simulationen berechnet werden, es stehen aber auch einfache analytische Gleichungen als Schätzung zu Verfügung. Die Verknüpfung von beidem zeigt hier beispielhaft wie Hierarchieebenen eines Optimierungsproblems mit den Methoden des Projektes verbunden werden können. Neben dieser Schwerpunktanwendung konnte auch gezeigt werden, dass die Methoden in vielen weiteren Bereichen Erfolgreich zur Anwendung kommen können: Biogaserzeugung, Wasserwirtschaft, Stahlindustrie. Die besondere Herausforderung der behandelten Probleme und Methoden bietet viele wichtige Forschungsmöglichkeiten für zukünftige Projekte, die derzeit durch die Projektpartner vorbereitet werden.
When using machine learning techniques for learning a function approximation from given data it is often a difficult task to select the right modeling technique.
In many real-world settings is no preliminary knowledge about the objective function available. Then it might be beneficial if the algorithm could learn all models by itself and select the model that suits best to the problem.
This approach is known as automated model selection. In this work we propose a
generalization of this approach.
It combines the predictions of several into one more accurate ensemble surrogate model. This approach is studied in a fundamental way, by first evaluating minimalistic ensembles of only two surrogate models in detail and then proceeding to ensembles with three and more surrogate models.
The results show to what extent combinations of models can perform better than single surrogate models and provides insights into the scalability and robustness of the approach. The study focuses on multi-modal functions topologies, which are important in surrogate-assisted global optimization.
Computational intelligence methods have gained importance in several real-world domains such as process optimization, system identification, data mining, or statistical quality control. Tools are missing, which determine the applicability of computational intelligence methods in these application domains in an objective manner. Statistics provide methods for comparing algorithms on certain data sets. In the past, several test suites were presented and considered as state of the art. However, there are several drawbacks of these test suites, namely: (i) problem instances are somehow artificial and have no direct link to real-world settings; (ii) since there is a fixed number of test instances, algorithms can be fitted or tuned to this specific and very limited set of test functions; (iii) statistical tools for comparisons of several algorithms on several test problem instances are relatively complex and not easily to analyze. We propose a methodology to overcome these difficulties. It is based on standard ideas from statistics: analysis of variance and its extension to mixed models. This paper combines essential ideas from two approaches: problem generation and statistical analysis of computer experiments.