T. Ribarits:
"The role of parametrizations in identification of linear dynamic systems";
Betreuer/in(nen), Begutachter/in(nen): M. Deistler, J. Maciejowski; E119 - 1, 2002.
Diese Dissertation befasst sich vorwiegend mit der Parametrisierung (und anschliessenden Schaetzung) von linearen, zeitinvarianten, endlichdimensionalen dynamischen Systemen. Damit kann die Arbeit dem Gebiet der Systemidentifikation zugeordnet werden, welches sich in den vergangenen Jahrzehnten nach und nach zu einer eigenen Disziplin entwickelt hat. Die Kernfrage der Systemidentifikation besteht allgemein in der Bestimmung eines guten Modells aus gegebenen, im allgemeinen verrauschten, Daten, und wir beschraenken uns eben auf die Modellklasse der linearen dynamischen Systeme. Weiters wird hier ausschliesslich der Fall behandelt, in welchem die Daten aus einer Anzahl von zeitlich geordneten, vektorwertigen quantitativen Beobachtungen bestehen, die in zeitlich konstanten Abstaenden gemessen werden.Die Dissertation ist wie folgt gegliedert:
In Kapitel 1 werden die wesentlichsten Begriffe aus der linearen Systemtheorie wiederholt. Insbesondere werden drei moegliche Darstellungen von linearen dynamischen Systemen besprochen: Transferfunktionen, ARMAX-Modelle sowie Zustandsraum-Modelle.
Kapitel 2 befasst sich mit verschiedenen Methoden der Schaetzung von linearen dynamischen Systemen, sowohl in theoretischer als auch in praktischer Hinsicht. Zunaechst wird ein Ueberblick ueber verschiedene Varianten von sogenannten Subspace-Algorithmen gegeben. Diese dienen der Schaetzung von Zustandsraum-Modellen und beduerfen keiner expliziten Parametrisierung, die entsprechenden Schaetzer sind aber hinsichtlich ihrer asymptotischen Eigenschaften den Schaetzern, welche mittels der Maximum Likelihood Methode bestimmt werden, oft unterlegen. Letztere Schaetzmethode wird ebenfalls diskutiert, wobei auch die praktische Auswertung der Likelihood Funktion und ihrer unterschiedlichen Approximationen behandelt wird. In diesem Kontext ist auch der Kalman Filter zu verstehen, der ein wesentliches Werkzeug nicht nur fuer die Prognose, sondern eben auch fuer die Schaetzung ist und daher in allgemeinem Rahmen ausfuehrlich behandelt wird. Jedenfalls muss fuer die Implementierung der Maximum Likelihood Methode eine Parametrisierung der betrachteten Systeme gewaehlt werden. Die topologischen und geometrischen Eigenschaften dieser Parametrisierung beeinflussen die statistischen Eigenschaften der Schaetzer wie auch die numerischen Eigenschaften der Schaetzalgorithmen, und dies ist der Ausgangspunkt fuer die Untersuchung verschiedener Parametrisierungen, die im Zentrum dieser Arbeit steht.
Zuvor beschaeftigt sich Kapitel 3 noch mit einer Reihe von speziellen Teilmengen im Raum aller Zustands\-raum-Modelle der Form (A,B,C,D). So wird zum Beispiel die Menge aller beobachtungsaequivalenten Systeme (d.h. die Menge jener Zustandsraum-Modelle, welche die selbe Transferfunktion darstellen) ebenso analysiert wie die Menge aller balanzierten Systeme (A,B,C,D), welche sogenannte Allpass-Transferfunktionen repraesentieren. Fuer jede dieser Teilmengen im (A,B,C,D)-Raum wird die Struktur einer differenzierbaren Untermannigfaltigkeit gezeigt und eine einfache Darstellung der Tangentialraeume behandelt, was auch einige Einblicke in die Geometrie dieser speziellen Systemklassen erlaubt.
Die Resultate von Kapitel 3 werden im darauffolgenden Kapitel 4 verwendet, welches den Hauptteil der Arbeit bildet und verschiedene Parametrisierungen von linearen dynamischen Systemen in einem einheitlichen Rahmen praesentiert und in Bezug auf topologische und geometrische Eigenschaften vergleicht. Dabei kommen Parametrisierungen fuer ARMAX-Modelle ebenso vor wie jene fuer Zustandsraum-Modelle, die wohl den Schwerpunkt bilden. All diesen Parametrisierungen ist gemein, dass sie jeweils Teilmengen der Menge aller Transferfunktionen von gegebener Ordnung n darstellen. Behandelt werden die volle Zustandsraum-Modell Parametrisierung, eine Reihe von kanonischen Formen sowie ueberlappende Parametrisierungen. Die meisten topologischen Eigenschaften dieser Parametrisierungen, die jeweils in einem Theorem zusammengefasst und im Anschluss anhand illustrativer Beispiele diskutiert werden, sind an verschiedenen Stellen in der Literatur zu finden. Neu sind alle Resultate in Verbindung mit der Gruppe der sogenannten datengetriebenen lokalen Parametrisierungen. Der Grundgedanke hier besteht darin, die Parametrisierung waehrend des iterativen Schaetzalgorithmus anzupassen, um gewuenschte Eigenschaften zu erzielen. Diese Vorgangsweise ist insoferne motiviert, als die Wahl der Parametrisierung insbesondere auch die numerischen Eigenschaften des Identifikationsalgorithmus beeinflusst und diese Eigenschaften bekanntermassen von der wahren Transferfunktion abhaengen. Da aber die wahre Transferfunktion a priori natuerlich unbekannt ist, muss die Parametrisierung um den aktuellen Schaetzer adaptiert werden -- man beachte den lokalen Charakter an dieser Stelle. Drei verschiedene Parametrisierungen dieser Klasse werden behandelt: Datengetriebene lokale Koordinaten (data driven local coordinates oder kurz DDLC), urspruenglich in (McKelvey und Helmersson, 1999) eingefuehrt, werden detailliert untersucht. Weiters schlagen wir eine Erweiterung des DDLC-Konzepts vor, die zu einer neuen Parametrisierung fuehrt, die wir slsDDLC (Separable Least Squares combined with DDLC) nennen. In der Praxis wird zur Optimierung der Likelihood Funktion meist ein iterativer Suchalgorithmus verwendet. Unter Verwendung der slsDDLC Parametrisierung werden schliesslich einige kleine Modifikationen vorgenommen, sodass wir eine neue Klasse von Schaetzalgorithmen erhalten, die wir mit orthoDDLC bezeichnen. Der Name ist durch die Tatsache motiviert, dass bei diesem Verfahren in jedem Iterationsschritt gewaehrleistet ist, dass die parametrisierten Systemmatrizen (A,B,C,D) bei geeigneter Anordnung eine orthogonale Matrix bilden.
Schliesslich werden in Kapitel 5 Themen behandelt, die bei einer Software-Implementierung unmittelbar relevant sind. Zunaechst werden erweiterte Kalman Filter behandelt, welche zur Berechnung von Ableitungen der geschaetzten Innovationen herangezogen werden. Formeln fuer die Auswertung der asymptotischen Form der Likelihood Funktion und deren Gradient und (approximativer) Hesse-Matrix werden hergeleitet, wobei die Auswertung nicht notwendigerweise an den der wahren Transferfunktion entsprechenden Parameterwerten erfolgt. Im Fall von endlichen Stichproben wird die Berechnung der analogen Groessen aus Gruenden der Vollstaendigkeit kurz wiederholt. Die Ableitungen der Systemmatrizen nach den Parametern fuer die behandelten Parametrisierungen sowie ein kurzer Abriss von traditionellen Optimierungsalgorithmen folgen, und letztlich werden numerische Eigenschaften dieser Algorithmen in Verbindung mit den behandelten Parametrisierungen untersucht. Insbesondere werden DDLC und orthoDDLC in dieser Hinsicht verglichen.
Der Anhang A beendet diese Arbeit und enthaelt naturgemaess Resultate und Definitionen, die an mehreren Stellen dieser Dissertation benoetigt werden.
Diese Arbeit wurde finanziert durch den oesterreichischen Fonds zur Foerderung der wissenschaftlichen Forschung, FWF, Projektnummer P 14438 sowie durch das TMR-Programm der Europaeischen Union unter der Kontraktnummer ERB FMRX CT98 0206.
This thesis is primarily concerned with the parametrization (and subsequent estimation) of linear, time invariant, finite dimensional dynamic systems. Hence, it may be assigned to the field of system identification which, during the last decades, has gradually become a subject of its own. The core question in system identification is how to obtain a good model from, in general, noisy data, and we indeed restrict ourselves to the model class of linear dynamic systems. Moreover, we will exclusively treat the case where the data is comprised of a number of vector valued quantitative observations which are ordered in time and measured with a fixed sampling rate.The thesis is organized as follows:
In chapter 1, the most important concepts of linear system theory are repeated. In particular, we treat three different representations of linear dynamic systems: transfer functions, ARMAX models and state-space models.
Chapter 2 is concerned with different methods for the estimation of linear dynamic systems, both from a theoretical and practical point of view. An overview of different variants of so called subspace algorithms is given. These algorithms are used for the estimation of state-space models and do not require an explicit parametrization, but the corresponding estimates are in many cases inferior with respect to asymptotic properties to the estimates which are obtained by means of the maximum likelihood method. The latter estimation method is then discussed, and the practical evaluation of the likelihood function and its various approximations is treated. The Kalman filter is to be understood in this context, for it is not only an important tool for prediction but indeed also estimation and is therefore intensively discussed in a quite general setting. For the implementation of the maximum likelihood method, one has to use a certain parametrization for the model class considered. The topological and geometrical properties of the parametrization will then influence the statistical properties of the estimators as well as the numerical properties of the estimation algorithms, and this is the starting point for the investigation of different parametrizations which lies at the center of this thesis.
First, however, chapter 3 treats a number of special subsets in the space of all state-space systems of the form (A,B,C,D). For instance, the set of observationally equivalent systems (i.e. the set of state-space systems corresponding to the same transfer function) is analyzed as well as the set of balanced systems (A,B,C,D) representing so called stable allpass transfer functions. For each of these subsets in the (A,B,C,D)-space the structure of a differentiable submanifold is shown and simple representations of the tangent spaces are given, yielding some insight into the geometry of these sets of systems.
The results of chapter 3 are used in the subsequent chapter 4 which contains the main part of this thesis and presents a number of different parametrizations of linear dynamic systems in a unified framework, comparing them with respect to topological and geometrical properties. Parametrizations for ARMAX-models are treated as well as parametrizations for state-space models, the emphasis being on the state-space case. All of the parametrizations considered are for the case where subsets of the set of transfer functions of a given order n are described. The discussion includes the full state space parametrization, a number of canonical forms as well as overlapping parametrizations. Most of the results on topological properties of these parametrizations, which are summarized in each case in one theorem and discussed subsequently by means of illustrative examples, can be found at various places in the literature. The results on the class of so called data driven local parametrizations are new. The main idea of these approaches is to adapt the parametrization in the course of an iterative estimation algorithm in order to obtain desirable properties. This is motivated by the fact that the choice of the parametrization influences in particular the numerical properties of the identification algorithm, and these properties depend on the true transfer function. But as the true transfer function is clearly unknown in advance, one has to adapt the parametrization around the current system estimate -- note the local aspect at this point. Three different parametrizations of this class are treated: Data driven local coordinates (or, briefly, DDLC) as originally introduced in (McKelvey and Helmersson, 1999), are investigated in detail. Moreover, we suggest an extension of the DDLC concept leading to a new parametrization which we shall call slsDDLC (Separable Least Squares combined with DDLC). In practice, an iterative search algorithm is most often used for the optimization of the likelihood function. Using the slsDDLC parametrization slight modifications will yield a new class of estimation algorithms which we shall call orthoDDLC. This terminology is motivated by the fact that in each iteration step this approach guarantees that the parametrized system matrices (A,B,C,D), if arranged appropriately, form an orthogonal matrix.
Finally, in chapter 5, issues are treated which are directly relevant for software implementations. In the first place, extended Kalman (or prediction error) filters are presented which are used for calculating the derivatives of the estimated innovations. Formulae for the evaluation of the asymptotic form of the likelihood function, its gradient and (approximate) Hessian are derived, where the evaluation is not necessarily at the parameter values corresponding to the true transfer function. The calculation of the analogous quantities in the finite sample case is also given. We continue with the computation of the derivatives of the state-space matrices with respect to the parameters for the parametrizations considered in this thesis and then present a short overview of some traditional optimization techniques. Finally, numerical properties of these algorithms are investigated in connection with the parametrizations considered. In particular, DDLC and orthoDDLC are compared in this respect.
The appendix A concludes this contribution and naturally contains results and definitions which are needed at various places throughout the thesis.
This work was funded by the Austrian science fund, FWF, project number P 14438 and the TMR program of the European Union under the contract number ERB FMRX CT98 0206.
http://publik.tuwien.ac.at/files/pub-tm_98.pdf