Identification and estimation of finite mixture models

Abstract

Diese Dissertation beschäftigt sich mit verschiedenen Aspekten bei der Modellierung von finiten Mischmodellen wie Modellidentifizierbarkeit, Modelldiagnose und Software-Implementierung.<br />Das Hauptaugenmerk liegt bei finiten Mischungen von generalisierten linearen Regressionsmodellen. Die Popularität dieser Modelle ist in den letzten Jahrzehnten enorm gestiegen, da die Schätzung durch die heutzutage stark gestiegene Rechenleistung bei Computern erleichtert wurde. Verschiedene Varianten existieren wie Modelle mit zufälligen Effekten für den Achsenabschnitt oder Modelle mit begleitenden Variablen, um die Gewichte der Komponenten zu charakterisieren.<br />Hinreichende Bedingungen für die Identifizierbarkeit werden gegeben, wobei finite Mischungen von multinomialen logit Modellen den interessantesten Spezialfall darstellen. Finite Mischungen von multinomialen Verteilungen sind nämlich im Gegensatz zu anderen komponentenspezifischen Verteilungen wie die Normal-, Poisson- oder Gammaverteilung nicht generisch identifizierbar.<br />Die Verwendung von Resampling-Methoden zur Modelldiagnose im Rahmen von frequentistischer Maximum Likelihood Schätzung wird diskutiert, und verschiedene mögliche Verwendungszwecke werden unterschieden. Die Anwendung wird an mehreren Beispielen veranschaulicht. Dieser Ansatz erweitert bzw. vereinigt frühere Anwendungen der Bootstrap-Methode (Münchhausen-Methode) zur Modelldiagnose.<br />Mögliche Wege, das Label-Switching Problem zu lösen, das in diesem Zusammenhang ähnlich wie bei der Bayesianischen MCMC Schätzung auftritt, werden diskutiert.<br />Die Implementierung im R Paket flexmix wird beschrieben, indem die Grundprinzipien des Designs skizziert und Details der Implementierung diskutiert werden. Diese Details zu kennen ist notwendig für das Schreiben neuer Modelltreiber für die komponentenspezifischen Modelle und die begleitenden Variablenmodelle. Die Verwendung des Pakets wird an mehreren Beispielen mit künstlichen und echten Daten veranschaulicht. Zusätzlich werden auch Beispiele für das Schreiben neuer Modelltreiber gegeben.<br />

This thesis covers different aspects in finite mixture modelling such as model identifiability, model diagnostics and software implementation. The focus is on finite mixtures of generalized linear regression models. The popularity of these models has tremendously increased in the last decades as estimation was facilitated given the nowadays easily available computing power. Different variants exist such as random intercepts models or models including concomitant variables for characterizing the component weights.<br />Sufficient conditions for identifiability are given where finite mixtures of multinomial logit models are the most interesting special case. This is due to the fact that finite mixtures of multinomial distributions are not generically identifiable in contrast to other component specific distributions such as Gaussian, Poisson or gamma. The use of resampling methods for model diagnostics in a frequentist maximum likelihood setting is discussed and different possible purposes distinguished. The application is illustrated on several examples. This approach extends or unifies previous applications of the bootstrap for model diagnostics. Possible ways to solve the label switching problem which also occurs in this setting similar as in Bayesian MCMC estimation are discussed.<br />The implementation in the R package flexmix is described outlining the design principles and discussing implementational details. To know these details is necessary for writing new drivers for the component specific models and concomitant variable models. The usage of the package is illustrated on several examples for artificial data and real world data sets. In addition, examples for writing new model drivers are given.