Optimales Sampling Design für Big Data (II)

Dank moderner Informationstechnologie besteht heutzutage die Möglichkeit, riesige Datenmengen zu sammeln, die sowohl im Hinblick auf die Anzahl der Beobachtungseinheiten (Umfang des Datensatzes) als auch hinsichtlich der Anzahl der Merkmale (multivariate Beobachtungen) von immenser Dimension sind und die häufig als massive Daten oder "Big Data” bezeichnet werden. Die reine Verfügbarkeit derartiger Big Data führt jedoch nicht zwangsläufig zu neuen Erkenntnissen über kausale Zusammenhänge innerhalb der Daten. Stattdessen kann die schiere Masse an Daten ernsthafte Probleme bei der statistischen Analyse verursachen. Zudem sind in vielen Situationen Teile (gewisse Merkmale) in den Daten einfach oder kostengünstig zu beobachten, während die Ausprägungen anderer, besonders interessierender Merkmale nur schwierig oder mit großen Kosten zu erhalten sind. Daher sind Vorhersagen für die Ausprägungen kostenintensiver Merkmale wünschenswert. Dieses kann mit klassischen statistischen Methoden erreicht werden, wenn für eine geeignete Teilstichprobe sowohl die Ausprägungen für die einfach als auch für die schwierig zu beobachtenden Merkmale verfügbar sind. Um Kosten zu reduzieren und/oder die Genauigkeit der Vorhersage zu verbessern, besteht ein Bedarf an optimalen Auswahlverfahren für Stichproben. In diesem Kontext können Konzepte aus der ursprünglich für technische Experimente entworfenen Theorie optimaler Designs unkonventionell genutzt werden, um effiziente Strategien für die Stichprobenauswahl zu entwickeln. Grundlegende Konzepte wie Relaxation auf stetige Verteilungen der Daten und Symmetrieeigenschaften können dabei zu einer wesentlichen Reduktion der Komplexität und somit zu praktikablen Lösungen führen. Ziel des vorliegenden Projekts ist es, diese allgemeinen Ideen zu konkretisieren und sie auf ein solides theoretisches Fundament zu stellen, um sie somit für die Auswertung realer Datensätze verwertbar zu machen.

Optimal Sampling Design for Big Data (II)

Modern information technology allows for collecting hugh amounts of data both in terms of units (size) as well as in terms of variables (multivariate observations) which are frequently called "Big Data”. However, the pure availability of Big Data does not necessary lead to further insight into causal structures within the data. Instead the sheer amount of data may cause severe problems for a statistical analysis. Moreover, in many situations parts (certain variables) of the data are cheap to obtain while other variables of interest may be expensive. Therefore prediction of the expensive variables would be desirable. This can be achieved by standard statistical methods when for a suitable subsample also the expensive variables are available. To reduce costs and/or improve the accuracy of the prediction there is a need for optimal sampling schemes. Concepts of optimal design theory originally related to technical experiments may be deployed in a non-standard way to generate efficient sampling strategies. Basic concepts like relaxation to continuous distributions of the data and symmetry properties may lead to substantial reduction in complexity and, hence, to feasible solutions. To make this general ideas more precise and to put them on a sound foundation to make them applicable to real data constitutes the aim of the present project.