Externe Validität bei ökonomischen Experimenten: Sind Studierende geeignet, das Ver-halten von Landwirten zu approximieren?

Ein kritischer Aspekt ökonomischer Experimente ist die externe Validität und damit die Frage, inwieweit das Verhalten der Teilnehmer Prognosekraft für das realweltliche Verhalten von Menschen hat. Besonders kritisch ist diese Frage im Lichte der verbreiteten Praxis, aus Praktikabilitätsgründen Studierende für Experimente einzusetzen. Die Robustheit und Aussagekraft experimenteller Studien, insbesondere wenn sie mit Studierenden durchgeführt werden, kann durch eine Reihe von Problemen beeinträchtigt sein. Erstens ist die Frage zu stellen, wie replizierbar die in der Stichprobe unter systematisch variierten experimentellen Bedingungen identifizierten Verhaltenswirkungen sind. Zweitens geht es um die methodische Frage, ob das experimentelle Design geeignet ist, die Teilnehmer dazu zu bringen, ihre tatsächlichen Präferenzen zu enthüllen oder ob bspw. wegen zu geringer Anreize ein social desirability bias die Ergebnisse verzerrt. Drittens ist die Frage nach der Übertragbarkeit des Verhaltens von einer "Population" auf eine andere zu stellen.
Übergreifende Studien zur Generalisierbarkeit experimenteller Ergebnisse liegen kaum vor und im Agrarbereich existieren keine systematischen Studien zur Frage der Übertragbarkeit experimenteller Ergebnisse von Studierenden auf Landwirte. Vor diesem Hintergrund verfolgt das vorliegende Vorhaben das Ziel, durch systematische Variationen eines Experiments einen Wissensbeitrag zu liefern, inwiefern "robustheitsfördernde" Maßnahmen die Interpretation experimenteller Befunde beeinflussen. Einerseits geht es dabei mit Blick auf die Zuverlässigkeit des Inferenzschlusses um "neue" Ansätze zur Steigerung der Zuverlässigkeit empirischer Ergebnisse wie z.B. die Präregistrierung von Studien, die Berücksichtigung von multiple testing Problemen und die Durchführung eigener Replikationen auf der Grundlage von Powerberechnungen. Andererseits geht es mit Blick auf das Design um die Frage nach den Auswirkungen systematisch variierter Anreize. Das ist insbesondere methodisch bedeutsam, da bei Experimenten in der Psychologie im Gegensatz zur Ökonomie keine monetären Anreize genutzt werden.
Im Einzelnen geht das Vorhaben mit Hilfe eines als mehrperiodisches Unternehmensplanspiel ausgestalteten Experiments, in dem Studierende und Landwirte einen landwirtschaftlichen Betrieb leiten und für zwei verschiedene Kontexte Entscheidungen über ihr Produktionsprogramm treffen, den folgenden Forschungsfragen nach: (1) Wie groß ist die Lücke zwischen dem experimentellen Verhalten von Studierenden und Landwirten bei unterschiedlichen monetären Anreizen? (2) Welche Faktoren tragen in welchem Umfang zu den (möglichen) Unterschieden im Entscheidungsverhalten von Studierenden und Landwirten bei? (3) Welchen Beitrag können Ansätze zur Steigerung der Zuverlässigkeit empirischer Ergebnisse wie z.B. die Präregistrierung von Studien oder eigene Replikationen für die Steigerung der externen Validität leisten?

External validity in economic experiments: can students be used to approximate the behavior of farmers?

External validity is one of the most crucial aspects in the meaningful interpretation of economic experiments. The critical question is which predictive power an experimentally observed behavior has for a particular real-world context and social group of interest. This is a poignant question because, for the sake of convenience, it has become common practice to use students as substitute experimental subjects. The robustness and meaningfulness of experimental studies, especially when conducted with students, can be impaired by a number of problems. The first one concerns the replicability of the behavioral effects that are observed in a sample of experimental subjects contingent on experimentally varied conditions. The second concern is whether the experimental design itself is suited for making experimental subjects reveal their true preferences, or whether distortions, such as a social desirability bias caused by insufficient incentives, linger. Given the widespread use of students as experimental subjects, a further concern is related to the "transferability” of results: what can we scientifically infer from the experimental behavior of the student "population” for the behavior of the social group of interest?
Comprehensive methodological studies that address the generalizability of findings from economic experiments in the light of the entirety of these problems are scarce. With a view to the use of experiments in agricultural economics, no systematic studies are known that investigate the robustness and especially the transferability issue. Against this background, this project is aimed at finding out which contribution "robustness-promoting" approaches can make to a more informed interpretation of experimental findings. For one thing, we look at "new" empirical and statistical strategies for improving statistical inference, such as preregistering study designs, accounting for multiple testing problems, and carrying out power analyses and replications. With a view to experimental design, we furthermore study whether and how systematically varied incentives affect behavior. This is an especially interesting issue because experimental economists, contrary to experimental psychologists, contend that monetary incentives are needed to make experimental subjects reveal their true preferences.
We use multi-period business simulation games, in which students and farmers alike run virtual farms and make production program decisions in two contexts, as experimental device to study the following questions: (1) Is there a gap, or how big is the gap, between students’ and farmers’ behavior contingent on systematically varied incentives? (2) Which factors can explain eventually observed behavioral differences between students and farmers? (3) Which contribution to external validity can be provided by "new" strategies such as the preregistration of studies, the consideration of multiple testing, and power analysis and replication?