|
Auch Volkswirte machen Fehler – doch ihre Ergebnisse werden selten in Frage gestellt. Dabei sind ihre wissenschaftlichen Patzer teils haarsträubend.
Die Studie war eine mittlere wissenschaftliche Sensation - und politisch hochgradig brisant. Wegen der US-Sozialpolitik sparen die Amerikaner nur noch halb so viel wie früher. Dieses Ergebnis präsentierte der Harvard-Professor Martin Feldstein 1974 im renommierten "Journal of Political Economy".
Seine Analyse historischer Daten hatte ergeben: Steigende staatliche Sozialleistungen haben seit 1937 nach und nach die private Ersparnisbildung verdrängt - mit erheblichen negativen Folgen für die Kapitalbildung und die langfristigen Wachstumsaussichten. Eine der zentralen Theorien des Ökonomen Milton Friedman schien bestätigt - dass Menschen Konsum und Ersparnisse rational über ihren gesamten Lebenszyklus optimieren. Ein Ergebnis von erheblicher Tragweite für die Wirtschaftspolitik.
Zumindest sechs Jahre lang. Solange, bis die Ökonomen Dean Leimer und Selig Lesnoy versuchten, Feldsteins Ergebnisse im Detail nachzuvollziehen. Dabei stellten sie fest: Der Forscher hatte sich verrechnet. Ein Programmier-Fehler hatte seine Ergebnisse extrem nach oben verzerrt. "Ich schäme mich dafür", gestand Feldstein ein.
Die Episode ist eines der spektakulärsten Beispiele dafür, dass auch die angesehensten Ökonomen von den besten Universitäten Fehler machen. Diese bleiben häufig unerkannt und pflanzen sich fort, wenn andere Wissenschaftler solche Ergebnisse zur Grundlage eigener Forschung machen. "Es ist schon erstaunlich, wie viele Fehler auch in prominent veröffentlichten Arbeiten stecken", sagt ein empirisch arbeitender Ökonom, der in diesem Zusammenhang lieber anonym bleiben möchte. Denn: "Das ist ein heikles Thema."
Zwar nehmen unabhängige Fach-Gutachter Arbeiten unter die Lupe, bevor sie in Fachzeitschriften veröffentlicht werden. Aber auch diese "Referees" können nicht jedes einzelne Ergebnis überprüfen - zumal die mathematischen Methoden hochgradig komplex sind und der Teufel oft im Detail liegt.
Aufsehen erregende Fehler à la Feldstein sind selten, passieren aber immer wieder. So wiesen Ende 2005 zwei Ökonomen von der Federal Reserve Bank of Boston dem Chicagoer Star-Ökonomen und Bestseller-Autor Steven Levitt einen schweren methodischen Schnitzer in einer seiner wichtigsten Arbeiten nach. Levitt hatte vier Jahre zuvor mit seinem Co-Autoren John Donohue eine bemerkenswerte These aufgestellt: Hauptgrund für den Rückgang der Kriminalitätsrate in den USA, der in den neunziger Jahren einsetzte, sei die Legalisierung von Abtreibungen im Jahr 1973. Denn ungewollte Kinder, die oft in schwierigen sozialen Verhältnissen aufwüchsen, würden später mit einer deutlich höheren Wahrscheinlichkeit kriminell.
Im Mai 2001 veröffentlichten Levitt und Donohue eine komplexe ökonometrische Untersuchung, die diese These belegen sollte. Ihre Arbeit erschien im "Quarterly Journal of Economics", einer der Top-Zeitschriften des Fachs. Sie ist für ihre strengen Qualitätskriterien bei ihrer Artikelauswahl bekannt - doch den Gutachtern fiel nicht auf, dass Levitt und Donohue in ihren Berechnungen die statistischen Methoden nicht so angewendet hatten, wie sie es im Text darstellten.
Das wiesen erst die beiden Notenbank-Volkswirte Christopher Foote und Christopher Goetz Ende 2005 nach. Und sie stellten fest: Wenn man rivhtig rechnet, dann sind die Ergebnisse längst nicht mehr so eindeutig. Levitt und Donohue haben den Fehler eingestanden.
Der einzige Weg, um solche Fehler zu finden, ist das, was Wissenschaftler "Replikation" nennen - der Versuch anderer Forscher, die Ergebnisse einer Studie mit den gleichen oder anderen Daten nachzuvollziehen. "Das ist die Basis für die gesamte wissenschaftliche Arbeit", schrieb Martin Feldstein schon 1982 nach seinem Lapsus.
Allerdings machen sich Wirtschaftswissenschaftler bislang nur selten die Mühe, Studien von Kollegen auf Herz und Nieren zu prüfen. "Ökonomen behandeln das Thema Replikation genauso wie Teenager sexuelle Enthaltsamkeit - sie idealisieren es, praktizieren es aber nicht", schreibt der Volkswirt Daniel Hamermesh (University of Texas at Austin) in einem jüngst veröffentlichten Aufsatz. Hamermesh hat damit einen Nerv getroffen: Auf der Internet-Seite des National Bureau of Economic Research ist das Papier derzeit eine der am häufigsten heruntergeladenen Arbeiten.
Für sein eigenes Fachgebiet, die Arbeitmarkt-Forschung, befragte Hamermesh 139 Ökonomen, die empirische Arbeiten in den beiden führenden Fachzeitschriften des Fachs veröffentlicht hatten, wie oft Fachkollegen die Rohdaten der Untersuchung angefordert hatten. Das Ergebnis: Mehr als die Hälfte von ihnen erhielt nicht eine einzige Rückfrage.
"Bei empirischen Studien mit Felddaten gibt es meines Erachtens einen Mangel an Replikation", betont auch der Züricher Wirtschaftswissenschaftler Ernst Fehr, derzeit Vizepräsident der European Economic Association. "Ohne Replikation kann ein empirisches Ergebnis nicht als wirklich wissenschaftlich etabliert gelten", unterstreicht Fehr. "Ohne Replikation lässt sich kein verlässliches Wissen schaffen."
Bei dem Versuch, Forschungsergebnisse anderer Wissenschaftler nachzuvollziehen, geht es nicht nur darum, formale Fehlern wie in den Fällen Feldstein und Levitt zu finden. Mindestens genauso wichtig ist die Antwort auf die Frage, wie robust und allgemein gültig die Aussagen einer Studie sind. Denn auch wenn Ökonomen richtig gerechnet haben und die Resultate alle statistischen Signifikanz-Checks bestehen, können Ergebnisse zufällig zustande gekommen sein.
Manchmal genügen kleine Änderungen beim methodischen Vorgehen, und man erhält gegensätzliche Ergebnisse. "Man kann nicht erwarten, dass ökonometrische Resultate, die für ein Land oder einen Zeitabschnitt erstellt wurden, für alle anderen Umstände gültig sind", betont Hamermesh. Für gesichertes ökonomisches Wissen sei es nötig, identische Fragen mit ähnlichen Methoden, aber anderen Daten und für unterschiedliche Länder zu untersuchen, argumentiert der Wissenschaftler.
So wichtig eine solche Überprüfung aber auch ist - bislang können Forscher damit kaum einen Blumentopf gewinnen. Vor allem, wenn sich die Ergebnisse der Ursprungsarbeit bestätigen, kann man solche Arbeiten kaum prominent veröffentlichen. "Spitzenjournale lehnen solche Arbeiten häufig ab, weil sie nicht innovativ und neu sind", sagt Thomas Dohmen, Forscher am Institut zur Zukunft der Arbeit.
Hamermesh sieht es ähnlich: "Bislang gibt es für gute Ökonomen kaum Anreize, die Forschung anderer Kollegen zu replizieren." Dies könne sich nur ändern, wenn führende Fachzeitschriften solche Arbeiten stärker nachfragen würden.
Konkret schlägt Hamermesh vor: Die Herausgeber der führenden ökonomischen Fachzeitschriften sollten künftig jeweils zwei Replikationsstudien pro Jahr zu in ihrer Zeitschrift erschienenen Arbeiten in Auftrag geben. Die Veröffentlichung dieser Untersuchungen müsse unabhängig vom Ergebnis garantiert werden, sofern wissenschaftliche Mindeststandards einhalten werden. "Ohne eine solche direkte Förderung werden wir auch in Zukunft zwar sporadisch Aufrufe zu mehr Replikationsarbeiten hören, das Angebot solcher Studien wird aber weiter nahe Null liegen."
|
