Bei der letzten Maischberger- Talkrunde kam es zu einem Streit über das Erfurter INSA-Institut (siehe https://www.tag24.de/nachrichten/thueringen-insa-maischberger-meinungsinstitut-insa-neigung-zur-afd-kubicki-joerges-456709). Im Anschluss daran bat mich die Maischberger-Redaktion, für ihren Faktencheck drei Fragen über die Seriosität von Umfrageinstituten zu beantworten. Weil die entsprechenden Ausführungen von allgemeinerem Interesse sein könnten, gebe ich sie auch hier bekannt.

1. Inwiefern ist eine Parteinähe von Meinungsinstituten ungewöhnlich? 

Erstens haben Parteien nicht das mindeste davon, wenn Umfrageinstitute ihnen sozusagen nach dem Munde reden. Denn entweder erkunden Umfrageforschungsinstitute die Meinungsverteilung in der Bevölkerung korrekt; dann kann eine Partei ihre Kommunikation und Strategie auf solchen Befunden aufbauen. Oder man liefert Daten schlicht mit dem Ziel, einer Partei zu gefallen; dann kann diese Partei sich das Geld für derlei Umfragen auch sparen, weil die Partei dann ohnehin nichts anderes erfährt, als was sie sich erhofft.

Zweitens sind Umfrageinstitute auch Wirtschaftsunternehmen. Als solche arbeiten sie nach Möglichkeit mit festen Auftraggebern zusammen. Das können Medien, Unternehmen, Parteien oder eine Mischung aus alledem sein. Insofern ein Institut dann regelmäßig für die SPD oder die CDU Umfragen macht, lässt sich sehr wohl von einer geschäftlichen Nähe sprechen. Doch es ist zu bezweifeln, dass eine Partei eine solche Geschäftsbeziehung aufrechterhält, wenn sie vom Institut nur Echos ihrer eigenen Lagebeurteilung, nicht aber Bilder der wirklichen Lage vermittelt bekommt.

Drittens kann es sehr wohl sein, dass Umfrageinstitute ihre Publikationsstrategie mit den Auftraggebern – etwa: einer Partei – enger abstimmt, als man sich das der Transparenz willen wünscht. Das kann bis zum von einer Partei erwünschten Timing der Ergebnisbekanntgabe reichen. Insofern geht es hier nicht nur um Forschung, sondern auch um – ganz legitime – Öffentlichkeitsarbeit bzw. Werbung für oder gegen ausgewählte politische Akteure. Skandalös wäre es in diesem Zusammenhang allerdings, wenn nur um des Kommunikationsvorteils einer Partei willen der Öffentlichkeit andere Befunde mitgeteilt würden als dem Auftraggeber. Ausfindig zu machen ob, wie oft und wo derlei vorkommt, ist Aufgabe des investigativen Journalismus.

2. Beeinflusst eine vermeintliche Parteinähe Ihrer Meinung nach die Repräsentativität von Wahlumfragen? 

Wie schon unter (1) und (2) mitgeteilt, nützt eine nicht-repräsentative Umfrage einer Partei überhaupt nichts – und erst recht nicht, wenn eine solche Umfrage eine von der Partei erwünschte Lage fälschlicherweise als gegeben hinstellt. Nach meinen Eindrücken bemühen sich deshalb alle Meinungsforschungsinstitute schon aufgrund ihrer wirtschaftlichen Interessen um mit den Tatsachen übereinstimmende und für korrekte Lageanalysen geeignete Befunde.

Doch Zahlen allein sagen vieles Wesentliche gar nicht aus. Etwa teilen sie nichts über die Ursachen dafür mit, dass eine Befundlage so ist, wie sie eben ist. Für Erklärungen braucht es vielmehr Theorie(n). Diesbezüglich ist aber unübersehbar, dass Theoriepräferenzen nicht selten mit politischen Einstellungen von Theorieverwendern einhergehen. Also gilt: Parteinähe beeinflusst zwar nicht die Repräsentativität von Umfragen, sehr wohl aber deren Interpretation. Das ist aber nicht weiter problematisch, weil doch niemandem verwehrt ist, Befunde aus einem anderen Blickwinkel als dem der Verfasser von Forschungsberichten eines Instituts zu deuten.

3. Welche Unterschiede gibt es in Qualität und Glaubwürdigkeit der Wahlumfragen bei etablierten Meinungsinstituten? Sind alle „gleich seriös“ und gelten überall die gleichen Qualitätsstandards? 

Seriosität hängt ab vom Ausreichen der verfügbaren Ressourcen für die gestellte Aufgabe, vom Können der Mitarbeiter und von der institutsinternen Qualitätskontrolle. Herauszufinden, wie es in den einzelnen Instituten um das alles bestellt ist, gehört zu den Aufgaben von investigativem Journalismus.

Im Übrigen sind bei Umfragen vielerlei methodische Entscheidungen zu treffen, die sich im Einzelfall auch anders treffen ließen. Hier sind die wichtigsten dieser Fälle:

• Zieht man eine Zufallsstichprobe oder eine Quotenstichprobe?
• Führt man telefonische Befragungen durch, oder sucht der Interviewer den Gesprächspartner zu Hause auf?
• Wie ersetzt man Interviewpartner, die das Gespräch verweigern?
• Wie korrigiert man den durch die Nicht-Erreichbarkeit von ausgewählten Interviewpartnern (z.B. kein Telefon, verreist …) unweigerlich eintretenden Stichprobenfehler?
• Mit welchen Abfragemodellen erhebt man die Neigung, für eine bestimmte Partei zu stimmen?
• Auf einer wie breiten Erfahrungsgrundlage und mit welchen Rechenoperationen geht man mit dem stets in Rechnung zu stellenden „Lügenfaktor“ bei den Fragen nach Parteipräferenzen um? Wie also gelangt man von den „Rohdaten“ zu den tatsächlich präsentierten Daten?

Für und gegen jede dieser Entscheidungen lassen sich gute Argumente anführen. Am Ende ist Umfrageforschung somit zugleich „Kunst“ und „Methodik“.

Deshalb lässt sich die Qualität und Seriosität eines Umfrageforschungsinstituts am besten dadurch einschätzen, dass man – über möglichst viele Jahre – dessen Wahlprognosen mit den tatsächlichen Wahlergebnissen vergleicht. Institute, bei denen sich die Fehlermarge dann als besonders gering erweist, wird man als besonders qualifiziert einschätzen können, während jene Umfrageinstitute eine durchaus verbesserungsfähige Arbeit leisten, bei denen die Fehlermarge sehr oft sehr groß ist.

Also sollte man einfach die INSA-Wahlvorhersagen der letzten Jahre mit denen anderer Institute sowie mit den tatsächlichen Wahlergebnissen vergleichen. Hier sind einige dafür hilfreiche Links:

• http://www.wahlrecht.de/umfragen/archiv/2013.htm
• https://www.wahlrecht.de/umfragen/
• https://www.wahlumfrage.de/landtagswahl-nrw-vergleich-der-wahlumfragen-13-05-17/
• https://www.wahlumfrage.de/berlin-wahl-2016-hochrechnungen-vs-wahlumfragen-update/

 

Bildquelle: https://www.google.de/search?q=umfragen&dcr=0&tbm=isch&source=lnt&tbs=isz:l&sa=X&ved=0ahUKEwjZw_uJ0LvZAhULKVAKHcaMA90QpwUIHg&biw=1536&bih=735&dpr=1.25#imgrc=KykBcX-0ZSYxyM: