Warum wir Umfragen nicht trauen sollten …aber trotzdem helfen sie uns
Ein Gastbeitrag von Uwe Höfferer
Wahlzeit ist Umfragenzeit. Nicht zu Unrecht, denn Umfragen sind die Würze in Wahlkämpfen. Umfragen liefern nämlich all das, was spannend ist und schließlich auch Spaß macht. Wettbewerb, Ergebnisse, Rankings, (vermeintliche) Sieger und Verlierer. Kleine Veränderungen in der Ausgangslage werden von Experten und Interessierten stundenlang und leidenschaftlich analysiert. In den Parteien wiederum bricht große Hektik aus, wie man das eine oder andere Prozent doch noch für sich gewinnen kann.
Erst jüngst veröffentlichten die beiden großen Salzburger Tageszeitungen „Salzburger Nachrichten“ und die Kronen Zeitung ihre aktuelle Umfragen zur Bürgermeister- und Gemeinderats-Wahl in der Stadt, die am 9. März stattfinden. Hier ein kleiner Leitfaden, wie man Umfragen richtig liest, wo gesunde Skepsis angebracht ist und wie wir einen Mehrwert aus Umfragen ziehen können.
Wieso ist bei Umfragen gesunde Skepsis angebracht?
Eine Umfrage ist zuallererst eine Bestandsaufnahme, keine Prognose. Aus einer Umfrage ein Wahlergebnis abzuleiten, ist nicht seriös. Umfragen beruhen auf Befragung, sprich man erfährt nicht das was die Leute denken oder tun, sondern das was sie einem sagen. Wie die Erfahrung lehrt, entspricht das eine nicht unbedingt dem anderen.
Im Zentrum der öffentlichen Aufmerksamkeit steht die Sonntagsfrage. Schließlich liefert sie ein Ergebnis in handfesten Zahlen und das berühmte von den Medien geliebte horse race. Trotzdem oder gerade deswegen sollte man ihr mit großer Vorsicht begegnen. Die größte Schwäche liegt sicher darin, dass die Sonntagsfrage nicht direkt aus der Befragung abgebildet wird. Nicht jeder Befragte sagt nämlich, wen er wählt, sondern viele halten sich bedeckt (weiß noch nicht, keine Angabe). Darüber hinaus „zählt“ nicht jeder Befrage gleich viel. Um jetzt ein Ergebnis darzustellen wird auf Basis der sogenannten Rohdaten hochgerechnet (oder wie es im Fachbegriff heißt „gewichtet“). Wie das gemacht wird, bleibt meistens ein gut gehütetes Geheimnis.
Wie können uns Umfragen trotzdem helfen?
Trotzdem: Richtig angewandt und mit einem kräftigen Schuss von Transparenz und Offenheit von Seiten der Auftraggeber können Umfragen ein wertvolles Instrument in der Einschätzung der aktuellen politischen Lage sein: Das Sample (sprich die Anzahl der Befragten) kann schon einiges über die Qualität der Umfrage aussagen. Viele Umfragen beruhen auf 400er-Samples. Ich halte das eindeutig für zu wenig, weil die Ergebnisse aus meiner Erfahrung sehr sprunghaft sind. Eine landesweite Umfrage in Salzburg sollte mindestens 500 Interviews beinhalten. Eine seriöse Umfrage sollte einige grundlegende Daten zur Methode angeben, damit der Leser die Qualität selbst bewerten kann. Neben der Zahl der Befragten sind das unter anderem der Zeitpunkt der Befragung, der Auftraggeber, die exakte Fragestellungen und ob die Umfrage methodisch als repräsentativ gelten kann.
In der Regel steht eine Umfrage nicht allein da, gerade in Wahlzeiten werden oft mehrere Umfragen zeitgleich präsentiert. Ein Vergleich dieser Umfragen macht sicherer. Wo gibt es Gemeinsamkeiten, wo (deutliche) Abweichungen? Warum könnte das so sein? Zusammen mit dem persönlichen Gespür für die Stimmung im Lande ergeben mehrere Umfragen ein besseres Bild über den momentanen politischen Status.
Last but not least: Ein großer Schritt zu mehr Transparenz wäre es, wenn Meinungsforschungsinstitute oder ihre Auftraggeber die Rohdaten veröffentlichen sowie ihre Gewichtung beschreiben würden. Damit könnte man die Qualität der Sonntagsfrage und damit ihre Aussagekraft ganz anders überprüfen. Abschließend wäre es wünschenswert, wenn JournalistInnen wieder mehr ihren Job machen würden und einen kritischen Blick auf das ihnen vorgelegte Material werfen. Sie sollten von Umfragen, die sie veröffentlichen, einfach grundlegende Qualitäts- und Transparenzmerkmale verlangen. Damit das analysieren von Umfragen auch morgen noch Spaß macht.