Login Passwort:

Ab 11.1.2017 bietet unser Login noch höhere Sicherheit für Ihren Account. Für Umfrageteilnehmer bleibt alles gleich. Administratoren geben neu auch Ihre Mail-Adresse beim Login mit an.
Wissen Sie diese nicht mehr? Wenden Sie sich einfach per E-Mail oder Telefon an unseren Support (info@onlineumfragen.com).


 
 

«Umfragewissen - Reflexionshilfen und Checklisten»


Oft werden wir von Kunden gefragt, wie eine Umfrage grundsätzlich aufgebaut werden soll. Dieses Thema kann nicht auf "Tipps und Tricks"-Niveau beantwortet werden, da sich sehr viele Überlegungen und Aspekte dazu eignen, in eine Reflexion zum Fragebogenaufbau einzusteigen. Je nach Projektanforderungen, Zielgruppen, Forschungsdesign und -fragen eignen sich methodisch unterschiedliche Ansätze. Trotzdem versuchen wir, Ihnen hier einige allgemeingültige Überlegungen darzustellen.

1. Befragungszyklus (Ziele, Methode)

1.   Legen Sie die Ziele der Befragung fest
2.   Legen Sie die Form der Befragung fest.
Welche und wieviele Themen (Vollbefragung versus fokussierte Befragung)
Wieviele befragte Personen (Vollbefragung versus Stichprobenbefragung)
Methodik (Onlinebefragung versus Paper-Pencil-Befragung versus CATI/Telefoninterviews usw.)
3.   Fragebogenkonstruktion und Befragungssetting
Fragebogeninhalte erstellen
Fragen formulieren(offene Fragen, geschlossene Fragen, halboffene Fragen, Sprünge, Filter)
Skalierungen bestimmen, Auswertbarkeit berücksichtigen und Antworttendenzen ("Soziale Erwünschtheit") bedenken
Vorwort/Instruktionen/Dankeseite & Einladungsemail (ggf. auch Rahmenemail eine Woche zuvor) verfassen
Pretest des Fragebogens inkl. Feedbacks zum Pretest (Auswertungspretest beachten)
Befragungszeitraum (Zeitfenster für Feldphase) und -intervall festlegen
4.   Kommunikation zur Zielgruppe und zu Steakholdern
Wer soll was, wann und in welcher Form erfahren?
5.   Durchführung der Befragung (Feldphase, Launch)
interne Durchführung versus externe Durchführung, geschützte versus offene Durchführung, Anonymität, Anlaufstelle für inhaltliche Rückfragen, Support-Kontakt
6.   Auswertung der Befragung
Informationen zur Soziodemografie (Alter, Geschlecht, Ausbildung, Erwerb, Branchen, ggf. Segmente wie Abteilung, Kundengruppen, Region, etc.)
Teilnahmerate, Break-Off-Raten, mittlere Teilnahmedauer
Auswertung für Gesamtgruppe (Standardauswertungen, deskriptive Statistik)
Auswertung für spezielle Untergruppen/Subsamples (Bereiche & Abteilungen, Führungskräfte versus Mitarbeiter, etc.)
Vergleich zu vorherigen Befragungen (Vorjahr, aktuelles Jahr)
Analyse von Textantworten (sog. Verbatims, qualitative Textananalyse: erlesen, kategorisieren, codieren, quantisieren, key phrases)
Ausarbeiten von Handlungsfeldern
7.   Publikation von Ergebnissen
Schriftlich, mündlich, elektronisch. In welcher Form an welche Zielgruppen?
Management-Summary, Detailreports, Rückmeldung und Lieferung eines Quick-Reports an die Teilnehmer (zeigt Transparenz und steigert Teilnahmebereitschaft für die Zukunft)
8.   Massnahmen planen
Wer? Was passiert mit der Planung? Wie wird diese umgesetzt?
9.   n Massnahmen umsetzen und Ziele operationalisieren (=konkret messbar und benennbar formulieren)
10.   Ergebnis kontrollieren, ggf. Benchmarking durchführen (inkl. nächste Befragung planen)

 

2. Frageformulierung und Fragebogenaufbau

Frageanzahl

Es sollten grundsätzlich nicht zu viele Frage gestellt werden. Das richtige Mass hängt von der motivationalen Situation der Teilnehmenden ab, bei Kundenbefragungen sind dies eher wenige knappe Fragen (max. 10 Minuten), bei Mitarbeiterbefragungen (mit höherem Commitment) dürfen tendenziell auch mehr Fragen gestellt werden. In der Marktforschung, bei z.B. incentivierten Panel-Teilnehmern, ist die Länge des Fragebogens preisrelevant, da die Teilnehmenden dann höhere Incentives erhalten (in der Regel rechnet man bei kurzen allgemeinen Marktforschungsinterviews mit einer Fragebogenlänge von 10-15 Minuten). Eher hochincentivierte Befragungen wie zum Beispiel in der Pharmabranche können auch bis zu einer Stunde dauern.

Wichtig ist, im Vorwort oder der Einladungsmail der Befragung kurz und ehrlich zu informieren, wie lange die Befragung approximativ dauern kann (z.B. Schenken Sie uns 10 Minuten Ihrer wertvollen Zeit... usw.).

Grundregeln

Die Formulierung der Fragen einer webbasierten Befragung ist ein wichtiger Arbeitsschritt, dem ein genügend grosses Zeitbudget beigemessen werden sollte. Wir haben versucht, einige der von zahlreichen Autoren favorisierten Punkte zusammen zu stellen (Diekmann, 1999; Edwards [in Mummendey], 2008; Porst, 2008; Schumann, 1999).

Frageformulierung

  • kurze, verständliche und präzise Formulierung (einfache Worte, nicht bürokratisch)
  • Zielgruppenadäquate Sprache (auf breite der Zielgruppe achten), keine platten Anbiederungen (einfaches Hochdeutsch, keine Dialekt oder Subsprache). Fachbegriffe möglichst nur, wenn Zielgruppe homogen.
  • Antwortkategorien sollen trennscharf, erschöpfend und präzise sein (Negativ-Besipiel:  „Was macht Ihr Kind am liebsten... a) Computer spielen b) drinnen mit Freunden spielen c) mit Kollegen zusammensein und ausgehen“)
  • Vorsicht bei deutlich wertbesetzten Begriffen (Begriffe mit stark positiven oder negativen Beigeschmack wie „Gerechtigkeit“, „Freiheit“, „Integration“ können schon alleine deshalb die Antwortreaktionen lenken)
  • Fragen eindimensional, keine doppelten Stimuli oder doppelten Verneinungen (Negativ-Beispiel: „Benoten Sie folgende Aspekte...“. Es ist fraglich, nach welchen Kriterien man was benoten soll. Negativ-Beispiel: „Gehen Sie gerne an schönen Tagen angeln?“ Was bedeuten hier 28% Nein? Angel- oder Schlechtwetter-Nein? „Ist es wichtig und gut, dass wir…“ Unklare Frage.)
  • keine Suggestivfragen (hierbei würde die Antwort in eine bestimmte Richtung gelenkt)
  • Kontext der Frage (z.B. Vorfrage, Übertitel, etc.) soll sich nicht auf deren Beantwortung auswirken.
  • in sehr langen Fragebatterien Items in unterschiedliche Richtungen polen (Vermeidung von Antworttendenzen)
  • Komplexität tief halten: keine Überforderung des Befragten (Negativ-Beispiel: Wie hoch ist Anteil der Miete am Einkommen? Rechenfehler vermeiden, besser zwei Fragen: 1. Wie hoch ist Miete? Danach weitere Frage: 2. Wie hoch ist Einkommen?)

Fragebogenkonstruktion

Folgende Punkte sind zu beachten, wenn der Fragebogen als Ganzes konzipiert wird und die einzelnen Fragen in Reihenfolge und Struktur zusammengefügt werden.

  • Vorwort: kurze Einleitung zum Thema, Ziel der Befragung, ggf. Massnahmen die der Befragung folgen, Ergebnispräsentation, Incentivierung
  • Beginn: Eröffnungsfragen, allgemein und zum Thema hinführend
  • Spannungskurve beachten: wichtigste Fragen im zweiten Drittel (ausser bei WebSite-Popup-Befragungen, dort wichtigste Fragen eher an den Anfang, da dort Abbruchquote tendenziell hoch)
  • Filterfragen helfen überflüssige Fragen zu vermeiden (jedoch Filter klar führen)
  • Mehrthemen-Umfragen: Themen in Blöcken unterteilen
  • Sozialdemographie eher am Ende, bei zu erwartender hoher Abbruchquote (Break-Off) ggf. wichtige soziodemografische Fragen, nach denen in den Auswertungen vielleicht sogar gruppiert und kreuztabelliert werden soll, vor den Break-Off-Point oder sogar an den Anfang.
  • keine sehr langen Fragebögen (Pretest durchführen, Testdauer sollte für den Arbeitsalltag der Zielgruppe zumutbar sein)
  • Zum Schluss für den Pretest ggf. spezielle „Pretest“-Frage („Anmerkungen zur Befragung“, Feedback einholen).
  • Pretest wichtig bei neuen Fragebogen (Länge, Verständlichkeit, Umstellen, Frageformulierungen durch Fragesplits, Interviewerschulung)

Rolf Porst (ZUMA - Zentrum für Umfragen, Methoden und Analysen, Mannheim) empfiehlt in seinem Artikel "Question Wording - Zur Formulierung von Fragebogen-Fragen" weitere Punkte zur Beachtung, die ausführlich auch unter  http://www.social-science-gesis.de/Publikationen/Berichte/ZUMA_How_to/index.htm (unter How-to 2) als Download zu finden sind. Ebenso stellt Axel Pratzner  (2008) vom Institut für webbasierte Kommunikation und E-Learning in Tübingen umfangreiche Informationen zur Fragebogen- und Fragegestaltung online zur Verfügung (siehe Literaturverzeichnis).

Tipps zu Antwortvorgaben

Zu den Antwortvorgaben sind nach Höpflinger (2008) die folgenden Punkte zu beachten.

Antwortvarianz hoch anlegen

Wird bei einer Testbefragung festgestellt, dass bei Verwendung des Antwortschemas "stimme stark"... "lehne stark ab" viele Befragte in die linke oder rechte äussere Kategorie fallen, dann sollte man versuchen, noch eine weitere äussere Kategorie zu verwenden (wie "stimme extrem zu" bzw. "lehne extrem ab". Generell ist bei sozialwissenschaftlichen Studien darauf zu achten, dass die Antwortvarianz (bei Einstellungen oder Skalen) hoch ist. Fragen, bei denen fast alle Antworten in eine Antwortkategorie fallen, sind nicht weiter auswertbar.
Wichtig ist aber, Antwortskalen nicht a priori zu gross zu gestalten, da dadurch eine zufällige Abweichung zwischen Test und Retest entstehen kann, wenn die Stufen feiner und zahlreicher sind als der Gegenstand der Frage differenzierbar ist. Die Stufen der Antwortskalen sollten inhaltlich „denkbar“ sein, d.h. dem effektiven Differenzierungspotenzial des Fragegegenstands entsprechen.

Fragen in der Regel geschlossen anlegen

Bei nicht ohnehin quantitativen Antworten („Wieviele Meter?“ „Wie lautet Ihr Geburtsdatum?“ „Wieviele Autos haben Sie bisher gekauft?“) sollte man quantitative Fragen "geschlossen" (= mit vorgegebenen Antwortkategorien) formulieren. Vor allem bei schriftlichen Fragebogen sollte aus Vergleichsgründen primär mit vorgegebenen Antwortkategorien gearbeitet werden. Damit wird die Perspektive, in der eine Antwort erwartet wird, klar gemacht.

Interne Antwortvorgaben vollständig

Eine interne Antwortvorgabe ist nur zulässig, wenn sie aus zwei oder drei leicht merkbaren Alternativen besteht. Sind mehr Alternativen vorhanden, oder bestehen die Alternativen aus relativ komplexen Formulierungen, dann müssen sie extern vorgegeben werden. Beispiel: Interne Vorgabe: "Sind Sie dafür oder dagegen, dass die Schweiz der Europäischen Union beitritt? Externe Vorgabe: "Wie ist Ihre Haltung zu einem Beitritt der Schweiz zur Europäischen Union?" a) bin stark dafür, b)bin eher dafür, c) bin weder dafür noch dagegen, d) bin eher dagegen, e) bin stark dagegen.
Bei Telefon-Interviews sind primär interne Antwortvorgaben zu verwenden. Bei  webbasierten Befragungen sind die internen Antwortvorgaben als externe wortwörtlich zu wiederholen, damit der Teilnehmer zur Antwort auswählen und anklicken kann.
Es ist unzulässig, eine (oder mehrere) Antwortalternativen nur implizit intern vorzugeben. Die explizit genannten Alternativen werden favorisiert und die nicht genannten Alternativen werden vernachlässigt.
Beispiel: Falsch ist "Glauben Sie, dass Sie durch Ihr Studium auf Ihren Beruf gut vorbereitet sind? Richtig ist: "Glauben Sie, dass Sie durch Ihr Studium auf ihren späteren Beruf gut, weniger gut, oder schlecht vorbereitet sind?"

Fragen zeitlich begrenzen

Ein elementarer Fehler liegt vor, wenn Fragen nach Häufigkeit, Dauer oder Grösse und ähnlichem gestellt werden, ohne dass die Einheiten angegeben werden, in denen die Antworten erfolgen soll.
Beispiel: "Wie häufig bzw. selten gehen Sie ins Kino?" Ohne Zeitraum ist diese Frage sinnlos. Bedingt richtig: "In den letzten zwei Wochen, wie oft gingen Sie ins Kino?" (=inhaltlich unausgewogen). Am besten: "In den letzten zwei Wochen, wie viele Mal gingen Sie ins Kino? (nie, einmal, zweimal, ...). Falsch: Seit wann studieren Sie? Besser: In welchem Jahr begannen Sie mit Ihrem Studium? (plus Zusatzfrage: Haben Sie Ihr Studium unterbrochen oder nicht? Wenn ja, nachfragen: Wann und wie lange?).

Anzahl der Antwortkategorien

Die Zahl der vorgegebenen Antwortalternativen muss für den Befragten gut überschaubar sein. Werden die Antwortmöglichkeiten vom Interviewer vorgelesen, muss sich der Befragte, wenn er die letzte Antwortmöglichkeit hört, noch an die erste Möglichkeit erinnern. Sonst wird die zuletzt gehörte Antwortvorgabe bevorzugt. Bei grösserer Zahl von Antwortvorgaben oder komplexen Antwortvorgaben empfehlen sich schriftliche Listen oder Karten. Bei sehr umfangreichen Antwortmengen Fragen in mehrere Fragen aufzulösen.

Rangreihen-Effekte

 Je länger und je komplizierter die Antwortvorgaben, desto stärker ist der Einfluss ihrer Reihenfolge. Dies gilt z.B. auch bei Listen von Antwortvorgaben (vgl. Petersen 2002).
Rangreihen-Effekte können durch Verwendung von Kartenspielen oder durch das "Drehen" von Listen vermieden werden. Bei computerunterstützten Befragungen kann die Reihenfolge etwa von Items durch Zufallsparameter variiert werden (Random Rotation Verfahren). Dieses wird auch von onlineumfragen.com unterstützt, es ist aber nicht empirisch erwiesen, ob eine zufällige Anordnung der Antworten die Rangreihen-Effekte aufhebt oder, dies die Kritik, einfach unsystematisch statt systematisch macht, also nicht eliminiert sondern unnachvollziehbar verwäscht.

„Sonstige“/“Anderes“ integrieren

Die vorgegebenen Antwortmöglichkeiten müssen erschöpfend sein (d.h. sie müssten alle relevanten Möglichkeiten enthalten). Ist eine erschöpfende Aufzählung der Antwortalternativen nicht möglich, sollte eine Kategorie "sonstige", "anderes" vorgesehen werden. Dies gilt vor allem bei Faktfragen.

Skalen, Stufen der Skalen

Werden mehrere Antwortmöglichkeiten angeboten, dann sollte die Zahl der Antwortmöglichkeiten "rechts" und "links" von der Mittelposition gleich sein, weil von einer Überzahl von Kategorien auf einer Seite suggestive Wirkungen ausgehen. Der Befragte bevorzugt die Seite, die mit mehr Antwortmöglichkeiten vertreten ist.
Beispiel: Falsch ist: sehr gut, gut, weder noch, schlecht. Richtig: sehr gut, gut, weder noch, schlecht, sehr schlecht. Meist finden Skalen mit 5,6,7 oder 10 Stufen Anwendung. Skalen mit gerader Stufenzahl ermöglichen die Angabe einer Mittelkategorie. Ungerade Skalen vermeiden die sogenannte Tendenz zur Mitte. Ungerade Skalen mit Mittelkategorie sind vor allem dann gut vertretbar, wenn eines solche auch inhaltlich gesehen existiert, z.b. in der Polarität zwischen „sehr schlecht“ und „sehr gut“ existiert durchaus die Mittelkategorie „neutral“, die dann über eine ungerade Skala mit beispielsweise sieben Punkten erschlossen werden kann.

Tendenz zur „Ja“-Antwort

Zu beachten ist, dass positive Antwortalternativen häufig negativen Antwortalternativen vorgezogen wird (Tendenz zu "Ja-Antworten"). Speziell bei Fragebatterien müssen deshalb negative und positive Aussagen "gemischt" werden.

„Weiss nicht“ integrieren

Auch keine Antwort ist eine Antwort, und Meinungslosigkeit ist eine sozial wichtige Dimension. Zu den Antwortvorgaben gehört oft auch die Vorgabe "keine Meinung", bzw. "unsicher", "ist mir egal", oder "weder noch". Onlineumfragen.com bietet standardmässig bei allen Fragetypen die Option „weiss nicht/keine Angabe“ an, die Teilnehmer von der Abgabe sogenannter „Trash-Antworten“ abhält und die Datenqualität erhöht.

Literaturnachweis

Diekmann, Andreas (1999): empirische Sozialforschung. Hamburg: rororo. Seite 412ff.
Edwards, Allen L. (2008): ohne Titel. In: Mummendey, Hans Dieter: Die Fragebogen-Methode. 2., korrigierte Auflage. Göttingen u.a.: Hogrefe Verlag für Psychologie. S. 67.
Höpflinger,  François: Befragung: Wichtige Regeln der Fragenbogen-Konstruktion. Im Internet unter: http://www.hoepflinger.com/fhtop/fhmethod1B.html [Stand 14.7.08]
Petersen, Thomas (2002): Das Feldexperiment in der Umfrageforschung. Frankfurt: Campus.
Porst, Rolf (2008): Question Wording - Zur Formulierung von Fragebogen-Fragen. Im Internet unter: http://www.social-science-gesis.de/Publikationen/Berichte/ZUMA_How_to/index.htm [Stand 14.07.08]
Pratzner, Axel (2008): Aufbau der Fragen. Im Internet unter http://www.fragebogen.de/aufbau-der-fragen-bei-umfragen.htm [Stand 18.8.2008]
Schumann, Siegfried, 1999: Repräsentative Umfrage: praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren, 2. Auflage. München, Wien: Oldenbourg.


 

3. Repräsentativität

Zum Thema Repräsentativität... das weiss keiner so genau ;-) Repräsentativ ist eine Umfrage im Prinzip dann, wenn die Befragten so ausgewählt werden, dass sie die gesamte Bevölkerung repräsentieren oder eben den Teil, dessen Stimmung, Vorlieben oder Meinungen abgebildet werden soll. Um das zu erreichen, müssen die zu Befragenden nach Alter, Geschlecht, Wohnort usw. ausgewogen ausgewählt werden. Fehler können entstehen, wenn die Meinungsforscher bei der Auswertung nicht beachten, dass bestimmte Personen oder Gruppen an der Befragung nicht teilnehmen konnten, z. B. weil sie telefonisch nicht zu erreichen waren, oder nicht wollten, weil sie an der Frage kein Interesse hatten.

Viel wichtiger als Repräsentativität sind für die Qualität einer Umfrage aber andere Kriterien, wie z. B. die Art der Fragestellung bzw. Ansprache der Befragten. Hiermit könnten – beabsichtigt oder unabsichtlich – bestimmte Antworten nahe gelegt oder ausgeschlossen werden. Bei Ranglisten ist es entscheidend, wie detailliert nachgefragt und wie stark bei der Auswertung differenziert wird. Dass eine Umfrage repräsentativ ist, unabhängig davon, ob der Anspruch auch erfüllt wird oder nicht, dient häufig nur als Etikett, um das Ergebnis aufzuwerten.

Eine Umfrage, die offensichtlich repräsentativ ist, kann immer von "Gegenstudien" in Ihrer (getroffenen oder angefallen) Stichprobenauswahl kritisiert werden, plötzlich merkt man z.B. das eine Umfrage nur in Städten durchgeführt wird, ein Kriterium, welches nicht klassisch im Rahmen der Kurzversion von soziodemografischen Daten abgefragt wird, bei politischen Meinungsumfragen z.B. sehr entscheidend, wenn dann im Nachhinein "auskommt", dass nur die Landmenschen Herr Kohl behalten wollten usw. usw. In dem Sinne können streng genommen nie alle Merkmale in einer Stichprobe natürlich anfallen, wenn auch bei tendenziell hohen Rücklaufraten meist recht sauber auf den Kreis der Angemailten geschlossen werden darf. (Die Grundgesamtheit ist dann je nach Design nochmals etwas anderes, z.B. alle Deutschen KMU, wovon dann 500 angefragt und 72 teilgenommen). Vielleicht hat man die 500 erwischt, die im Verband der Hasenzüchter sind, weil man von dort die Adressen gratis bekommen hat usw. (Die lieben alle Hasen und antworten in der Frage X dann anders als die restlichen Deutschen KMU) usw. usw. Es gibt keine Patentlösung, wichtig ist, alle für das Auswahlverfahren der Stichproben relevanten Aspekte wissenschaftlich korrekt zu erwähnen, dann ist die Studie transparent und nachvollziehbar, das ist viel wichtiger und wertvoller als eine repräsentative Studie, die nicht genügend Transparenz ausweist.


Ein klassisches Beispiel, welches spannend und beeindruckend ist, ist der "Gallup Case": es ist unter http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html zu finden und wir zitieren es hier:
"Franklin D. Roosevelt beendete 1936 seine erste Amtszeit als Präsident der Vereinigten Staaten von Amerika. Sein republikanischer Herausforderer bei den Wahlen hiess Alfred Landon, Gouverneur aus Kansas. Zwar waren die Aufrüstung Deutschlands unter den Nationalsozialisten und der Spanischer Bürgerkrieg Leitthemen in den grossen Tageszeitungen wie etwa der New York Times. Den Wahlkampf dominierten allerdings wirtschaftspolitische Themen. Die USA kämpften noch immer mit den Folgen der Grossen Depression: Mehr als neun Millionen Menschen waren arbeitslos und die realen Einkommen waren zwischen 1929 und 1933 etwa um einen Drittel gesunken.

Die meisten Beobachter des Wahlkampfes sagten Roosevelt einen einfachen Sieg über seinen Herausforderer Landon voraus, nicht aber die bekannte Zeitschrift "Literary Digest". Diese prognostizierte Roosevelt einen Stimmenanteil von lediglich 43% und damit einen klaren Sieg für Landon. Die Zeitschrift basierte ihre Voraussage auf der grössten Stichprobe an Personen, welche je auf eine kommerzielle Umfrage geantwortet hatten: 2,4 Millionen! Zudem hatte das "Literary Digest" seit 1916 jeweils den richtigen Gewinner der Präsidentschaftswahlen vorausgesagt.

Wie wir allerdings wissen, hat dennoch Franklin Roosevelt die Wahl gewonnen, und zwar mit einer überwältigenden Mehrheit von 62% der Stimmen. Alfred Landon erzielte lediglich einen Stimmenanteil von 38% für seine Person! Selbst die riesige Stichprobe konnte somit nicht verhindern, dass das "Literary Digest" den wahrscheinlich grössten Prognosefehler in der Geschichte der Umfrageforschung publizierte: ganze 19 Prozentpunkte! Nicht zuletzt diese krasse Fehlprognose dürfte dazu geführt haben, dass die Zeitschrift wenig später (im darauf folgenden Jahr) eingestellt wurde.

Im Gegensatz zum "Literary Digest" sagte Georg Gallup, dessen eigenes Umfrageinstitut gerade im Aufbau war, korrekterweise Roosevelt als Sieger voraus, auch wenn seine eigenen Prognose ebenfalls um 6 Prozentpunkte vom tatsächlichen Ergebnis abwich. Erstaunlicherweise gelang es Gallup allerdings, das falsche Ergebnis des "Literary Digest" vor dessen Veröffentlichung mit einer Abweichung von lediglich einem Prozentpunkt korrekt vorauszusagen!

Stimmenanteil (Roosevelt) Abweichung (in Prozentpunkten)
Tatsächliches Ergebnis 62% 0
Prognose des "Literary Digest" 43% -19
Gallup's Prognose 56% -6
Gallup's Prognose des"Literary Digest" 44% +1
Es stellt sich somit die Frage, weshalb die Umfrage des "Literary Digest" trotz der riesigen Stichprobe ein so falsches Resultat liefern konnte. Wir wollen uns zunächst die (kontrafaktische, wie wie unten sehen werden) Situation betrachten, dass tatsächlich eine korrekte Zufallsstichprobe gezogen wurde. Mit den vorhandenen Angaben ergibt sich das folgende 99%-Vertrauensintervall für den Stimmenanteil von Roosevelt:

Setzt man die obigen Angaben in diese Formel ein, erhält man das folgende 99%-Vertrauensintervall für den Stimmenanteil für Roosevelt:

Unter der Annahme, dass das "Literary Digest" seine Stichprobe korrekt gezogen hätte, wäre die Wahrscheinlichkeit für einen Stimmenanteil von 62% für Roosevelt mehr als unwahrscheinlich gewesen!

Dies lässt nun die Feststellung zu, dass wohl eine sehr selektive Stichprobe vorgelegen haben muss:

Das "Literary Digest" versandte insgesamt rund 10 Millionen Fragebögen. Allerdings wurden die angeschriebenen Personen nicht zufällig ausgewählt, sondern die meisten dieser Personen wurden aus vorhandenen Listen von Zeitschriftenabonennten, Automobilbesitzern sowie aus Telefonverzeichnissen gezogen. Zu jener Zeit (1936) waren nun allerdings wohlhabendere Personen in solchen Listen klar übervertreten. Die Stichprobe damit klarerweise verzerrt, indem reichere Personen mit einer grösseren Wahrscheinlichkeit Eingang in die Stichprobe fanden als ärmere Personen. Es waren aber gerade reichere Personen, welche Alfred Landon ihre Stimme gaben. Der erste Fehler des "Literary Digest" bestand somit in einem Selektionsfehler.
Das zweite - und wahrscheinlich das ausschlaggebende - Problem der Stichprobe war die enorme Zahl an Personen, welche nicht auf die Umfrage antworteten (nur gerade 2.4% aller angeschriebenen Personen schickten den Fragebogen zurück). Offensichtlich antworteten primär Personen mit einem starken Interesse am Ausgang der Umfrage. Und dies waren vor allem Personen, welche sich einen Wandel an der Spitze der USA wünschten und somit Alfred Landon ihre Stimme gaben. Wähler, welche Landon ihre Stimme gaben, antworteten weitaus häufiger auf die Umfrage der Zeitschrift als die Anhänger Roosevelts.
Die Stichprobe des "Literary Digest" war somit sowohl durch einen Nichtstichprobenfehler (nonresponse) als auch durch einen Stichprobenfehler (Selektionsfehler) verzerrt. Wie wir wissen, hilft bei einer solch selektiven Stichprobe auch eine noch so grosse Stichprobengrösse nicht aus, um Populationskennwerte präzise zu schätzen." (Quelle: Internet http://www.mesosworld.ch/lerninhalte/Grund_Stichprob/de/html/unit_Fallbeispiel.html [Stand 1.12.2009]

   
4. Rücklaufquote / Steigerung

Es gibt dazu eine Diplomarbeit (1995) von Axel Bischoff mit dem Titel "Möglichkeiten zur Erhöhung der Rücklaufquote bei schriftlichen Befragungen" im Internet unter: http://www.diplom.de/Diplomarbeit-3318/Moeglichkeiten_zur_Erhoehung_der_Ruecklaufquote_bei_schriftlichen_Befragungen.html

Dillman, D.A. (2000). Mail and Internet Surveys. The Tailored Design Method. (2nd Ed.). New York:
John Wiley & Sons, Inc. empfehlen für die Erhöhung der Rücklaufrate folgende Punkte zu beachten:

1. Erklären Sie in Ihrer Einladungs-E-Mail die Relevanz des Themas für den Befragten.
2. Gestalten Sie die Einladungsmail oder Einladungsunterlagen so, dass sie nicht mit SPAM oder Webung verwechselt wird, also in der Regel "seriöser" und weniger "bunt" formuliert als Werbemails, eher sanfte Marketingsprache.
3. Identifizieren Sie sich im Anschreiben als Institution und Person im Detail (Erhöhung des Vertrauens), und nennen eine direkte Telefonnummer für eventuelle Rückfragen des Befragten.
4. Sichern Sie die Anonymität bzw. Vertraulichkeit aller Angaben glaubwürdig zu, wenn dies konzeptionell möglich ist.
5. Bedanken Sie sich im voraus bei den Befragten für Zeit und Engagement, sowohl im Anschreiben als auch am Ende des Fragebogens.
6. Erläutern und erklären Sie bei einer Stichprobenauswahl Ihr Auswahlverfahren (Befragter: Warum gerade ich?)
7. Erklären sie den Zweck der Studie im Vorfeld (z.B. Ankündigungsschreiben) und im Anschreiben! (z.B. Vorankündigung, Anschreiben, Unterstützung durch Meinungsführer)
8. Erklären Sie im Anschreiben, wie mit eingehenden Fragebogen bei der Auswertung verfahren wird, respektive auch, wozu und mit welcher Intention die Daten verwendet werden.
9. Gewinnen sie einflussreiche Unterstützer (Empfehlungsschreiben, Signaturen, Beiräte, Projektpartner im Begleitschreiben erwähnen)
10. Gestalten Sie den Fragebogen übersichtlich, formal und ansprechend.
11. Bauen Sie den Fragebogen thematisch gruppiert und z.B. durch Zwischentitel und Überleitungen so auf, dass es den Befragten leicht fällt zu antworten.
12. Machen Sie den Fragebogen nicht zu lang.
13. Verwenden Sie überwiegend geschlossene Fragen (höherer Rücklauf aber weniger Horizonterweiterung als mit offenen Fragen)
14. Erklären Sie gegebenenfalls, wie der Fragebogen anonym zurückgegeben werden kann.
15. Geben sie einen festen Rücksendetermin vor, der nicht zu lange in der Zukunft liegt. 50% der Antworten erhalten Sie in der Regel (online) in den ersten vier Tagen.
16. Setzen Sie Anreize („incentive“) zur Erhöhung der Beteiligungsbereitschaft (materiell: Preis aussetzen, Gewinnspiel, Spenden, usw..; symbolisch: Hilfeappell, Mitwirkung bei Verbesserungsmassnahmen, Angebot zur Information über Ergebnisse, usw..)
17. Fassen Sie bei Nichterreichten/Nichtantwortern mehrfach (max. 2-3 mal) und ausserordentlich freundlich nach (schriftlich oder telefonisch) (bei Offline-Befragungen z.B. Urnen an einem nicht einsehbaren Platz)
18. Starten Sie Ihre Befragung zu einer Nicht-Ferienzeit, bei Büro- oder an der Arbeit zu erreichenden Zielgruppen am besten DI-DO ca. 9 Uhr oder zielgruppenspezifisch (reflektieren Sie, wann Ihre Zielgruppe am meisten Zeit und Motivation hat, teilzunehmen).
19. Aktivieren Sie allenfalls die Funktion "Teilnehmer > Gratis-Gutscheine für Ihre Teilnehmenden". Hier erhalten alle Ihre Teilnehmenden, die den Fragebogen komplettieren (d.h. bis zur Dankeseite vorstossen), einen kostenlosen Gutschein über unseren Partner Sovendus. Es handelt sich um Rabattgutscheine für eine Masse von nahmhaften und alltagspräsenten Unternehmen, meist im Bereich von 5-15% oder 5 bis 20 Euro, die bei einem Einkauf angerechnet werden können. Machen Sie bereits in Ihrer Einladungsmail oder im Vorwort der Umfrage darauf aufmerksam, dass jede vollständige Teilnahme einen Einkaufsgutschein erhält. Dies kann der Rücklauf steigern und stellt zudem eine freundliche Dankesgeste dar. Bitte beachten Sie, dass eine ausschliesslich monetäre Motivation Ihre Zielgruppe resp. die realisierte Nettostichprobe beeinflussen kann (sog. Bias).



 

   
5. Teilnehmer-Stammdaten verwenden - Erweiterung der Auswertungsmöglichkeiten

Mit onlineumfragen.com können Sie bevor Sie die Befragung starten Teilnehmerdaten erfassen resp. importieren. Es handelt sich dabei im Wesentlichen um die E-Mail-Adressen Ihrer Teilnehmenden, welche Sie einladen möchten (welche die Einladungsmail zur Befragung erhalten). Diese Liste können Sie mit weiteren Angaben vervollständigen. Erfassen Sie z.N. Vorname, Name, Anrede zusätzlich, lassen sich Einladungsmails für Befragungen personalisieren (persönliche Anrede), zudem bei geschlossenen Umfragen mit Passwort oder personalisiertem Link (System erkennt anhand des Links, wer teilnimmt) lassen sich auch die Inhalte des Fragebogens personalisieren, d.h. der Teilnehmer wird im Vorwort oder in Fragen mit seinem Namen angesprochen.

Die Möglichkeiten sind natürlich nicht kosmetisch begrenzt: durch den Import weiterer Stammdaten wie Abteilung, Region, Zugehörigkeit zu einer Subgruppe, Kundensegment, etc. etc. (Ihren Ideen sind hier keine Grenzen gesetzt) lassen sich diese Parameter für den Fragebogen verwenden. Diese Variablen können im Fragebogen beliebig eingesetzt werden (zitiert in Fragen, z.b. "Sie wohnen ja in der Region XY") aber auch zur Filterung und Pfadsteuerung eingesetzt werden, so dass zum

Beispiel alle Teilnehmer nur den Teil des Fragebogens sehen und bearbeiten können, der für die Abteilung, in welcher diese arbeiten, angedacht ist. Natürlich lassen Sie auch alle Stammdaten in den Auswertungen verwenden und es können damit z.B. Subsamples gebildet werden, für die einzelne Tabellenbände erzeugt werden können.

   
Hilfe & Tutorials   Springen Sie zu...
 
Befragungszyklus: Ziele und Methode klären
Frageformulierung und Fragebogenaufbau
Repräsentativität
Rücklaufquote / Steigerung
Teilnehmer-Stammdaten verwenden - Mehr Auswertungsmöglichkeiten




Lexikon der Markt- und Meinungsforschung:
http://www.umfragen.info/marktforschung/lexikon-der-marktforschung


Welche Stichprobengrösse benötige ich für meine Studie?
http://www.statisticsconsultant.com


Was ist der Unterschied zwischen Regression und Korrelation?
http://www.statisticsconsultant.com
Jetzt kostenlos anmelden und gleich starten!


 
 
 
onlineumfragen.com verlässt sich 100% auf DELL High End Server Website Security Test

© 2017 onlineumfragen.com GmbH | Alle Rechte vorbehalten | Privacy Policy/AGB | Kontakt/Impressum

 
onlineumfragen.com
Rated 4.8/5 based on 1102 reviews
Erstellen Befragen Auswerten