Erst simulieren, dann bauen
Im Zauberer von Oz sitzt hinter einem Vorhang ein ganz gewöhnlicher Mann und erzeugt mit Hebeln und Tricks die Illusion eines mächtigen Zauberers. Genau dieses Bild leiht die Methode sich aus: Nutzende interagieren mit etwas, das wie ein fertiges, automatisiertes Angebot wirkt – ein Chat, ein digitaler Assistent, ein automatisierter Prozess. In Wirklichkeit sitzt im Hintergrund ein Mensch aus eurem Team und beantwortet alle Anfragen von Hand.
Der Witz dabei: Ihr testet, ob Menschen ein Angebot überhaupt nutzen und wie sie darauf reagieren, ohne vorher ein Tool programmiert oder einen Algorithmus trainiert zu haben. Erst wenn sich zeigt, dass die Idee trägt, investiert ihr in die echte Umsetzung.
Dauer: 3 bis 5 Testrunden à 30 Minuten, plus Vorbereitung · Beteiligte: Mindestens drei Rollen – Moderation, “Zauberin oder Zauberer” und Testperson · Material: Ein einfacher Prototyp als “Hülle” (Formular, Chat-Oberfläche, Telefonnummer), vorbereitete Antwortbausteine
Diese Methode lebt davon, dass jemand glaubt, mit einem echten System zu interagieren – dafür braucht ihr mindestens eine zweite Person als Testperson. Allein könnt ihr euch trotzdem vorbereiten: Spielt im Kopf oder auf Papier zehn typische Anfragen durch und überlegt, wie ihr darauf reagieren würdet. Das zeigt euch schon, ob sich eure Idee überhaupt mit planbaren Antworten abdecken lässt. Für den eigentlichen Test bittet dann mindestens eine Kollegin oder einen Kollegen, die Nutzenden-Rolle zu übernehmen.
Wann sich die Methode lohnt
Die Wizard-of-Oz-Methode spielt ihre Stärke aus, wenn
- eure Idee auf einer Technologie beruht, die aufwendig zu bauen ist – etwa ein Chatbot, ein digitaler Assistent oder ein automatisiertes Empfehlungssystem,
- ihr aus der Methode Riskanteste Annahme zuerst genau die Frage prüfen wollt, ob Menschen ein Angebot überhaupt annehmen, bevor ihr in die technische Umsetzung investiert,
- ein statischer Prototyp nicht ausreicht, weil das Angebot auf echten, unvorhersehbaren Eingaben der Nutzenden reagieren muss,
- ihr eine neue Dienstleistung ausprobieren wollt, ohne gleich Fachverfahren, Schnittstellen oder Budget dafür zu beantragen.
Weniger geeignet ist die Methode für Angebote, die sich auch mit einer einfachen Ideenskizze oder einem Klick-Dummy gut testen lassen – dafür reicht dann eine Idee auf der Serviette oder ein einfacher Prototyp.
Drei Rollen hinter der Bühne
- Moderation – führt die Testperson durch die Aufgabe, erklärt den Ablauf und beobachtet, was passiert.
- Die Zauberin oder der Zauberer – reagiert im Hintergrund auf jede Eingabe der Testperson, möglichst so, wie es das fertige Angebot später tun würde. Diese Person bleibt für die Testperson unsichtbar.
- Die Testperson – interagiert mit dem vermeintlich fertigen Angebot, ohne zu wissen, dass ein Mensch dahintersteckt.
So geht ihr vor
1. Einen einfachen Prototypen als “Hülle” bauen
Baut nur so viel, wie nötig ist, damit die Testperson glaubt, mit einem echten Angebot zu interagieren: ein Formular, eine Chat-Oberfläche, eine Telefonnummer, ein E-Mail-Postfach. Die eigentliche „Intelligenz” dahinter fehlt bzw. wird durch einen Menschen abgedeckt.
2. Antworten vorbereiten
Überlegt vorab, wie die Zauberin oder der Zauberer auf typische Anfragen reagiert. Das kann eine feste Liste vorformulierter Antworten sein, freies Reagieren nach eigenem Ermessen, oder eine Mischung aus beidem. Klärt außerdem: Welche Antworten wären mit der später geplanten Technik überhaupt realistisch umsetzbar?
3. Einen kleinen Ablaufplan schreiben
Haltet fest: Was sagt die Moderation zu Beginn? Wer übernimmt welche Rolle? Wie reagiert die Zauberin oder der Zauberer, wenn eine Anfrage kommt, auf die niemand vorbereitet ist? Eine einfache Standardantwort wie „Das prüfen wir und melden uns” hilft, die Illusion auch dann aufrechtzuerhalten.
4. Einen Testlauf mit Kolleg*innen machen
Probiert den Ablauf zuerst im eigenen Team aus. So merkt ihr, ob die Technik funktioniert, ob die Zauberin oder der Zauberer schnell genug reagieren kann und wo Antworten fehlen.
5. Mit echten Nutzenden durchführen und danach auflösen
Führt den Test mit echten Nutzenden durch. Reagiert dabei zügig und ohne unnatürliche Pausen, damit die Illusion funktioniert. Klärt die Testperson im Anschluss auf, dass im Hintergrund ein Mensch reagiert hat, und fragt nach ihren Eindrücken.
Warum die Täuschung notwendig ist
Die kurze Täuschung ist kein Selbstzweck, sondern die Voraussetzung für ehrliche Reaktionen. Wenn Testpersonen von Anfang an wissen, dass ein Mensch antwortet, verhalten sie sich anders, als sie es bei einem echten automatisierten Angebot tun würden. Wichtig ist aber, die Täuschung nach dem Test immer offenzulegen und zu erklären, warum ihr so vorgegangen seid. Merkt eine Testperson während des Tests, dass ein Mensch dahintersteckt, ist das kein Problem – bittet sie einfach, sich weiter so zu verhalten, als wäre das System echt.
Tipps aus der Praxis
- Eine Standardantwort für den Notfall bereithalten. So verliert ihr nie die Fassung, wenn eine Anfrage kommt, die niemand vorhergesehen hat.
- Zügig reagieren. Lange Pausen wirken unnatürlich und verraten die Simulation schneller als jede falsche Antwort.
- Konsistent bleiben. Wenn die Zauberin oder der Zauberer bei ähnlichen Fragen unterschiedlich antwortet, fällt das auf.
- Immer auflösen. Ein kurzes, ehrliches Debriefing gehört zur Methode dazu, nicht nur aus Fairness, sondern weil die Nachfragen danach oft die besten Erkenntnisse liefern.
Typische Stolpersteine
- Zu wenig Vorbereitung. Ohne vorbereitete Antworten gerät die Zauberin oder der Zauberer schnell ins Stocken und die Illusion bricht.
- Aus einem einzigen Test zu viel schließen. Ein, zwei Testrunden zeigen Tendenzen, keine gesicherten Ergebnisse. Mehrere Testpersonen sind aussagekräftiger als eine.
- Zu viel gleichzeitig testen. Konzentriert euch auf eine zentrale Frage, etwa: Nutzen Menschen das Angebot überhaupt? Alles Weitere kommt in einer späteren Runde.
Verwandte Methode: Die riskanteste Annahme zuerst
Wenn ihr, wie bei der Methode Die riskanteste Annahme zuerst prüfen beschrieben, einen Dienst zunächst von Hand simuliert, etwa einen Lotsendienst per Telefon oder E-Mail, bevor ihr ihn digitalisiert, wendet ihr im Grunde bereits die Wizard-of-Oz-Methode an. Der Unterschied: Bei der Wizard-of-Oz-Methode bleibt die Rolle des Menschen für die Nutzenden bewusst verborgen, weil ihr testen wollt, wie sie auf ein scheinbar automatisiertes Angebot reagieren.
Woher die Methode kommt
Frühe Anwendungen der Methode gehen auf Don Norman und Allen Munro zurück, die 1973 damit einen automatisierten Reiseassistenten testeten. Ihren heutigen Namen erhielt sie 1983 durch Jeff Kelley, der sie in seiner Dissertation zu natürlichsprachigen Schnittstellen an der Johns Hopkins University beschrieb, in Anlehnung an den Roman Der Zauberer von Oz von Frank L. Baum. Bekanntheit erlangte die Methode unter anderem durch IBMs Forschung zur „Listening Typewriter” in den 1980er-Jahren. Heute wird sie vor allem beim Testen von Chatbots, Sprachassistenten und KI-gestützten Diensten eingesetzt.
KI-Hinweis: Dieser Text ist mit Unterstützung von KI entstanden.
