Doro Sthamer
UX-Design-Strategin | netzstrategen
Was ist ein unmoderierter Usability-Test?
In diesem Testszenario bearbeiten die Teilnehmer:innen Aufgaben, ohne dabei von einer anderen Person beobachtet zu werden. Durch eine Software werden Bildschirm und Stimme des Teilnehmers per Video aufgezeichnet, um sie nach Abschluss des Tests auf den Server des jeweiligen Dienstleisters für die spätere Analyse hochzuladen. Wichtig ist, dass die Zielgruppe für das Produkt im Vorhinein feststeht und die Teilnehmer:innen danach ausgesucht werden.
So läuft ein unmoderierter Usability-Test ab:
1. Definieren der Test-Ziele
Als erstes solltest Du bestimmen, was genau getestet werden soll und welcher Bereich der Anwendung im Fokus steht.
Dazu werden Nutzungsanforderungen und Benutzergruppen definiert, d.h. die Eckdaten für die Rekrutierung der Testpersonen und die Anzahl der Testteilnehmer*innen. Der Inhalt und die Anzahl der Testfragen werden festgelegt. Ein Test sollte ca. 15 Minuten dauern.
2. Vorbereiten des Testobjekts
Wenn eine bereits genutzte Website getestet werden soll, ist hier nichts zu tun. Oft werden jedoch Prototypen getestet, d.h. noch nicht fertige Versuchsmodelle, z.B. in Form von Klickdummys, die – manchmal nur einen Teil des – Interaktionsdesigns und den Navigationsfluss repräsentieren. Diese müssen für den Test auf jeden Fall benutzbar sein und funktionieren.
3. Erstellen der Testaufgaben
Für einen Test eigenen sich in der Regel zwei bis drei Fragen. Die Aufgaben sollten natürlich zu den Zielen des Tests passen, d.h. wenn ein bestimmter Teil der Navigation getestet werden soll, müssen die Fragen dem entsprechen. Die Fragen sollten aus Perspektive der Teilnehmer*innen relevant und leicht verständlich sein und in einer logischen Reihenfolge gestellt werden. Starte am Besten mit einer einfachen Aufgabe, sodass die Tester*innen schon zu Beginn ein Erfolgserlebnis haben. Bei der Formulierung der Frage solltest Du versteckte Hinweise auf die Lösung vermeiden. Das klingt logisch und einfach, ist aber oft etwas kniffelig. Begriffe und Namen aus dem Menü der Seite würden zum Beispiel Hinweise geben. Verwende stattdessen lieber „neutrale” Begriffe, die sehr wahrscheinlich bekannt sind.
Wenn die Testaufgaben erstellt sind, kannst Du sie am Besten an einer neutralen Person, z.B. einem Kollegen, der nicht involviert ist, testen. Damit stellst Du sicher, dass sich keine Formfehler eingeschlichen haben, die Du mit Deiner Innensicht des Projekts nicht oder nur schwer entdecken kannst.
4. Pilot-Test, Auswertung und Anpassung
Dann kann es eigentlich schon losgehen mit dem ersten Test. Der Test wird von zwei bis drei Teilnehmer*innen durchgeführt, die Videos analysiert und bei eventuellen Problemen werden dementsprechende Anpassungen vorgenommen.
5. Der Usability-Test
Die Teilnehmer*innen bekommen einen Link zu der Website oder dem Prototypen geschickt. Die Fragen bearbeiten sie dann an Ihrem eigenen Computer – also in gewohnter Umgebung. Während den Usability-Tests ist es wichtig, dass die Testteilnehmer „laut denken“, also ihre Gedanken bei jedem Schritt aussprechen. Die Methode des lauten Denkens ist wichtig für die Beobachter*innen und die Auswertung, um die eventuellen Schwierigkeiten, die ein*e Testteilnehmer*in hat, zu verstehen. So erhältst Du pures und wertvolles Feedback.
6. Analyse: Befunde erfassen und einstufen
Die Videos werden angesehen und ausgewertet, Usability-Probleme erfasst und nach Wichtigkeit sortiert. Hier wird nach bestimmten Kriterien sortiert. Je häufiger ein Problem auftritt, desto schwerwiegender ist es natürlich. Es wird auch unterschieden zwischen “Aufgabe nicht gelöst” und “Aufgabe gelöst”, wobei es auch darauf ankommt in welcher Zeit sie gelöst wurden.
7. Testbericht schreiben
Diese Befunde werden zuletzt in einem Testbericht dokumentiert und weitergegeben. Wichtig ist hierbei auch positive Befunde zu berichten, damit diese bei der Weiterentwicklung des Systems erhalten bleiben.
Meist werden die Testpersonen dazu angehalten nach der letzten gelösten Aufgabe noch ein paar Sätze zu dem Gesamteindruck zu sagen oder man hat die Möglichkeit sie zu fragen, ob es etwas gibt, was sie konkret verbessern würden. Aus diesen Kommentaren ergeben sich oft auch nützliche Erkenntnisse.
Fazit
Mit diesen Ergebnissen kannst Du deine interaktiven Systeme gezielt weiterentwickeln und mit wertvollen Feedback direkt an die Bedürfnisse deiner Nutzer*innen anpassen. Die Befunde basieren nicht auf Meinungen einzelner, sondern auf der konkreten Anwendung durch Nutzer*innen aus der optimalen Zielgruppe. Der unmoderierte Usability-Test ersetzt keinen aufwendigen moderierten Usability-Test im Labor. Er ist aber eine preiswerte und schnelle Methode, um eine Bewertung und wertvolle Erkenntnisse zu einem interaktiven System aus Nutzersicht zu erlangen.
Im hallo.digital Webinar zu Usability Tests bekommst Du einen noch tieferen Einblick ins Thema. Schau gerne beim nächsten Termin vorbei. Wir führen regelmäßig moderierte Usability Tests mit unseren Partnern durch, wenn Du daran Interesse hast, kontaktiere uns gerne dazu. Fragen kannst Du gerne in den Kommentaren stellen.
Doro Sthamer
UX-Design-Strategin | netzstrategen
Egal wie oft Du selbst etwas prüfst – manches bleibt dabei immer unentdeckt, was jemand anderem aber direkt beim Testen auffällt. Deswegen sind Tests und direktes Feedback von Nutzer*innen so wertvoll: mit diesem Wissen kannst Du Fehler und Unstimmigkeiten in Deinem Produkt noch vor der Veröffentlichung finden und beseitigen.
Was ist ein unmoderierter Usability-Test?
In diesem Testszenario bearbeiten die Teilnehmer*innen Aufgaben, ohne dabei von einer anderen Person beobachtet zu werden. Durch eine Software werden Bildschirm und Stimme des Teilnehmers per Video aufgezeichnet, um sie nach Abschluss des Tests auf den Server des jeweiligen Dienstleisters für die spätere Analyse hochzuladen. Wichtig ist, dass die Zielgruppe für das Produkt im Vorhinein feststeht und die Teilnehmer*innen danach ausgesucht werden.
So läuft ein unmoderierter Usability-Test ab:
1. Definieren der Test-Ziele
Als erstes solltest Du bestimmen, was genau getestet werden soll und welcher Bereich der Anwendung im Fokus steht.
Dazu werden Nutzungsanforderungen und Benutzergruppen definiert, d.h. die Eckdaten für die Rekrutierung der Testpersonen und die Anzahl der Testteilnehmer*innen. Der Inhalt und die Anzahl der Testfragen werden festgelegt. Ein Test sollte ca. 15 Minuten dauern.
2. Vorbereiten des Testobjekts
Wenn eine bereits genutzte Website getestet werden soll, ist hier nichts zu tun. Oft werden jedoch Prototypen getestet, d.h. noch nicht fertige Versuchsmodelle, z.B. in Form von Klickdummys, die – manchmal nur einen Teil des – Interaktionsdesigns und den Navigationsfluss repräsentieren. Diese müssen für den Test auf jeden Fall benutzbar sein und funktionieren.3. Erstellen der Testaufgaben
Für einen Test eigenen sich in der Regel zwei bis drei Fragen. Die Aufgaben sollten natürlich zu den Zielen des Tests passen, d.h. wenn ein bestimmter Teil der Navigation getestet werden soll, müssen die Fragen dem entsprechen. Die Fragen sollten aus Perspektive der Teilnehmer*innen relevant und leicht verständlich sein und in einer logischen Reihenfolge gestellt werden. Starte am Besten mit einer einfachen Aufgabe, sodass die Tester*innen schon zu Beginn ein Erfolgserlebnis haben. Bei der Formulierung der Frage solltest Du versteckte Hinweise auf die Lösung vermeiden. Das klingt logisch und einfach, ist aber oft etwas kniffelig. Begriffe und Namen aus dem Menü der Seite würden zum Beispiel Hinweise geben. Verwende stattdessen lieber „neutrale” Begriffe, die sehr wahrscheinlich bekannt sind. Wenn die Testaufgaben erstellt sind, kannst Du sie am Besten an einer neutralen Person, z.B. einem Kollegen, der nicht involviert ist, testen. Damit stellst Du sicher, dass sich keine Formfehler eingeschlichen haben, die Du mit Deiner Innensicht des Projekts nicht oder nur schwer entdecken kannst.
4. Pilot-Test, Auswertung und Anpassung
Dann kann es eigentlich schon losgehen mit dem ersten Test. Der Test wird von zwei bis drei Teilnehmer*innen durchgeführt, die Videos analysiert und bei eventuellen Problemen werden dementsprechende Anpassungen vorgenommen.
5. Der Usability-Test
Die Teilnehmer*innen bekommen einen Link zu der Website oder dem Prototypen geschickt. Die Fragen bearbeiten sie dann an Ihrem eigenen Computer – also in gewohnter Umgebung. Während den Usability-Tests ist es wichtig, dass die Testteilnehmer „laut denken“, also ihre Gedanken bei jedem Schritt aussprechen. Die Methode des lauten Denkens ist wichtig für die Beobachter*innen und die Auswertung, um die eventuellen Schwierigkeiten, die ein*e Testteilnehmer*in hat, zu verstehen. So erhälst Du pures und wertvolles Feedback.
6. Analyse: Befunde erfassen und einstufen
Die Videos werden angesehen und ausgewertet, Usability-Probleme erfasst und nach Wichtigkeit sortiert. Hier wird nach bestimmten Kriterien sortiert. Je häufiger ein Problem auftritt, desto schwerwiegender ist es natürlich. Es wird auch unterschieden zwischen “Aufgabe nicht gelöst” und “Aufgabe gelöst”, wobei es auch darauf ankommt in welcher Zeit sie gelöst wurden.
7. Testbericht schreiben
Diese Befunde werden zuletzt in einem Testbericht dokumentiert und weitergegeben. Wichtig ist hierbei auch positive Befunde zu berichten, damit diese bei der Weiterentwicklung des Systems erhalten bleiben.
Meist werden die Testpersonen dazu angehalten nach der letzten gelösten Aufgabe noch ein paar Sätze zu dem Gesamteindruck zu sagen oder man hat die Möglichkeit sie zu fragen, ob es etwas gibt was sie konkret verbessern würden. Aus diesen Kommentaren ergeben sich oft auch nützliche Erkenntnisse.
Fazit
Mit diesen Ergebnissen kannst Du deine interaktiven Systeme gezielt weiterentwickeln und mit wertvollen Feedback direkt an die Bedürfnisse deiner Nutzer*innen anpassen. Die Befunde basieren nicht auf Meinungen einzelner, sondern auf der konkreten Anwendung durch Nutzer*innen aus der optimalen Zielgruppe. Der unmoderierte Usability-Test ersetzt keinen aufwendigen moderierten Usability-Test im Labor. Er ist aber eine preiswerte und schnelle Methode, um eine Bewertung und wertvolle Erkenntnisse zu einem interaktiven System aus Nutzersicht zu erlangen.
Im hallo.digital Webinar zu Usability Tests bekommst Du einen noch tieferen Einblick ins Thema. Schau gerne beim nächsten Termin vorbei. Wir führen regelmäßig moderierte Usability Tests mit unseren Partnern durch, wenn Du daran Interesse hast, kontaktiere uns gerne dazu. Fragen kannst Du gerne in den Kommentaren stellen.
Eine Antwort
Trotzdem stellt sich immer noch die Frage, wie man richtig Prototypen testet. Soweit ich weiß, macht man es über Prüfanlagen. Hierfür kann man sich individuelle Prüfanlage anfertigen lassen oder man kauft schon vorgefertigte. Finde das Thema allgemein sehr interessant, danke für den Beitrag!