Abnahmetest mit dem Geschäft
Kurz gesagt: Der Abnahmetest fragt etwas anderes: nicht „Tut das System das Geschriebene?“, sondern „Kann ich damit meine Arbeit machen?“. Ihn machen Menschen aus dem Geschäft, mit echten Aufgaben und realistischen Daten, während QA vorbereitet, beobachtet und festhält. Die Befunde sind Fehler, Änderungsanträge oder Fragen. Je später „das ist es nicht“ zu hören ist, desto teurer wird es; deshalb zeigen Demo und Prototyp die Richtung früher.
Problem
Es funktioniert, ist aber nicht das, was wir brauchen
Die Gutscheincodes haben alle Tests bestanden: 10 %, gilt nicht für reduzierte Produkte, eine bezahlte Bestellung, eine Gültigkeitsdauer. Die Szenarien sind grün, die Tests in der CI auch.
Beim Abnahmetest macht die Buchhalterin das, was sie jeden Monat macht: Sie gleicht die Rabatte ab. Sie öffnet eine Bestellung und sieht „Rabatt: 2,00 €“. Mit welchem Code? Das steht nicht da. Sie kann die Rabatte nicht mit den Kampagnen vergleichen. „Alles funktioniert, aber ich kann meine Arbeit nicht machen.“ Bis zur Freigabe sind es drei Tage.
Die Idee
Der Benutzerabnahmetest
Alle Tests bisher fragten „Tut das System das Geschriebene?“. Das ist Verifizierung. Der Benutzerabnahmetest (user acceptance testing, UAT) fragt etwas anderes: Kann ich mit diesem System meine Arbeit machen? Das ist Validierung.
Deshalb machen ihn die Menschen, die mit dem System arbeiten werden: die Buchhalterin, der Marketingmitarbeiter, das Lager. Nicht QA und nicht die Entwickler. Sie erledigen ihre echte Arbeit, mit Aufgaben aus ihrem Alltag und mit realistischen Daten, in einer Umgebung, die der echten ähnelt.
QA ist nicht überflüssig. QA bereitet Umgebung und Daten vor, hilft, die Aufgaben aus den Arbeitsabläufen abzuleiten, beobachtet und hält die Befunde fest. Aber das Urteil „das genügt mir“ kann niemand außer dem Geschäft abgeben.
Die Idee
Wie eine Abnahme abläuft
Vorbereitung. Welche Menschen, welche Arbeitsabläufe, welche Umgebung, welche Daten. Und die Eingangskriterien: Die Systemtests haben bestanden, es gibt keine offenen kritischen Fehler. Menschen aus dem Geschäft haben wenig Zeit, und sie darf nicht für Fehler draufgehen, die die unteren Stufen hätten abfangen müssen.
Durchführung. Jeder erledigt seine Aufgaben: „Starte eine Kampagne für den Herbst“, „Gleicht die Rabatte für Oktober ab“. QA schaut zu, ohne vorzusagen, und hält fest, wo die Person stockt, was sie sucht, was sie überrascht.
Befunde. Es gibt drei Arten, und jede geht ihren eigenen Weg:
- ein Fehler: Das System tut nicht das Vereinbarte. Er wird gemeldet und behoben;
- ein Änderungsantrag: Das System tut das Vereinbarte, aber das Vereinbarte reicht nicht. Er läuft über das Änderungsmanagement: Bewertung, Priorität, Entscheidung;
- eine Frage: etwas, das niemand entschieden hat. Sie wird festgehalten, und es gibt jemanden, der sie beantwortet.
Entscheidung. Abgenommen, mit Auflagen abgenommen oder nicht abgenommen. Der Inhaber entscheidet, nach den Endekriterien, die vor dem Start vereinbart wurden.
Genauer, für Neugierige
ISTQB CTFL v4.0.1 beschreibt den Abnahmetest als eine der Teststufen und nennt seine Hauptformen: Benutzerabnahmetest, betrieblicher, vertraglicher und regulatorischer Abnahmetest sowie Alpha- und Betatest (das Modul „Stufen, Arten und Prozess“). ISTQB hat auch ein eigenes Zertifikat zum Abnahmetest, Certified Tester Acceptance Testing (CT-AcT). Es geht um die Zusammenarbeit von Product Ownern, Business-Analysten und Testern: wie Akzeptanzkriterien und Abnahmetests gemeinsam mit dem Geschäft geschrieben werden und wie die Abnahme durchgeführt wird.
Probier es aus
Was für ein Befund ist das?
Die Idee
Warum „das ist es nicht“ so spät kommt
Die Geschichte mit der Buchhalterin ist ein Klassiker. Die Anforderungen waren richtig und vollständig für den Rabatt. Niemand hatte die Buchhaltung gefragt, was sie danach mit den Rabatten macht. Die Interessengruppe, die niemand fragt, taucht bei der Abnahme auf.
Die Ursachen sind meist dieselben:
- Die Anforderung wurde als Lösung aufgeschrieben („ein Feld für den Code im Warenkorb“), nicht als Bedarf;
- die Menschen, die mit dem System arbeiten werden, waren nicht bei den Besprechungen;
- niemand hat den Arbeitsablauf beobachtet, man hat nur danach gefragt;
- die erste Rückmeldung aus dem Geschäft kommt erst mit dem fertigen System.
Das Letzte ist das Teuerste. Bei der Abnahme ist alles gebaut, und jede Änderung ist Nacharbeit. Drei Tage vor der Freigabe bleiben zwei schlechte Wahlmöglichkeiten: ohne das Nötige freigeben oder verschieben.
Die Idee
Die Demo und der Prototyp
Die Antwort ist, dass die Rückmeldung früher kommt, solange eine Änderung billig ist:
- ein Prototyp: eine Skizze oder eine Seite zum Durchklicken, ohne echte Logik. Die Buchhalterin sieht den Bestellbildschirm vor der ersten Codezeile und sagt: „Wo ist mein Code?“ Das kostet eine Stunde;
- eine Demo: Am Ende jedes Sprints zeigt das Team den funktionierenden Teil den Menschen, die ihn nutzen werden. Am besten schauen sie nicht nur zu, sondern probieren selbst eine echte Aufgabe aus;
- früher Zugang: Eine kleine Gruppe aus dem Geschäft arbeitet mit den fertigen Teilen, während die anderen noch gebaut werden.
Demo und Prototyp ersetzen die Abnahme nicht. Sie sorgen dafür, dass es bei der Abnahme keine Überraschungen gibt, sondern nur Bestätigung. Das ist dieselbe Idee wie Shift-left: Die Prüfung rückt nach vorn, weil sie dort billiger ist.
Genauer, für Neugierige
In Scrum findet die Demo im Sprint Review statt: Das Team zeigt den wichtigsten Interessengruppen die Ergebnisse, und gemeinsam besprechen sie, was als Nächstes zu tun ist. Der Scrum Guide nennt das Review eine Arbeitssitzung, die sich nicht auf eine Präsentation beschränken soll.
Probier es aus
Von der billigsten zur teuersten Rückmeldung
Ordne die Stellen, an denen das Geschäft „das ist es nicht“ sagen kann, von der billigsten zur teuersten.
Ein Prototyp zum Durchklicken, ohne echten CodeAbnahmetest mit echter Arbeit vor der FreigabeEine Papierskizze an der Tafel mit der StoryEine Demo eines funktionierenden Teils am Ende des SprintsEine Kundenbeschwerde nach der Freigabe
Eine Skizze kostet Minuten, ein Prototyp Stunden, eine Demo eine Woche Arbeit. Bei der Abnahme ist alles gebaut, und nach der Freigabe ist der Fehler schon bei den Kunden.
Übung
Abnahme der Gutscheincodes
1. Der Plan. Die Gutscheincodes sind bereit zur Abnahme.
Test