Messen nach der Freigabe
Kurz gesagt: Eine freigegebene Lösung ist eine Hypothese: „Wenn wir 10 % mit einem Code geben, kommen mehr Neukunden“. Ob sie stimmt, zeigt sich nach der Freigabe, mit einer Kennzahl, die vorher vereinbart wurde: was gemessen wird, wie hoch es war, wie hoch es werden soll und bis wann. Dann wird das Ergebnis ehrlich verglichen und führt zu einer Entscheidung: Die Lösung bleibt, wird geändert oder wird eingestellt.
Problem
Zweitausend Einlösungen. Ist das ein Erfolg?
Die Gutscheincodes wurden vor drei Monaten freigegeben. Das Marketing meldet: „Der Code wurde 2.000 Mal eingelöst!“
Der Inhaber fragt: „Sind Neukunden gekommen? Oder haben die Leute, die ohnehin kaufen, einfach 10 % bekommen?“ Niemand weiß es. Niemand hat festgehalten, wie viele Neukunden es vor der Kampagne gab. Niemand hat gesagt, was „Erfolg“ heißt.
Die Idee
Die Bewertung der Lösung
Die Abnahme hat gesagt: „Wir können unsere Arbeit machen.“ Sie hat nicht gesagt, ob die Lösung den Wert liefert, für den sie bestellt wurde. Die Gutscheincodes wurden nicht um der Codes willen bestellt. Sie wurden wegen eines Bedarfs bestellt: mehr Neukunden im Herbst.
Jede freigegebene Lösung ist eine Hypothese: „Wenn wir 10 % mit einem Code geben, kommen mehr Neukunden.“ Ob sie stimmt, zeigt sich nach der Freigabe. Die Bewertung der Lösung (solution evaluation) ist das Messen nach der Freigabe: Liefert die Lösung den Wert, und wenn nicht, warum und was ist zu tun.
Das ist der letzte Schritt der Validierung. Die Verifizierung fragt „Haben wir es richtig gebaut?“, die Abnahme „Können wir damit arbeiten?“ und die Bewertung „Hat es sich gelohnt?“.
Genauer, für Neugierige
Der BABOK Guide v3 hat einen ganzen Wissensbereich, Solution Evaluation, mit fünf Aufgaben: die Leistung der Lösung messen (Measure Solution Performance), die Leistungskennzahlen analysieren (Analyze Performance Measures), die Einschränkungen der Lösung bewerten (Assess Solution Limitations), die Einschränkungen des Unternehmens bewerten (Assess Enterprise Limitations) und Maßnahmen empfehlen, die den Wert steigern (Recommend Actions to Increase Solution Value). Er gilt auch für Lösungen, die noch nicht ganz freigegeben sind: ein Pilot, eine Beta, ein erster Teil.
Die Idee
Die Wertkennzahl
Um die Hypothese zu prüfen, brauchst du eine Wertkennzahl (value metric), die vor der Freigabe vereinbart wird. Sie hat fünf Teile:
- der Bedarf, aus dem sie kommt: mehr Neukunden im Herbst;
- was gemessen wird: die Zahl der Erstbestellungen von Neukunden pro Monat. Nicht „Einlösungen des Codes“: Sie wachsen auch dann, wenn nur Bestandskunden einen Rabatt bekommen;
- der Ausgangswert: wie hoch es ohne die Änderung war. Zum Beispiel durchschnittlich 400 pro Monat im letzten Herbst;
- das Ziel: wie hoch es werden soll. 500 pro Monat, also 25 % mehr;
- die Frist: bis wann. Bis Ende November.
Gut ist auch eine Grenze, die nicht überschritten werden darf: zum Beispiel soll der durchschnittliche Bestellwert nicht unter 35 € fallen. Sonst lässt sich das Ziel mit Bestellungen erreichen, bei denen der Shop draufzahlt.
Eine Kennzahl ist eine Anforderung wie jede andere: prüfbar, mit einer Zahl und einer Frist. „Die Kampagne muss erfolgreich sein“ ist keine Kennzahl.
Probier es aus
Ist das eine gute Kennzahl?
Die Idee
Wie man das Ergebnis liest
Drei Monate später kommen die Zahlen. So liest man sie ehrlich:
- mit dem Ausgangswert vergleichen, nicht mit den Hoffnungen. 440 Neukunden pro Monat sind 10 % Wachstum bei einem Ziel von 25 %;
- andere Ursachen. Wenn ein Konkurrent im selben Monat geschlossen hat, liegt das Wachstum nicht nur am Code. Hilfreich ist ein Vergleich mit einer Gruppe ohne die Änderung (Kunden, denen der Code nicht gezeigt wurde) oder mit demselben Zeitraum in einem anderen Jahr;
- wohin die Kosten fließen. Wer nutzt den Code? Wenn die meisten Bestandskunden sind, zahlt der Shop 10 % für Bestellungen, die er auch so bekommen hätte;
- die Einschränkungen. Manchmal tut die Lösung, was sie soll, aber etwas verhindert, dass der Wert gehoben wird. In der Lösung: Das Marketing kann ohne Entwickler keinen neuen Code starten. In der Organisation um sie herum: Das Lager kommt in der ersten Woche mit den Bestellungen nicht hinterher.
Die Idee
Die Empfehlung: bleibt, wird geändert oder wird eingestellt
Die Bewertung endet mit einer Empfehlung:
- sie bleibt, wenn sie den Wert liefert;
- sie wird geändert, wenn sie funktioniert, aber schwach oder an der falschen Stelle. Hier: Der Code gilt nur für die erste Bestellung eines Neukunden;
- sie wird eingestellt, wenn die Kosten größer sind als der Nutzen und eine Änderung nicht helfen wird.
Eine Änderung ist eine neue Anforderung. Sie geht den ganzen Weg dieses Kurses: der Bedarf, die Story, die Beispiele, die Szenarien, die Matrix, die Tests, die Abnahme und wieder das Messen. Der Weg von der Anfrage zur Freigabe ist also keine gerade Linie, sondern ein Kreis.
Welches der drei es wird, entscheidet der Inhaber. Die Analystin und QA liefern die Zahlen und sagen ehrlich, was sie zeigen und was nicht.
Probier es aus
Der Weg der Kennzahl
Bring die Schritte vom Bedarf bis zur Entscheidung nach der Freigabe in die Reihenfolge.
Die Entscheidung: bleibt, wird geändert oder wird eingestelltDas Ziel und die Frist: um wie viel mehr und bis zu welchem MonatDer Bedarf: mehr Neukunden im HerbstDie Kennzahl: Erstbestellungen von Neukunden pro MonatDer Ausgangswert: wie viele es im letzten Herbst warenMessen und mit dem Ausgangswert vergleichenDie Freigabe der Gutscheincodes
Die Kennzahl, der Ausgangswert und das Ziel kommen vor der Freigabe. Werden sie danach gewählt, nimmt man die, die gut aussehen.
Übung
Die Gutscheincodes nach drei Monaten
1. Wie du die Zahlen liest. Der Shop misst die Gutscheincodes nach dem Herbst.
Test