Medir después del lanzamiento
En resumen: Una solución lanzada es una hipótesis: «si damos un 10 % con un código, vendrán más clientes nuevos». Si es cierta, se sabe después del lanzamiento, con una métrica acordada antes: qué se mide, cuánto era, cuánto debe llegar a ser y para cuándo. Después el resultado se compara con honestidad y lleva a una decisión: se queda, cambia o se detiene.
Problema
Dos mil usos. ¿Es un éxito?
Los códigos promocionales se lanzaron hace tres meses. Marketing informa: «¡El código se usó 2000 veces!»
El dueño pregunta: «¿Vinieron clientes nuevos? ¿O la gente que compra de todos modos recibió un 10 %?». Nadie lo sabe. Nadie anotó cuántos clientes nuevos había antes de la campaña. Nadie dijo qué significa «éxito».
La idea
La evaluación de la solución
La aceptación dijo «podemos hacer nuestro trabajo». No dijo si la solución da el valor para el que se pidió. Los códigos promocionales no se pidieron por los códigos. Se pidieron por una necesidad: más clientes nuevos en otoño.
Toda solución lanzada es una hipótesis: «si damos un 10 % con un código, vendrán más clientes nuevos». Si es cierta, se sabe después del lanzamiento. La evaluación de la solución (solution evaluation) es medir después del lanzamiento: ¿la solución da el valor? y, si no, por qué y qué hacer.
Este es el último paso de la validación. La verificación pregunta «¿lo construimos bien?», la aceptación «¿podemos trabajar con esto?» y la evaluación «¿valió la pena?».
Más precisamente, para curiosos
La BABOK Guide v3 tiene un área de conocimiento entera, Solution Evaluation, con cinco tareas: medir el desempeño de la solución (Measure Solution Performance), analizar las medidas de desempeño (Analyze Performance Measures), evaluar las limitaciones de la solución (Assess Solution Limitations), evaluar las limitaciones de la empresa (Assess Enterprise Limitations) y recomendar acciones para aumentar el valor de la solución (Recommend Actions to Increase Solution Value). También vale para soluciones que aún no se han lanzado del todo: un piloto, una beta, una primera parte.
La idea
La métrica de valor
Para comprobar la hipótesis necesitas una métrica de valor (value metric), acordada antes del lanzamiento. Tiene cinco partes:
- la necesidad de la que viene: más clientes nuevos en otoño;
- qué se mide: el número de primeros pedidos de clientes nuevos por mes. No «usos del código»: crecen incluso cuando solo los clientes que ya tenías reciben un descuento;
- el valor de partida: cuántos eran sin el cambio. Por ejemplo, una media de 400 al mes el otoño pasado;
- el objetivo: cuántos deberían ser. 500 al mes, es decir, un 25 % más;
- el plazo: para cuándo. A finales de noviembre.
Conviene tener también un límite que no se debe cruzar: por ejemplo, que el valor medio del pedido no baje de 35 €. Si no, el objetivo se puede cumplir con pedidos en los que la tienda pierde dinero.
Una métrica es un requisito como cualquier otro: comprobable, con un número y un plazo. «La campaña tiene que ser un éxito» no es una métrica.
Pruébalo
¿Es una buena métrica?
La idea
Cómo se lee el resultado
Tres meses después llegan los números. Cómo leerlos con honestidad:
- comparar con el valor de partida, no con las esperanzas. 440 clientes nuevos al mes es un 10 % de crecimiento con un objetivo del 25 %;
- otras causas. Si un competidor cerró el mismo mes, el crecimiento no se debe solo al código. Ayuda una comparación con un grupo sin el cambio (clientes a los que no se les mostró el código) o con el mismo período de otro año;
- adónde va el coste. ¿Quién usa el código? Si la mayoría son clientes que ya tenías, la tienda paga un 10 % por pedidos que habría tenido igualmente;
- las limitaciones. A veces la solución hace lo que debe, pero algo impide obtener el valor. En la solución: marketing no puede lanzar un código nuevo sin un programador. En la organización a su alrededor: el almacén no da abasto con los pedidos en la primera semana.
La idea
La recomendación: se queda, cambia o se detiene
La evaluación termina con una recomendación:
- se queda, si da el valor;
- cambia, si funciona, pero poco o en el lugar equivocado. Aquí: el código vale solo para el primer pedido de un cliente nuevo;
- se detiene, si el coste es mayor que el beneficio y un cambio no va a ayudar.
Un cambio es un requisito nuevo. Recorre todo el camino de este curso: la necesidad, la historia, los ejemplos, los escenarios, la matriz, los tests, la aceptación y otra vez la medición. Así, el camino de la petición al lanzamiento no es una línea recta, sino un círculo.
Cuál de las tres es lo decide el dueño. El analista y QA dan los números y dicen con honestidad qué muestran y qué no.
Pruébalo
El camino de la métrica
Ordena los pasos desde la necesidad hasta la decisión después del lanzamiento.
La métrica: primeros pedidos de clientes nuevos por mesEl valor de partida: cuántos hubo el otoño pasadoLa necesidad: más clientes nuevos en otoñoMedir y comparar con el valor de partidaEl objetivo y el plazo: cuántos más y para qué mesEl lanzamiento de los códigos promocionalesLa decisión: se queda, cambia o se detiene
La métrica, el valor de partida y el objetivo van antes del lanzamiento. Si se eligen después, se eligen los que se ven bien.
Ejercicio
Los códigos promocionales tras tres meses
1. Cómo lees los números. La tienda mide los códigos promocionales después del otoño.
Test