Към съдържанието
wannacode

Мерене след пускането

Накратко: Пуснатото решение е хипотеза: „ако дадем 10 % с код, ще дойдат повече нови клиенти“. Дали е вярна, се разбира след пускането, с мярка, договорена преди него: какво се мери, колко е било, колко трябва да стане и до кога. После резултатът се сравнява честно и води до решение: остава, сменя се или спира.

Проблем

Две хиляди използвания. Успех ли е?

Промо кодовете са пуснати преди три месеца. Маркетингът докладва: „Кодът е използван 2 000 пъти!“

Собственикът пита: „Дойдоха ли нови клиенти? Или хората, които и без това купуват, просто получиха 10 %?“ Никой не знае. Никой не е записал колко нови клиенти е имало преди кампанията. Никой не е казал какво значи „успех“.

Идеята

Оценката на решението

Приемането каза „можем да си свършим работата“. То не каза дали решението дава стойността, заради която е поискано. Промо кодовете не бяха поискани заради кодовете. Бяха поискани заради нужда: повече нови клиенти през есента.

Всяко пуснато решение е хипотеза: „ако дадем 10 % с код, ще дойдат повече нови клиенти“. Дали е вярна, се разбира след пускането. Оценката на решението (solution evaluation) е мерене след пускането: дава ли решението стойността, и ако не, защо и какво да се направи.

Това е последната стъпка на валидирането. Верификацията пита „направихме ли го правилно“, приемането „може ли да се работи с него“, а оценката „заслужаваше ли си“.

По-точно, за любопитните

BABOK Guide v3 има цяла област на знанието Solution Evaluation с пет задачи: мерене на представянето на решението (Measure Solution Performance), анализ на мерките (Analyze Performance Measures), оценка на ограниченията на решението (Assess Solution Limitations), оценка на ограниченията на организацията (Assess Enterprise Limitations) и препоръка на действия за повече стойност (Recommend Actions to Increase Solution Value). Тя важи и за решения, които още не са пуснати докрай: пилот, бета, първа част.

Идеята

Мярката за стойността

За да се провери хипотезата, трябва мярка за стойността, договорена преди пускането. Тя има пет части:

  • нуждата, от която идва: повече нови клиенти през есента;
  • какво се мери: брой първи поръчки от нови клиенти на месец. Не „използвания на кода“: те растат и когато само старите клиенти получават отстъпка;
  • начална стойност: колко са били без промяната. Например средно 400 на месец през миналата есен;
  • цел: колко трябва да станат. 500 на месец, тоест с 25 % повече;
  • срок: до кога. До края на ноември.

Добре е да има и граница, която не бива да се мине: например средната стойност на поръчка да не падне под 35 €. Иначе целта може да се изпълни с поръчки, на които магазинът губи.

Мярката е изискване като всяко друго: проверимо, с число и срок. „Кампанията трябва да е успешна“ не е мярка.

Пробвай

Добра мярка ли е?

1. Нуждата: „повече нови клиенти през есента“. Коя мярка е най-добра?
2. „Кампанията трябва да е успешна.“ Какво липсва, за да е мярка?
3. Защо началната стойност се записва преди пускането?

Идеята

Как се чете резултатът

Три месеца по-късно числата идват. Как се четат честно:

  • сравнение с началната стойност, не с надеждите. 440 нови клиенти на месец е 10 % ръст при цел 25 %;
  • други причини. Ако конкурентът е затворил същия месец, ръстът не е само заради кода. Помага сравнение с група без промяната (клиенти, на които не е показан кодът) или със същия период в друга година;
  • къде отива цената. Кой ползва кода? Ако повечето са стари клиенти, магазинът плаща 10 % за поръчки, които щеше да има и без това;
  • ограниченията. Понякога решението прави каквото трябва, но нещо пречи да се вземе стойността. В решението: маркетингът не може да пусне нов код без програмист. В организацията около него: складът не смогва с поръчките в първата седмица.

Идеята

Препоръката: остава, сменя се или спира

Оценката завършва с препоръка:

  • остава, ако дава стойността;
  • сменя се, ако работи, но слабо или на грешното място. Тук: кодът да важи само за първата поръчка на нов клиент;
  • спира, ако цената е по-голяма от ползата и промяна няма да помогне.

Промяната е ново изискване. Тя минава по целия път на този курс: нуждата, сторито, примерите, сценариите, матрицата, тестовете, приемането и пак мерене. Така пътят от заявката до пускането не е права линия, а кръг.

Решението кое от трите е на собственика. Анализаторът и QA дават числата и казват честно какво показват и какво не.

Пробвай

Пътят на мерката

Подреди стъпките от нуждата до решението след пускането.

  1. Началната стойност: колко са били през миналата есен
  2. Пускането на промо кодовете
  3. Мярката: първи поръчки от нови клиенти на месец
  4. Нуждата: повече нови клиенти през есента
  5. Мерене и сравнение с началната стойност
  6. Решение: остава, сменя се или спира
  7. Целта и срокът: с колко повече и до кой месец

Упражнение

Промо кодовете след три месеца

1. Как четеш числата. Магазинът мери промо кодовете след есента.

1. Новите клиенти са се увеличили с 8 % при цел 25 %. Но 70 % от използванията на кода са от стари клиенти, които и без това купуват. Какво препоръчваш?
2. Новите клиенти са се увеличили с 30 %. Същия месец конкурентът е затворил. Какво казваш?
3. Маркетингът не може да пусне нов код без програмист, и всяка кампания закъснява с две седмици. Какво е това?
4. Кодовете работят, но складът не смогва с поръчките в първата седмица на кампанията. Какво е това?

Тест

Провери се

1. Какво пита оценката на решението след пускането?
2. Кое е част от добрата мярка за стойността?
3. Кога се договаря мярката?
4. Резултатът е под целта. Какво следва?

Създаден от Иво Гергов като част от кампанията на Evo Tech за достъпно обучение по програмиране ·