A/B-Test

Kurz gesagt: Ein A/B-Test vergleicht zwei Varianten an zufällig aufgeteilten Besuchern und prüft, ob der Abstand in der Konversion echt oder nur Rauschen ist.

Problem

„Ist der neue Warenkorb besser?“

Das Team hat eine neue Warenkorbseite gebaut: kürzer, mit weniger Feldern. Niemand weiß, ob sie besser ist. Also sieht zwei Wochen lang jeder Besuch der Seite zufällig entweder den alten (old) oder den neuen (new) Warenkorb. Die Spalte ordered ist 1, wenn der Besuch mit einer Bestellung endet:

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
print(len(visits), visits['day'].min(), visits['day'].max())
print(visits.head(3))
summary = visits.groupby('variant').agg(visits=('ordered', 'size'), orders=('ordered', 'sum'))
summary['rate'] = (summary['orders'] / summary['visits'] * 100).round(2)
summary

import pandas as pd visits = pd.read_csv('ab_visits.csv') print(len(visits), visits['day'].min(), visits['day'].max()) print(visits.head(3)) summary = visits.groupby('variant').agg(visits=('ordered', 'size'), orders=('ordered', 'sum')) summary['rate'] = (summary['orders'] / summary['visits'] * 100).round(2) summary

▶ AusführenCode zurücksetzen

Das ist ein A/B-Test: zwei Versionen, zufällig aufgeteilte Besucher, ein Maß. Das Maß ist hier die Konversion: der Anteil der Besuche, die mit einer Bestellung enden. Der alte Warenkorb hat 3,10 %, der neue 3,72 %.

Der Abstand ist 0,62 Prozentpunkte: eine Differenz zwischen zwei Prozentwerten. Das sind etwa ein Fünftel mehr Bestellungen. Aber ist es Rauschen?

Die Idee

Ist der Abstand Rauschen?

Das ist die Frage aus der Lektion über Hypothesen. Die Nullhypothese: Der Warenkorb macht keinen Unterschied. Stimmt sie, spielen die Labels old und new keine Rolle, und du kannst sie mischen. Wie oft geben die gemischten Daten einen Abstand von mindestens 0,62 Punkten?

PythonDaten: die Tabellen des Shops

import numpy as np

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
ordered = visits['ordered'].to_numpy()
is_new = (visits['variant'] == 'new').to_numpy()
gap = ordered[is_new].mean() - ordered[~is_new].mean()

# Mische die Labels 2000-mal: So sehen die Abstände aus, wenn der Warenkorb keinen Unterschied macht.
rng = np.random.default_rng(42)
gaps = np.empty(2000)
for i in range(2000):
    shuffled = rng.permutation(is_new)
    gaps[i] = ordered[shuffled].mean() - ordered[~shuffled].mean()
as_big = (np.abs(gaps) >= abs(gap)).sum()
print('der Abstand:', round(gap * 100, 2), 'Punkte')
print('der größte beim Mischen:', round(np.abs(gaps).max() * 100, 2), 'Punkte')
print('genauso groß oder größer:', as_big, 'von 2000, p =', as_big / 2000)

import numpy as np import pandas as pd visits = pd.read_csv('ab_visits.csv') ordered = visits['ordered'].to_numpy() is_new = (visits['variant'] == 'new').to_numpy() gap = ordered[is_new].mean() - ordered[~is_new].mean() # Mische die Labels 2000-mal: So sehen die Abstände aus, wenn der Warenkorb keinen Unterschied macht. rng = np.random.default_rng(42) gaps = np.empty(2000) for i in range(2000): shuffled = rng.permutation(is_new) gaps[i] = ordered[shuffled].mean() - ordered[~shuffled].mean() as_big = (np.abs(gaps) >= abs(gap)).sum() print('der Abstand:', round(gap * 100, 2), 'Punkte') print('der größte beim Mischen:', round(np.abs(gaps).max() * 100, 2), 'Punkte') print('genauso groß oder größer:', as_big, 'von 2000, p =', as_big / 2000)

▶ AusführenCode zurücksetzen

Bei 2.000 Mischungen ist der größte Abstand 0,76 Punkte, aber nur 6-mal ist er mindestens so groß wie der echte. p ist 0,003. Ein solcher Abstand kommt selten vom Rauschen.

Genauer, für Neugierige

ordered ist 0 oder 1, also ist der Mittelwert der Spalte genau der Anteil der Bestellungen. Das Mischen ist hier eine Schleife: Die Tabelle hat 28.176 Zeilen, und 2.000 Mischungen auf einmal in einer Matrix würden im Browser viel Speicher brauchen.

Probier es aus

Auf jedem Gerät?

Kommt der Zuwachs von Handys oder von Desktops? Speichere in rates die Konversion in Prozent für jedes Gerät (Zeilen) und jede Variante (Spalten) und in lift die Differenz new − old für jedes Gerät, in Punkten.

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
rates = ...
lift = ...
print(rates)
print(lift)

import pandas as pd visits = pd.read_csv('ab_visits.csv') rates = ... lift = ... print(rates) print(lift)

Prüfen▶ Ausführen

Die Idee

Der schnellere Weg: chi2_contingency

Für zwei Anteile gibt es eine fertige Prüfung. Zuerst zählt pd.crosstab die Paare: wie viele Besuche jeder Variante eine Bestellung haben und wie viele nicht. Dann sagt scipy.stats.chi2_contingency, wie selten eine solche Tabelle ist, wenn die Variante keinen Unterschied macht:

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
from scipy import stats

table = pd.crosstab(visits['variant'], visits['ordered'])
print(table)
result = stats.chi2_contingency(table)
print('p =', round(result.pvalue, 4))

import pandas as pd visits = pd.read_csv('ab_visits.csv') from scipy import stats table = pd.crosstab(visits['variant'], visits['ordered']) print(table) result = stats.chi2_contingency(table) print('p =', round(result.pvalue, 4))

▶ AusführenCode zurücksetzen

p ist 0,0046, also etwa 0,005. Das Mischen gab 0,003: Beide Wege sagen dasselbe. Der kleine Unterschied entsteht, weil 2.000 Mischungen p nur grob messen (6 Fälle) und chi2_contingency bei einer 2 × 2-Tabelle eine kleine Korrektur macht, die p leicht anhebt.

Die Idee

Wie groß ist der Zuwachs?

p sagt nur „kaum Rauschen“. Der Chef fragt etwas anderes: Wie viel besser ist der neue Warenkorb? Dafür brauchst du ein Intervall. Wie in der Lektion über Intervalle ziehst du aus jeder Gruppe neue Stichproben mit Zurücklegen und beobachtest, wie sich der Abstand ändert:

PythonDaten: die Tabellen des Shops

import numpy as np

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
new = visits.loc[visits['variant'] == 'new', 'ordered'].to_numpy()
old = visits.loc[visits['variant'] == 'old', 'ordered'].to_numpy()

rng = np.random.default_rng(42)
lifts = np.empty(2000)
for i in range(2000):
    lifts[i] = rng.choice(new, len(new)).mean() - rng.choice(old, len(old)).mean()
print('der Zuwachs:', round((new.mean() - old.mean()) * 100, 2), 'Punkte')
print('95-%-Intervall:', np.percentile(lifts * 100, [2.5, 97.5]).round(2))

import numpy as np import pandas as pd visits = pd.read_csv('ab_visits.csv') new = visits.loc[visits['variant'] == 'new', 'ordered'].to_numpy() old = visits.loc[visits['variant'] == 'old', 'ordered'].to_numpy() rng = np.random.default_rng(42) lifts = np.empty(2000) for i in range(2000): lifts[i] = rng.choice(new, len(new)).mean() - rng.choice(old, len(old)).mean() print('der Zuwachs:', round((new.mean() - old.mean()) * 100, 2), 'Punkte') print('95-%-Intervall:', np.percentile(lifts * 100, [2.5, 97.5]).round(2))

▶ AusführenCode zurücksetzen

Der Zuwachs ist 0,62 Punkte, und das 95-%-Intervall reicht von 0,21 bis 1,04 Punkten. Null liegt außerhalb des Intervalls: Das ist dasselbe „kaum Rauschen“. Aber das Intervall sagt auch, wie viel: Es kann knapp über 0,2 sein, es kann über 1 Punkt sein.

Genauer, für Neugierige

Hier sind es 2.000 Wiederholungen, nicht 10.000, damit es schnell läuft: Jede zieht 14.000 Zeilen. Nach der Formel ist das Intervall einer Differenz zwischen zwei Anteilen die Differenz ± 1,96 × √(p₁(1 − p₁)/n₁ + p₂(1 − p₂)/n₂). Sie gibt fast dasselbe:

PythonDaten: die Tabellen des Shops

import numpy as np

new_rate, new_n = 519 / 13936, 13936
old_rate, old_n = 442 / 14240, 14240
gap = new_rate - old_rate
se = np.sqrt(new_rate * (1 - new_rate) / new_n + old_rate * (1 - old_rate) / old_n)
print(round(gap * 100, 2), round((gap - 1.96 * se) * 100, 2), round((gap + 1.96 * se) * 100, 2))

import numpy as np new_rate, new_n = 519 / 13936, 13936 old_rate, old_n = 442 / 14240, 14240 gap = new_rate - old_rate se = np.sqrt(new_rate * (1 - new_rate) / new_n + old_rate * (1 - old_rate) / old_n) print(round(gap * 100, 2), round((gap - 1.96 * se) * 100, 2), round((gap + 1.96 * se) * 100, 2))

▶ AusführenCode zurücksetzen

Die Idee

Wie viele Besuche du brauchst

Wie lange soll der Test laufen? Das entscheidest du bevor du anfängst, aus zwei Zahlen: der bisherigen Konversion (3,1 %) und dem kleinsten Zuwachs, der für dich zählt (0,6 Punkte). Es gibt eine Faustregel für eine Chance von 80 %, den Zuwachs bei der Schwelle 0,05 zu sehen:

Besuche pro Gruppe ≈ 16 × p × (1 − p) / Zuwachs²

PythonDaten: die Tabellen des Shops

base = 0.031   # die bisherige Konversion
lift = 0.006   # der kleinste Zuwachs, den du sehen willst: 0,6 Punkte
per_group = 16 * base * (1 - base) / lift ** 2
print('pro Gruppe:', round(per_group))
print('insgesamt:', round(2 * per_group))

base = 0.031 # die bisherige Konversion lift = 0.006 # der kleinste Zuwachs, den du sehen willst: 0,6 Punkte per_group = 16 * base * (1 - base) / lift ** 2 print('pro Gruppe:', round(per_group)) print('insgesamt:', round(2 * per_group))

▶ AusführenCode zurücksetzen

Du brauchst 13.351 Besuche pro Gruppe, insgesamt 26.701. Die Chance, dass der Test einen echten Zuwachs erkennt, heißt Teststärke (Power). Du kannst sie mit einer Simulation prüfen: Denk dir 2.000 Tests mit Konversionen von 3,1 % und 3,7 % aus und zähle, wie oft p unter 0,05 herauskommt. rng.binomial(n, 0.031) gibt, wie viele Bestellungen aus n Besuchen kommen, jeder mit einer Chance von 3,1 %:

PythonDaten: die Tabellen des Shops

import numpy as np
from scipy import stats

def p_value(orders_a, n_a, orders_b, n_b):
    pooled = (orders_a + orders_b) / (n_a + n_b)
    se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b))
    return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se)

rng = np.random.default_rng(42)
for n in [2000, 5000, 13351, 20000]:
    # 2000 ausgedachte Tests: Die alte Konversion ist 3,1 %, die neue 3,7 %. Wie oft erkennt der Test es?
    old = rng.binomial(n, 0.031, size=2000)
    new = rng.binomial(n, 0.037, size=2000)
    print(n, 'pro Gruppe:', (p_value(old, n, new, n) < 0.05).mean())

import numpy as np from scipy import stats def p_value(orders_a, n_a, orders_b, n_b): pooled = (orders_a + orders_b) / (n_a + n_b) se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b)) return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se) rng = np.random.default_rng(42) for n in [2000, 5000, 13351, 20000]: # 2000 ausgedachte Tests: Die alte Konversion ist 3,1 %, die neue 3,7 %. Wie oft erkennt der Test es? old = rng.binomial(n, 0.031, size=2000) new = rng.binomial(n, 0.037, size=2000) print(n, 'pro Gruppe:', (p_value(old, n, new, n) < 0.05).mean())

▶ AusführenCode zurücksetzen

Mit 2.000 Besuchen pro Gruppe erkennt der Test den Zuwachs nur in 18 % der Fälle, mit 5.000 in 37 %. Mit 13.351 sind es 78 %, nah an den 80 % der Regel. Ein kleiner Test sagt nicht „kein Unterschied“: Er kann ihn nur nicht sehen.

Genauer, für Neugierige

p_value ist die Prüfung zweier Anteile per Formel (ein z-Test). Sie arbeitet auf ganzen Arrays auf einmal, sodass 2.000 Tests einen Moment dauern. Für eine 2 × 2-Tabelle gibt sie fast dasselbe wie chi2_contingency. Die 16 in der Regel kommt aus der Schwelle 0,05 und 80 % Teststärke: (1,96 + 0,84)² × 2 ≈ 16.

Probier es aus

Ein größerer Zuwachs

Das Produktteam sagt: „Uns interessiert nur ein Zuwachs von mindestens 1 Punkt.“ Wie viele Besuche pro Gruppe braucht die Regel? Speichere sie als ganze Zahl in per_group.

PythonDaten: die Tabellen des Shops

base = 0.031
lift = ...
per_group = ...
print(per_group)

base = 0.031 lift = ... per_group = ... print(per_group)

Prüfen▶ Ausführen

Die Idee

Schau nicht vor dem Ende nach

Die Versuchung ist, jeden Tag auf das Ergebnis zu schauen. Hier ist p, berechnet aus allen Besuchen bis zu jedem Tag:

PythonDaten: die Tabellen des Shops

import matplotlib.pyplot as plt

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
from scipy import stats

days = sorted(visits['day'].unique())
p_by_day = []
for day in days:
    so_far = visits[visits['day'] <= day]
    table = pd.crosstab(so_far['variant'], so_far['ordered'])
    p_by_day.append(stats.chi2_contingency(table).pvalue)
p_by_day = pd.Series(p_by_day, index=[d[5:] for d in days])
print(p_by_day.round(3).head(6))

fig, ax = plt.subplots(figsize=(8, 3.5))
ax.plot(p_by_day.index, p_by_day.values, marker='o')
ax.axhline(0.05, color='grey', linestyle='--')
ax.set_title('Der p-Wert Tag für Tag')
ax.set_xlabel('Tag')
ax.set_ylabel('p')
ax.tick_params(axis='x', rotation=45)
fig.tight_layout()

import matplotlib.pyplot as plt import pandas as pd visits = pd.read_csv('ab_visits.csv') from scipy import stats days = sorted(visits['day'].unique()) p_by_day = [] for day in days: so_far = visits[visits['day'] <= day] table = pd.crosstab(so_far['variant'], so_far['ordered']) p_by_day.append(stats.chi2_contingency(table).pvalue) p_by_day = pd.Series(p_by_day, index=[d[5:] for d in days]) print(p_by_day.round(3).head(6)) fig, ax = plt.subplots(figsize=(8, 3.5)) ax.plot(p_by_day.index, p_by_day.values, marker='o') ax.axhline(0.05, color='grey', linestyle='--') ax.set_title('Der p-Wert Tag für Tag') ax.set_xlabel('Tag') ax.set_ylabel('p') ax.tick_params(axis='x', rotation=45) fig.tight_layout()

▶ AusführenCode zurücksetzen

An Tag drei ist p = 0,053, an Tag vier 0,077, an Tag fünf 0,041. Hättest du an Tag fünf aufgehört, hättest du einen Sieg erklärt. Hier ist der neue Warenkorb wirklich besser, aber das zeigt sich aus dem ganzen Test. Die Regel „Ich höre auf, sobald p unter 0,05 fällt“ ist der Fehler selbst.

Warum? Prüf es mit einem A/A-Test: Beide Gruppen sehen dasselbe, und es gibt keinen Unterschied. Wir simulieren 1.000 solche Tests über 14 Tage und schauen jeden Tag auf p:

PythonDaten: die Tabellen des Shops

import numpy as np
from scipy import stats

def p_value(orders_a, n_a, orders_b, n_b):
    pooled = (orders_a + orders_b) / (n_a + n_b)
    se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b))
    return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se)

# 1000 A/A-Tests: Beide Gruppen sind gleich, 3,1 % Konversion. 14 Tage mit je 1000 Besuchen pro Gruppe.
rng = np.random.default_rng(42)
old = rng.binomial(1000, 0.031, size=(1000, 14)).cumsum(axis=1)
new = rng.binomial(1000, 0.031, size=(1000, 14)).cumsum(axis=1)
seen = np.arange(1, 15) * 1000
p = p_value(old, seen, new, seen)
print('„Siege“, wenn man nur am Ende schaut:', (p[:, -1] < 0.05).mean())
print('„Siege“, wenn man jeden Tag nachsieht:', (p < 0.05).any(axis=1).mean())

import numpy as np from scipy import stats def p_value(orders_a, n_a, orders_b, n_b): pooled = (orders_a + orders_b) / (n_a + n_b) se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b)) return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se) # 1000 A/A-Tests: Beide Gruppen sind gleich, 3,1 % Konversion. 14 Tage mit je 1000 Besuchen pro Gruppe. rng = np.random.default_rng(42) old = rng.binomial(1000, 0.031, size=(1000, 14)).cumsum(axis=1) new = rng.binomial(1000, 0.031, size=(1000, 14)).cumsum(axis=1) seen = np.arange(1, 15) * 1000 p = p_value(old, seen, new, seen) print('„Siege“, wenn man nur am Ende schaut:', (p[:, -1] < 0.05).mean()) print('„Siege“, wenn man jeden Tag nachsieht:', (p < 0.05).any(axis=1).mean())

▶ AusführenCode zurücksetzen

Schaust du nur am Ende, sind die falschen „Siege“ 4,9 %, so viel, wie die Schwelle von 0,05 verspricht. Schaust du jeden Tag und hörst beim ersten p unter 0,05 auf, sind es 21,7 %: viermal so viele. Das Rauschen hat 14 Chancen, unter die Linie zu tauchen.

1. Der Test ist für 14 Tage geplant. An Tag fünf ist p = 0,041. Ein Kollege sagt: „Das ist unter 0,05, hören wir auf und schalten den neuen Warenkorb ein.“ Was ist falsch?

Nichts: p unter 0,05 ist ein Beweisp sollte an Tag fünf unter 0,01 seinWenn du jeden Tag nachschaust und beim ersten p unter 0,05 aufhörst, werden falsche „Siege“ etwa 4-mal häufiger als 5 %

Prüfen

Die Idee

Viele Kennzahlen, viele Segmente

Der neue Warenkorb bringt mehr Bestellungen. Sind sie auch größer? Vergleiche den Wert pro Bestellung:

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
from scipy import stats

orders = visits[visits['ordered'] == 1]
print(orders.groupby('variant')['revenue'].mean().round(2))
new = orders.loc[orders['variant'] == 'new', 'revenue']
old = orders.loc[orders['variant'] == 'old', 'revenue']
print('p =', round(stats.ttest_ind(new, old).pvalue, 2))

import pandas as pd visits = pd.read_csv('ab_visits.csv') from scipy import stats orders = visits[visits['ordered'] == 1] print(orders.groupby('variant')['revenue'].mean().round(2)) new = orders.loc[orders['variant'] == 'new', 'revenue'] old = orders.loc[orders['variant'] == 'old', 'revenue'] print('p =', round(stats.ttest_ind(new, old).pvalue, 2))

▶ AusführenCode zurücksetzen

26,30 € mit dem neuen Warenkorb und 26,71 € mit dem alten, p = 0,73. Es gibt keinen Beleg dafür, dass der Warenkorb den Bestellwert ändert. Das heißt nicht „wir haben bewiesen, dass sie gleich sind“: Es kann einen kleinen Unterschied geben, aber dieser Test sieht ihn nicht.

Stell dir jetzt einen Bericht mit 20 Kennzahlen vor: Bestellungen, Wert, Retouren, Zeit auf der Seite … Jede Kennzahl ohne echten Unterschied hat eine Chance von 5 %, mit p unter 0,05 herauszukommen. Wie oft „gewinnt“ mindestens eine?

PythonDaten: die Tabellen des Shops

import numpy as np
from scipy import stats

def p_value(orders_a, n_a, orders_b, n_b):
    pooled = (orders_a + orders_b) / (n_a + n_b)
    se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b))
    return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se)

# 1000 A/A-Tests mit je 20 Kennzahlen. Keine einzige hat einen echten Unterschied.
rng = np.random.default_rng(42)
old = rng.binomial(14000, 0.031, size=(1000, 20))
new = rng.binomial(14000, 0.031, size=(1000, 20))
p = p_value(old, 14000, new, 14000)
print('Kennzahlen mit p < 0.05:', (p < 0.05).mean())
print('Tests mit mindestens einem „Sieg“:', (p < 0.05).any(axis=1).mean())

import numpy as np from scipy import stats def p_value(orders_a, n_a, orders_b, n_b): pooled = (orders_a + orders_b) / (n_a + n_b) se = np.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b)) return 2 * stats.norm.sf(np.abs(orders_b / n_b - orders_a / n_a) / se) # 1000 A/A-Tests mit je 20 Kennzahlen. Keine einzige hat einen echten Unterschied. rng = np.random.default_rng(42) old = rng.binomial(14000, 0.031, size=(1000, 20)) new = rng.binomial(14000, 0.031, size=(1000, 20)) p = p_value(old, 14000, new, 14000) print('Kennzahlen mit p < 0.05:', (p < 0.05).mean()) print('Tests mit mindestens einem „Sieg“:', (p < 0.05).any(axis=1).mean())

▶ AusführenCode zurücksetzen

Eine Kennzahl „gewinnt“ in 5,1 % der Fälle, wie erwartet. Aber mindestens eine von 20 „gewinnt“ in 64,1 % der Tests. Dasselbe gilt für Segmente: Handy, Desktop, Neukunden, jeder Wochentag. Darum wird die Hauptkennzahl vor dem Test gewählt. Ein zufälliger „Sieg“ bei der 20. Kennzahl ist eine Idee für den nächsten Test, keine Schlussfolgerung.

Die Idee

Warum der Test „verursacht“ sagt

Warum glaubst du, dass der Warenkorb mehr Bestellungen verursacht und nicht nur mit ihnen einhergeht? Weil die Variante zufällig zugewiesen wurde. Der Zufall gleicht alles aus, was du nicht misst. Hier sind die Geräte in beiden Gruppen:

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
pd.crosstab(visits['device'], visits['variant'], normalize='columns').round(3)

import pandas as pd visits = pd.read_csv('ab_visits.csv') pd.crosstab(visits['device'], visits['variant'], normalize='columns').round(3)

▶ AusführenCode zurücksetzen

In beiden Gruppen sind Desktops 35 % und Handys 65 %. Dasselbe gilt für die Uhrzeit, den Tag, die Gewohnheiten der Leute: Die Gruppen unterscheiden sich nur im Warenkorb. Der Abstand bei den Bestellungen kommt also von ihm.

Stammen die Daten nicht aus einem Test, ist das nicht so. In der nächsten Lektion scheint ein Banner die Bestellungen zu steigern, doch auf jedem Gerät für sich tut es das nicht.

Übung

Ein Bericht für den Chef

Der Chef fragt: „Bringt der neue Warenkorb mehr Geld pro Besuch?“ Speichere in per_visit den durchschnittlichen Umsatz pro Besuch für jede Variante (alle Besuche, auch die ohne Bestellung) und in p den p-Wert des Vergleichs mit scipy.stats.ttest_ind.

PythonDaten: die Tabellen des Shops

import pandas as pd

visits = pd.read_csv('ab_visits.csv')
from scipy import stats

per_visit = ...
p = ...
print(per_visit)
print(p)

import pandas as pd visits = pd.read_csv('ab_visits.csv') from scipy import stats per_visit = ... p = ... print(per_visit) print(p)

Prüfen▶ Ausführen

Hättest du es von Anfang an geplant: Wie viele Tage hätte der Test laufen sollen? Die Besuche pro Tag sind im Mittel len(visits) / 14. Speichere in per_group die Besuche pro Gruppe nach der Regel (ein Zuwachs von 0,6 Punkten bei 3,1 %), in per_day die Besuche pro Tag und in days die Tage, aufgerundet.

PythonDaten: die Tabellen des Shops

import math
import pandas as pd

visits = pd.read_csv('ab_visits.csv')
base = 0.031
lift = 0.006
per_group = ...
per_day = ...
days = ...
print(days)

import math import pandas as pd visits = pd.read_csv('ab_visits.csv') base = 0.031 lift = 0.006 per_group = ... per_day = ... days = ... print(days)

Prüfen▶ Ausführen

Test

Teste dich

1. Die Prüfung des neuen Warenkorbs ergibt p = 0,005. Was bedeutet das?

Der neue Warenkorb ist mit einer Wahrscheinlichkeit von 99,5 % besserMachte der Warenkorb keinen Unterschied, käme ein mindestens so großer Abstand durch Zufall in etwa 5 von 1.000 Tests vorDer Zuwachs ist groß

2. Du willst einen Zuwachs von 0,3 Punkten statt 0,6 sehen. Wie viele Besuche brauchst du?

Etwa 2-mal so vieleSo viele wie vorherEtwa 4-mal so viele

3. Der Bericht verfolgt 20 Kennzahlen. Eine davon hat p = 0,04, die anderen nicht. Was sagst du?

Wahrscheinlich Zufall: Bei 20 Kennzahlen und gar keinem Unterschied „gewinnt“ in etwa 64 % der Tests mindestens eineDer Test ist kaputtDie neue Version verbessert diese Kennzahl

4. Die durchschnittliche Bestellung ist 26,30 € mit dem neuen Warenkorb und 26,71 € mit dem alten, p = 0,73. Welche Schlussfolgerung stimmt?

Es gibt keinen Beleg dafür, dass der Warenkorb den Bestellwert ändertDer neue Warenkorb senkt den Bestellwert um 0,41 €Wir haben bewiesen, dass der Bestellwert gleich ist

5. Warum kannst du nach dem A/B-Test sagen „der neue Warenkorb führt zu mehr Bestellungen“ und nicht nur „die beiden gehen zusammen“?

Weil p klein istWeil es viele Besuche sindDie Variante wurde zufällig zugewiesen, deshalb sind die beiden Gruppen in allem anderen gleich

Prüfen

Lektion von vorn beginnen

Verwandte Lektionen

• Baut auf: Das erste Diagramm · Stichprobe und Grundgesamtheit · Konfidenzintervalle · Eine Hypothese testen
• Geht weiter in: Korrelation und Ursache
• Aufgaben zum Thema: Statistik für Entscheidungen