Korrelation und Ursache

Kurz gesagt: Korrelation zeigt, dass zwei Dinge sich gemeinsam bewegen, nicht dass das eine das andere verursacht; eine dritte Ursache oder das Simpson-Paradoxon kann die Schlussfolgerung umdrehen.

Problem

„Das Banner hebt die Bestellungen“

Das Marketing hat ein Banner „Kostenlose Lieferung“ aufgehängt. Es war kein Test: Das Banner wurde nach jemandes Ermessen gezeigt. Das Log hat 10.000 Besuche: das Gerät, ob das Banner gesehen wurde (saw_banner), ob es eine Bestellung gab:

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
print(len(banner))
print(banner.head(3))
(banner.groupby('saw_banner')['ordered'].mean() * 100).round(2)

import pandas as pd banner = pd.read_csv('banner_visits.csv') print(len(banner)) print(banner.head(3)) (banner.groupby('saw_banner')['ordered'].mean() * 100).round(2)

▶ AusführenCode zurücksetzen

Mit dem Banner bestellen 5,66 % der Besuche, ohne es 3,63 %. Das Marketing will es allen zeigen: Der Abstand beträgt 2 Punkte, und mit dem Banner gibt es 56 % mehr Bestellungen.

Aber verursacht das Banner das?

Die Idee

Wer hat das Banner gesehen?

Bevor du dem Abstand traust, schau, wer in jeder Gruppe ist:

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
print(pd.crosstab(banner['device'], banner['saw_banner']))
(banner.groupby('device')['ordered'].mean() * 100).round(2)

import pandas as pd banner = pd.read_csv('banner_visits.csv') print(pd.crosstab(banner['device'], banner['saw_banner'])) (banner.groupby('device')['ordered'].mean() * 100).round(2)

▶ AusführenCode zurücksetzen

Von 3.000 Besuchen von einem Desktop haben 2.400 das Banner gesehen. Von 7.000 vom Handy nur 1.400. Und Desktops bestellen ohnehin öfter: 7,70 % gegenüber 2,99 %.

Die Gruppe „mit Banner“ ist voller Desktops, die Gruppe „ohne Banner“ voller Handys. Du vergleichst also nicht Banner mit keinem Banner, sondern vor allem Desktop mit Handy. Das Gerät ist ein Störfaktor (Confounder): Es beeinflusst sowohl, wer das Banner sieht, als auch, wer bestellt.

Die Idee

Nach Gerät aufteilen

Vergleiche das Banner innerhalb jedes Geräts. Dann ist das Gerät auf beiden Seiten dasselbe:

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
rates = banner.pivot_table(index='device', columns='saw_banner', values='ordered', aggfunc='mean') * 100
rates.round(2)

import pandas as pd banner = pd.read_csv('banner_visits.csv') rates = banner.pivot_table(index='device', columns='saw_banner', values='ordered', aggfunc='mean') * 100 rates.round(2)

▶ AusführenCode zurücksetzen

Auf dem Desktop bestellen 7,50 % mit dem Banner, 8,50 % ohne. Auf dem Handy 2,50 % gegenüber 3,11 %. Das Banner schneidet auf beiden Geräten schlechter ab, während es insgesamt besser aussah. Das heißt Simpson-Paradoxon: Die Richtung für alle zusammen ist das Gegenteil der Richtung in jeder Gruppe.

Genauer, für Neugierige

Auf jedem Gerät für sich liegt der Unterschied im Rauschen: 600 Desktop-Besuche ohne das Banner sind wenige.

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
from scipy import stats

for device in ['desktop', 'mobile']:
    part = banner[banner['device'] == device]
    table = pd.crosstab(part['saw_banner'], part['ordered'])
    print(device, round(stats.chi2_contingency(table).pvalue, 2))

import pandas as pd banner = pd.read_csv('banner_visits.csv') from scipy import stats for device in ['desktop', 'mobile']: part = banner[banner['device'] == device] table = pd.crosstab(part['saw_banner'], part['ordered']) print(device, round(stats.chi2_contingency(table).pvalue, 2))

▶ AusführenCode zurücksetzen

Die ehrliche Schlussfolgerung lautet also nicht „das Banner schadet“, sondern „es gibt keinen Beleg dafür, dass das Banner hilft“. Die entgegengesetzte Richtung insgesamt kommt ganz aus der Mischung der Geräte.

Probier es aus

Das Paradoxon berechnen

Speichere in gap die Differenz der Konversion mit Banner − ohne Banner für jedes Gerät, in Punkten, und in overall_gap dieselbe Differenz für alle Besuche zusammen.

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
rates = ...
gap = ...
overall_gap = ...
print(gap)
print(overall_gap)

import pandas as pd banner = pd.read_csv('banner_visits.csv') rates = ... gap = ... overall_gap = ... print(gap) print(overall_gap)

Prüfen▶ Ausführen

Die Idee

Warum die Summe kippt

Die Gesamtkonversion einer Gruppe ist ein Durchschnitt der Geräte, gewichtet danach, wie viele Besuche von jedem Gerät in der Gruppe sind:

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
pd.crosstab(banner['saw_banner'], banner['device'], normalize='index').round(2)

import pandas as pd banner = pd.read_csv('banner_visits.csv') pd.crosstab(banner['saw_banner'], banner['device'], normalize='index').round(2)

▶ AusführenCode zurücksetzen

Mit dem Banner kommen 63 % der Besuche von einem Desktop, ohne es nur 10 %. Die Bannergruppe bekommt also viel von der hohen Konversion der Desktops: (180 + 35) Bestellungen aus 3.800 Besuchen sind 5,66 %. Die Gruppe ohne das Banner besteht fast nur aus Handys: (51 + 174) aus 6.200 sind 3,63 %.

Der Gesamtabstand kommt nicht vom Banner. Er kommt davon, wo das Banner gezeigt wurde: dort, wo die Leute ohnehin mehr bestellen.

Die Idee

Korrelation: corr

Derselbe Fehler lauert in den Zahlen für das Jahr. Hier sind die verkauften Stück pro Woche: Getränke (Mineralwasser und Orangensaft) und Gemüse (Tomaten und Gurken). Wie sehr gehen sie zusammen?

PythonDaten: die Tabellen des Shops

import matplotlib.pyplot as plt

import pandas as pd

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
sold = orders[orders['status'] != 'cancelled']
items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at')
drinks = items[items['product_id'].isin([15, 16])]['quantity'].resample('W').sum()
veg = items[items['product_id'].isin([12, 13])]['quantity'].resample('W').sum()
weekly = pd.DataFrame({'drinks': drinks, 'veg': veg}).iloc[1:-1]
print(len(weekly), 'Wochen')
print(round(weekly['drinks'].corr(weekly['veg']), 2))

fig, ax = plt.subplots(figsize=(5, 4))
ax.scatter(weekly['veg'], weekly['drinks'])
ax.set_title('Getränke und Gemüse pro Woche')
ax.set_xlabel('Gemüse, Stück')
ax.set_ylabel('Getränke, Stück')
fig.tight_layout()

import matplotlib.pyplot as plt import pandas as pd orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') sold = orders[orders['status'] != 'cancelled'] items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at') drinks = items[items['product_id'].isin([15, 16])]['quantity'].resample('W').sum() veg = items[items['product_id'].isin([12, 13])]['quantity'].resample('W').sum() weekly = pd.DataFrame({'drinks': drinks, 'veg': veg}).iloc[1:-1] print(len(weekly), 'Wochen') print(round(weekly['drinks'].corr(weekly['veg']), 2)) fig, ax = plt.subplots(figsize=(5, 4)) ax.scatter(weekly['veg'], weekly['drinks']) ax.set_title('Getränke und Gemüse pro Woche') ax.set_xlabel('Gemüse, Stück') ax.set_ylabel('Getränke, Stück') fig.tight_layout()

▶ AusführenCode zurücksetzen

Die Korrelation ist eine Zahl von −1 bis 1. Nah an 1: Ist das eine groß, ist auch das andere groß, und die Punkte liegen um eine ansteigende Linie. Um 0: Es gibt keinen solchen Zusammenhang. Nah an −1: Das eine wächst, das andere fällt. a.corr(b) berechnet sie, und df.corr() gibt alle Spaltenpaare auf einmal.

Hier ist sie 0,46: In den Wochen mit mehr Gemüse werden auch mehr Getränke verkauft. Heißt das, Gemüse verkauft Getränke?

Die Idee

Das dritte Ding: die Jahreszeit

Teile die Wochen in Sommer (Juni bis August) und den Rest:

PythonDaten: die Tabellen des Shops

import matplotlib.pyplot as plt

import pandas as pd

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
sold = orders[orders['status'] != 'cancelled']
items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at')
drinks = items[items['product_id'].isin([15, 16])]['quantity'].resample('W').sum()
veg = items[items['product_id'].isin([12, 13])]['quantity'].resample('W').sum()
weekly = pd.DataFrame({'drinks': drinks, 'veg': veg}).iloc[1:-1]
summer = weekly.index.month.isin([6, 7, 8])
print(weekly.groupby(summer).mean().round(1))
print('Sommer:', round(weekly[summer]['drinks'].corr(weekly[summer]['veg']), 2))
print('der Rest:', round(weekly[~summer]['drinks'].corr(weekly[~summer]['veg']), 2))

fig, ax = plt.subplots(figsize=(5, 4))
ax.scatter(weekly[~summer]['veg'], weekly[~summer]['drinks'], color='grey', label='die anderen Wochen')
ax.scatter(weekly[summer]['veg'], weekly[summer]['drinks'], color='tab:orange', label='Juni bis August')
ax.set_title('Der Sommer hebt beides')
ax.set_xlabel('Gemüse, Stück')
ax.set_ylabel('Getränke, Stück')
ax.legend()
fig.tight_layout()

import matplotlib.pyplot as plt import pandas as pd orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') sold = orders[orders['status'] != 'cancelled'] items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at') drinks = items[items['product_id'].isin([15, 16])]['quantity'].resample('W').sum() veg = items[items['product_id'].isin([12, 13])]['quantity'].resample('W').sum() weekly = pd.DataFrame({'drinks': drinks, 'veg': veg}).iloc[1:-1] summer = weekly.index.month.isin([6, 7, 8]) print(weekly.groupby(summer).mean().round(1)) print('Sommer:', round(weekly[summer]['drinks'].corr(weekly[summer]['veg']), 2)) print('der Rest:', round(weekly[~summer]['drinks'].corr(weekly[~summer]['veg']), 2)) fig, ax = plt.subplots(figsize=(5, 4)) ax.scatter(weekly[~summer]['veg'], weekly[~summer]['drinks'], color='grey', label='die anderen Wochen') ax.scatter(weekly[summer]['veg'], weekly[summer]['drinks'], color='tab:orange', label='Juni bis August') ax.set_title('Der Sommer hebt beides') ax.set_xlabel('Gemüse, Stück') ax.set_ylabel('Getränke, Stück') ax.legend() fig.tight_layout()

▶ AusführenCode zurücksetzen

Im Sommer werden im Mittel 121,6 Getränke und 68,2 Gemüse pro Woche verkauft, in der übrigen Zeit 81,5 und 38,5. Der Sommer hebt beides. Innerhalb des Sommers ist die Korrelation aber −0,13, und in den anderen Wochen −0,15: etwa null. Der Zusammenhang kommt von der Jahreszeit, nicht vom Gemüse.

1. In den Wochen, in denen mehr Tomaten verkauft werden, wird auch mehr Mineralwasser verkauft. Ein Kollege schlägt vor: „Fahren wir die Tomaten zurück, um mehr Wasser zu verkaufen.“ Was übersieht er?

Ein dritter Faktor, die Jahreszeit, hebt beide: Tomaten bringen niemanden dazu, Wasser zu kaufenNichts: Die Korrelation ist positiv, also verkaufen Tomaten WasserDie Korrelation ist zu klein, um zu zählen

Prüfen

Die Idee

Warum der A/B-Test anders ist

In der vorigen Lektion war der neue Warenkorb besser, und das war eine Ursache, nicht nur ein Zusammenhang. Der Unterschied zum Banner ist eine Sache: wer entscheidet, wer was sieht.

• Im A/B-Test entscheidet der Zufall. In beiden Gruppen waren Desktops 35 %. Alles, was du nicht misst, ist ebenfalls gleichmäßig verteilt.
• Beim Banner entscheidet jemand. Er zeigt es vor allem auf dem Desktop, und die Gruppen unterscheiden sich im Gerät und vielleicht in anderen Dingen, die nicht in der Tabelle stehen.

Das Aufteilen nach Gerät behebt nur den Faktor, den du kennst und aufgezeichnet hast. Die zufällige Zuweisung behebt auch die, die du nicht kennst. Darum machst du einen Test, wenn du kannst.

Die Idee

Wie du es ehrlich sagst

Daten, die nur gesammelt wurden und nicht aus einem Test stammen, heißen Beobachtungsdaten. Aus ihnen kannst du sagen „sie gehen zusammen“, nicht „das eine führt zum anderen“. Vergleiche:

• „Das Banner hebt die Bestellungen um 2 Punkte.“ Das ist eine Behauptung über eine Ursache, die die Daten nicht hergeben.
• „Besuche mit dem Banner bestellen öfter, aber vor allem, weil sie von einem Desktop kommen. Auf jedem Gerät für sich hilft das Banner nicht. Um das zu beantworten, brauchen wir einen A/B-Test.“

Bevor du einem Unterschied in Beobachtungsdaten traust, frag:

1. Wer landet in welcher Gruppe, und warum?
2. Gibt es ein drittes Ding (Gerät, Jahreszeit, Kundentyp), das beides bewegt?
3. Kippt der Unterschied, wenn du danach aufteilst?

Übung

Ein fairer Vergleich

Vergleiche das Banner fair: Wie hoch ist die Konversion mit und ohne Banner, wenn beide Gruppen die Gerätemischung aller Besuche hätten? Speichere in desktop_share den Anteil der Desktops an allen Besuchen und in with_banner und without_banner die gewichteten Konversionen in Prozent.

PythonDaten: die Tabellen des Shops

import pandas as pd

banner = pd.read_csv('banner_visits.csv')
rates = banner.pivot_table(index='device', columns='saw_banner', values='ordered', aggfunc='mean') * 100
desktop_share = ...
with_banner = ...
without_banner = ...
print(with_banner, without_banner)

import pandas as pd banner = pd.read_csv('banner_visits.csv') rates = banner.pivot_table(index='device', columns='saw_banner', values='ordered', aggfunc='mean') * 100 desktop_share = ... with_banner = ... without_banner = ... print(with_banner, without_banner)

Prüfen▶ Ausführen

Die Geschenkkarte und die Pfanne verkaufen sich zusammen: Wochen mit vielen Karten haben auch viele Pfannen. Speichere in overall ihre Korrelation über alle Wochen und in outside die Korrelation ohne die Feiertagswochen (die Maske holidays: vom 1. Dezember bis 4. Januar).

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
sold = orders[orders['status'] != 'cancelled']
items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at')
gift = items[items['product_id'] == 25]['quantity'].resample('W').sum()
pan = items[items['product_id'] == 22]['quantity'].resample('W').sum()
weekly = pd.DataFrame({'gift': gift, 'pan': pan}).fillna(0).iloc[1:-1]
holidays = (weekly.index >= '2025-12-01') & (weekly.index <= '2026-01-04')
overall = ...
outside = ...
print(overall, outside)

import pandas as pd orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') sold = orders[orders['status'] != 'cancelled'] items = items.merge(sold[['id', 'ordered_at']], left_on='order_id', right_on='id').set_index('ordered_at') gift = items[items['product_id'] == 25]['quantity'].resample('W').sum() pan = items[items['product_id'] == 22]['quantity'].resample('W').sum() weekly = pd.DataFrame({'gift': gift, 'pan': pan}).fillna(0).iloc[1:-1] holidays = (weekly.index >= '2025-12-01') & (weekly.index <= '2026-01-04') overall = ... outside = ... print(overall, outside)

Prüfen▶ Ausführen

Test

Teste dich

1. Was ist das Simpson-Paradoxon?

Ein Unterschied, der für alle zusammen in die eine Richtung zeigt und in jeder Gruppe für sich in die andereWenn p unter 0,05 liegt und der Unterschied klein istWenn die Korrelation negativ ist

2. Warum ist das Gerät ein Störfaktor für das Banner?

Weil das Banner auf einem Handy schlecht aussiehtEs beeinflusst sowohl, wer das Banner sieht (meist Desktops), als auch, wer bestellt (Desktops bestellen mehr)Weil es mehr Handys gibt

3. Die Korrelation zwischen zwei Spalten ist 0,46. Was weißt du sicher?

Wenn die eine größer ist, ist auch die andere öfter größer46 % der Veränderung der einen kommen von der anderenDie eine verursacht die andere

4. Warum leidet der A/B-Test des Warenkorbs nicht unter dem Problem des Banners?

Die Variante wurde zufällig zugewiesen, deshalb verteilen sich die Geräte gleichmäßig auf beide GruppenWeil es mehr Besuche sindWeil nur die Konversion gemessen wird

5. Welcher Satz über das Banner-Log ist ehrlich?

„Das Banner hebt die Bestellungen um 2 Punkte.“„Besuche mit dem Banner bestellen öfter, aber vor allem, weil sie von einem Desktop kommen. Auf jedem Gerät hilft das Banner nicht.“„Das Banner senkt die Bestellungen, bewiesen.“

Prüfen

Lektion von vorn beginnen

Verwandte Lektionen

• Baut auf: Das erste Diagramm · Verteilungen · Eine Hypothese testen · A/B-Test
• Geht weiter in: Lineare Regression · Warum ist der Umsatz gefallen?
• Aufgaben zum Thema: Statistik für Entscheidungen