Die Daten beschreiben

Kurz gesagt: Die deskriptive Statistik sagt, wo die Mitte der Daten liegt (Mittelwert, Median, häufigster Wert) und wie weit sie streuen (Standardabweichung, Perzentile, Quartilsabstand).

Problem

„Der Durchschnittskunde“

Der Chef will eine Kundenkarte. „Der Durchschnittskunde bestellt 8-mal im Jahr. Schenken wir etwas zur achten Bestellung: So bekommt jeder gewöhnliche Kunde es.“

Das klingt vernünftig. Aber wie viele Kunden kommen überhaupt auf eine achte Bestellung? Und wie viele Bestellungen gibt ein gewöhnlicher Kunde auf? Der Mittelwert beantwortet nur eine dieser Fragen, und nicht immer die, die du denkst.

Die Idee

Mittelwert, Median, häufigster Wert

Eine Zahl, die sagt „die Bestellungen liegen ungefähr hier“, gibt es in drei Arten:

• der Mittelwert: die Summe geteilt durch die Anzahl;
• der Median: die Zahl in der Mitte, wenn du sortierst; die Hälfte liegt darunter, die Hälfte darüber;
• der Modus: der Wert, der am häufigsten vorkommt.

Der Bestellwert des Jahres, ohne die stornierten Bestellungen:

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
print('Bestellungen:', len(values))
print('Mittelwert:', round(values.mean(), 2))
print('Median:', values.median())
print('häufigster Wert:', values.mode().tolist())
print('unter dem Mittelwert:', round((values < values.mean()).mean() * 100, 1), '%')

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) print('Bestellungen:', len(values)) print('Mittelwert:', round(values.mean(), 2)) print('Median:', values.median()) print('häufigster Wert:', values.mode().tolist()) print('unter dem Mittelwert:', round((values < values.mean()).mean() * 100, 1), '%')

▶ AusführenCode zurücksetzen

Der Mittelwert ist 10,63 €, der Median 7,70 €. Die häufigste Bestellung ist 2,40 €. Drei Zahlen für dieselben Daten, und 64,4 % der Bestellungen liegen unter dem Mittelwert.

Der Grund ist der Schwanz: Wenige große Bestellungen (bis 78,70 €) ziehen den Mittelwert nach oben. Der Median spürt sie nicht, weil er nur schaut, was in der Mitte liegt. Den Schwanz hast du im Histogramm der Bestellungen gesehen.

mode() gibt eine Liste zurück, weil sich mehrere Werte die höchste Anzahl teilen können. Deshalb ist values auf den Cent gerundet: Sonst zählen 2.4 und 2.4000000000000004 als verschiedene Werte.

1. Fünf Bestellungen: 4 €, 6 €, 7 €, 9 € und 12 €. Eine sechste kommt dazu, für 500 € (ein Büro bestellt für das ganze Jahr). Was passiert?

Der Median springt, der Mittelwert ändert sich kaumDer Mittelwert springt von 7,60 € auf 89,67 €, während der Median nur von 7 € auf 8 € wandertBeide springen um denselben Betrag

Prüfen

Die Idee

Streuung: Spannweite und Standardabweichung

Der Mittelwert sagt nicht, wie verschieden die Bestellungen voneinander sind. Zwei Shops mit einem Mittelwert von 10 € können sehr verschieden sein: In dem einen ist jede Bestellung etwa 10 €, im anderen gibt es Bestellungen von 1 € und von 50 €. Das nennt man Streuung.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
print('kleinster:', values.min(), ' größter:', values.max())
print('Spannweite:', round(values.max() - values.min(), 2))
print('Standardabweichung:', round(values.std(), 2))

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) print('kleinster:', values.min(), ' größter:', values.max()) print('Spannweite:', round(values.max() - values.min(), 2)) print('Standardabweichung:', round(values.std(), 2))

▶ AusführenCode zurücksetzen

Die Spannweite ist das Größte minus das Kleinste: 77,90 €. Sie hängt nur von den beiden äußersten Bestellungen ab, und eine seltsame Bestellung verändert sie.

Die Standardabweichung (std) ist der typische Abstand einer Bestellung vom Mittelwert. Hier ist sie 9,43 €: Eine Bestellung von 10,63 € ± etwa 9 € ist nichts Ungewöhnliches.

Genauer, für Neugierige

std ist die Wurzel aus dem mittleren quadrierten Abstand vom Mittelwert. Das Quadrieren gewichtet große Abstände viel stärker, deshalb wächst std bei einem langen Schwanz mit.

pandas teilt durch n − 1, NumPy (np.std) durch n. Bei 10.459 Bestellungen steckt der Unterschied in der vierten Nachkommastelle. Bei 5 Zahlen sieht man ihn: np.std(x, ddof=1) liefert dasselbe wie pandas.

Die Idee

Perzentile und der Quartilsabstand

Ein Perzentil sagt, unter welchem Wert ein bestimmter Anteil der Daten liegt. Das 90. Perzentil ist der Wert, unter dem 90 % der Bestellungen liegen. quantile liefert sie mit einem Anteil von 0 bis 1:

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
import matplotlib.pyplot as plt

q = values.quantile([0.1, 0.25, 0.5, 0.75, 0.9])
print(q)
print('IQR:', round(q[0.75] - q[0.25], 2))

fig, ax = plt.subplots()
ax.hist(values, bins=40)
for p in [0.25, 0.5, 0.75]:
    ax.axvline(q[p], color='black', linestyle='--')
ax.set_title('Bestellwert: die Quartile')
ax.set_xlabel('€')
ax.set_ylabel('Bestellungen')

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) import matplotlib.pyplot as plt q = values.quantile([0.1, 0.25, 0.5, 0.75, 0.9]) print(q) print('IQR:', round(q[0.75] - q[0.25], 2)) fig, ax = plt.subplots() ax.hist(values, bins=40) for p in [0.25, 0.5, 0.75]: ax.axvline(q[p], color='black', linestyle='--') ax.set_title('Bestellwert: die Quartile') ax.set_xlabel('€') ax.set_ylabel('Bestellungen')

▶ AusführenCode zurücksetzen

10 % der Bestellungen liegen bei bis zu 2,40 € und 90 % bei bis zu 22,92 €. Die drei gestrichelten Linien sind die Quartile: das 25. Perzentil (q1, 4,20 €), der Median (7,70 €) und das 75. (q3, 14,00 €). Sie teilen die Bestellungen in vier gleich große Teile.

Die mittleren 50 % der Bestellungen liegen zwischen q1 und q3. Ihre Breite ist der Quartilsabstand (IQR, englisch interquartile range): 14,00 − 4,20 = 9,80 €. Anders als die Spannweite bewegt sich der IQR nicht wegen einer einzigen riesigen Bestellung.

Schau dir auch das Bild an: Vom Median bis q3 sind es 6,30 €, aber von q1 bis zum Median nur 3,50 €. Die rechte Hälfte ist gedehnt: Das ist der Schwanz, in Zahlen erzählt.

Probier es aus

Die Grenze für kostenlose Lieferung

Der Shop liefert die größten 10 % der Bestellungen kostenlos. Ab welchem Betrag? Speichere die Grenze in threshold.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
threshold = ...
print(threshold)

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) threshold = ... print(threshold)

Prüfen▶ Ausführen

Die Idee

describe(), bis zum Ende gelesen

describe() von deinem ersten Blick auf eine Tabelle liefert alles bisher Besprochene auf einmal:

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
values.describe().round(2)

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) values.describe().round(2)

▶ AusführenCode zurücksetzen

Jetzt ergibt jede Zeile Sinn:

• count: 10.459 Bestellungen;
• mean und std: im Mittel 10,63 €, typischerweise etwa 9,43 € davon entfernt;
• min und max: von 0,80 € bis 78,70 €;
• 25%, 50%, 75%: die Quartile. 50% ist der Median.

Ein schneller Blick auf einen Schwanz: mean liegt deutlich über 50% (10,63 € gegenüber 7,70 €), und von 75% bis max sind es 64,70 €, von min bis 25% dagegen 3,40 €. Der Schwanz liegt rechts.

Die Idee

„Den Durchschnittskunden“ gibt es nicht

Zurück zur Kundenkarte. Wie viele Bestellungen gibt jeder Kunde im Jahr auf? Es zählen alle Bestellungen, auch die stornierten: Der Kunde hat ja bestellt.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
import matplotlib.pyplot as plt

print('Kunden:', len(per_customer))
print('Mittelwert:', round(per_customer.mean(), 2), ' Median:', per_customer.median(), ' häufigster Wert:', per_customer.mode().tolist())
print('nur eine Bestellung:', (per_customer == 1).sum(), ' meiste:', per_customer.max())

fig, ax = plt.subplots()
ax.hist(per_customer, bins=60)
ax.axvline(per_customer.mean(), color='black', label='Mittelwert')
ax.axvline(per_customer.median(), color='black', linestyle='--', label='Median')
ax.set_title('Bestellungen pro Kunde im Jahr')
ax.set_xlabel('Bestellungen')
ax.set_ylabel('Kunden')
ax.legend()

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() import matplotlib.pyplot as plt print('Kunden:', len(per_customer)) print('Mittelwert:', round(per_customer.mean(), 2), ' Median:', per_customer.median(), ' häufigster Wert:', per_customer.mode().tolist()) print('nur eine Bestellung:', (per_customer == 1).sum(), ' meiste:', per_customer.max()) fig, ax = plt.subplots() ax.hist(per_customer, bins=60) ax.axvline(per_customer.mean(), color='black', label='Mittelwert') ax.axvline(per_customer.median(), color='black', linestyle='--', label='Median') ax.set_title('Bestellungen pro Kunde im Jahr') ax.set_xlabel('Bestellungen') ax.set_ylabel('Kunden') ax.legend()

▶ AusführenCode zurücksetzen

Es gibt 1.390 Kunden. Im Mittel geben sie 8 Bestellungen auf, aber der Median ist 4 und der häufigste Wert 2. 224 Kunden haben nur einmal bestellt, und der treueste hat 121 Bestellungen.

Das Histogramm zeigt, warum: Die meisten Kunden stehen links, bei 1–5 Bestellungen, und ein langer Schwanz von Stammkunden reicht bis 121. Der Mittelwert (die durchgezogene Linie) liegt zwischen den beiden Welten und beschreibt niemanden gut. Der Kunde „mit durchschnittlich 8 Bestellungen“ ist eine Zahl aus einer Rechnung, keine Person, der du oft begegnest.

Wenn die Daten einen langen Schwanz haben, nennt der Median den gewöhnlichen Fall, und der Mittelwert ist für etwas anderes da: zum Beispiel dafür, wie viele Bestellungen 100 neue Kunden zusammen bringen.

Die Idee

Ungewöhnliche Werte: die IQR-Regel

Welche Bestellungen sind ungewöhnlich groß? Eine gängige Regel: Alles, was mehr als 1,5 × IQR unter q1 oder über q3 liegt, ist ungewöhnlich.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Stornierte Bestellungen sind kein Umsatz: weglassen.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
q1 = values.quantile(0.25)
q3 = values.quantile(0.75)
iqr = q3 - q1
low = q1 - 1.5 * iqr
high = q3 + 1.5 * iqr
print('Zäune:', round(low, 2), round(high, 2))
print('unter dem unteren:', (values < low).sum(), ' über dem oberen:', (values > high).sum())
print('die größten:', values[values > high].sort_values().tail(3).tolist())

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Stornierte Bestellungen sind kein Umsatz: weglassen. values = orders[orders['status'] != 'cancelled']['value'].round(2) q1 = values.quantile(0.25) q3 = values.quantile(0.75) iqr = q3 - q1 low = q1 - 1.5 * iqr high = q3 + 1.5 * iqr print('Zäune:', round(low, 2), round(high, 2)) print('unter dem unteren:', (values < low).sum(), ' über dem oberen:', (values > high).sum()) print('die größten:', values[values > high].sort_values().tail(3).tolist())

▶ AusführenCode zurücksetzen

Der obere Zaun ist 14,00 + 1,5 × 9,80 = 28,70 €, und 609 Bestellungen liegen darüber. Der untere Zaun ist negativ, also liegt nichts darunter.

Die Regel zeigt nur hin. Die Entscheidung triffst du: Diese 609 Bestellungen sind echt und bringen etwa 21 % des Umsatzes. Einen Wert entfernst du nur, wenn er ein nachgewiesener Fehler ist, etwa ein Preis ohne Komma oder ein Duplikat, wie du in der Lektion über das Bereinigen gesehen hast.

Probier es aus

Die Stammkunden

Welche Kunden bestellen ungewöhnlich oft? Berechne den oberen Zaun der IQR-Regel für die Bestellungen pro Kunde (in limit) und speichere die Kunden darüber in regulars.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
q1 = per_customer.quantile(0.25)
q3 = ...
limit = ...
regulars = ...
print(limit, len(regulars))

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() q1 = per_customer.quantile(0.25) q3 = ... limit = ... regulars = ... print(limit, len(regulars))

Prüfen▶ Ausführen

Übung

Ein Geschenk zur achten Bestellung?

Wie viele Bestellungen gibt der gewöhnliche Kunde auf? Speichere es in typical. Und welcher Anteil der Kunden kommt auf eine achte Bestellung? Speichere den Anteil (von 0 bis 1) in reach.

PythonDaten: die Tabellen des Shops

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
typical = ...
reach = ...
print(typical, reach)

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() typical = ... reach = ... print(typical, reach)

Prüfen▶ Ausführen

Test

Teste dich

1. Die mittlere Bestellung ist 10,63 € und der Median 7,70 €. Was sagt das über die Bestellungen?

Die Hälfte der Bestellungen liegt über 10,63 €Sie haben einen langen Schwanz nach rechts: Wenige große Bestellungen ziehen den Mittelwert nach obenEine der Rechnungen ist falsch

2. Was ist der Quartilsabstand (IQR)?

Die Differenz zwischen dem größten und dem kleinsten WertDie Differenz zwischen dem dritten und dem ersten Quartil: die Breite der mittleren Hälfte der DatenDer durchschnittliche Abstand vom Mittelwert

3. describe() liefert für den Bestellwert 25% 4.20. Was bedeutet das?

Die Bestellungen von 4,20 € machen 25 % aus25 % des Umsatzes kommen aus Bestellungen bis 4,20 €Ein Viertel der Bestellungen liegt bei 4,20 € oder darunter

4. Die IQR-Regel findet 609 Bestellungen über 28,70 €. Was machst du mit ihnen?

Du entfernst sie, weil es Fehler sindDu schaust sie dir an: Wenn sie echt sind (ein Büro, ein Feiertag), bleiben sie in den DatenDu ersetzt sie durch den Mittelwert

Prüfen

Lektion von vorn beginnen

Verwandte Lektionen

• Baut auf: Neue Spalten · Gruppen: groupby · Das erste Diagramm · Verteilungen
• Geht weiter in: Stichprobe und Grundgesamtheit · Konfidenzintervalle · Eine Hypothese testen · Datenleck
• Aufgaben zum Thema: Statistik für Entscheidungen