Описание на данните

Накратко: Описателната статистика казва къде е центърът на данните (средна, медиана, най-честа стойност) и колко се разпръскват (стандартно отклонение, процентили, IQR).

Проблем

„Средният клиент“

Управителят иска карта за лоялност. „Средният клиент прави по 8 поръчки годишно. Да дадем подарък на осмата поръчка: така всеки обикновен клиент ще го получи.“

Звучи разумно. Но колко клиенти стигат до осма поръчка? И колко поръчки прави един обикновен клиент? Средната отговаря само на един от тези въпроси, и не винаги на този, който си мислиш.

Идеята

Средна, медиана, най-често

Едно число, което казва „около колко са поръчките“, има три вида:

• средната (mean): сборът, разделен на броя;
• медианата (median): числото по средата, когато ги наредиш; половината са под нея, половината над нея;
• най-честата стойност (mode): тази, която се среща най-много пъти.

Стойността на поръчка за годината, без отказаните поръчки:

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
print('поръчки:', len(values))
print('средна:', round(values.mean(), 2))
print('медиана:', values.median())
print('най-честа:', values.mode().tolist())
print('под средната:', round((values < values.mean()).mean() * 100, 1), '%')

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) print('поръчки:', len(values)) print('средна:', round(values.mean(), 2)) print('медиана:', values.median()) print('най-честа:', values.mode().tolist()) print('под средната:', round((values < values.mean()).mean() * 100, 1), '%')

▶ ИзпълниВърни кода

Средната е 10,63 €, а медианата 7,70 €. Най-честата поръчка е за 2,40 €. Три числа за едни и същи данни, и 64,4% от поръчките са под средната.

Причината е опашката: малко големи поръчки (до 78,70 €) дърпат средната нагоре. Медианата не ги усеща, защото гледа само кое е по средата. Видя опашката в хистограмата на поръчките.

mode() връща списък, защото най-честите стойности може да са няколко с еднакъв брой. Затова values е закръглено до цент: иначе 2.4 и 2.4000000000000004 се броят за различни.

1. Пет поръчки: 4 €, 6 €, 7 €, 9 € и 12 €. Идва шеста, за 500 € (офис поръчва за цялата година). Какво става?

Медианата скача, а средната почти не се мениСредната скача от 7,60 € на 89,67 €, а медианата се мести само от 7 € на 8 €И двете скачат еднакво

Провери

Идеята

Разсейване: обхват и стандартно отклонение

Средната не казва колко се различават поръчките една от друга. Два магазина със средна 10 € може да са много различни: в единия всяка поръчка е около 10 €, в другия има и по 1 €, и по 50 €. Това се казва разсейване (spread).

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
print('най-малка:', values.min(), ' най-голяма:', values.max())
print('обхват:', round(values.max() - values.min(), 2))
print('стандартно отклонение:', round(values.std(), 2))

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) print('най-малка:', values.min(), ' най-голяма:', values.max()) print('обхват:', round(values.max() - values.min(), 2)) print('стандартно отклонение:', round(values.std(), 2))

▶ ИзпълниВърни кода

Обхватът (range) е най-голямата минус най-малката: 77,90 €. Той зависи само от двете крайни поръчки и една странна поръчка го променя.

Стандартното отклонение (standard deviation, std) е колко далеч от средната е обикновено една поръчка. Тук е 9,43 €: поръчка на 10,63 € ± около 9 € е нещо обичайно.

По-точно, за любопитните

std е корен от средния квадрат на разстоянията до средната. Квадратът прави големите разстояния много по-тежки, затова при дълга опашка std също расте.

pandas дели на n − 1, а NumPy (np.std) на n. При 10 459 поръчки разликата е в четвъртия знак след запетаята. При 5 числа е забележима: np.std(x, ddof=1) дава същото като pandas.

Идеята

Процентили и IQR

Процентилът казва под колко е даден дял от данните. 90-ият процентил е стойността, под която са 90% от поръчките. quantile ги дава с дял от 0 до 1:

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
import matplotlib.pyplot as plt

q = values.quantile([0.1, 0.25, 0.5, 0.75, 0.9])
print(q)
print('IQR:', round(q[0.75] - q[0.25], 2))

fig, ax = plt.subplots()
ax.hist(values, bins=40)
for p in [0.25, 0.5, 0.75]:
    ax.axvline(q[p], color='black', linestyle='--')
ax.set_title('Стойност на поръчка: квартилите')
ax.set_xlabel('€')
ax.set_ylabel('поръчки')

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) import matplotlib.pyplot as plt q = values.quantile([0.1, 0.25, 0.5, 0.75, 0.9]) print(q) print('IQR:', round(q[0.75] - q[0.25], 2)) fig, ax = plt.subplots() ax.hist(values, bins=40) for p in [0.25, 0.5, 0.75]: ax.axvline(q[p], color='black', linestyle='--') ax.set_title('Стойност на поръчка: квартилите') ax.set_xlabel('€') ax.set_ylabel('поръчки')

▶ ИзпълниВърни кода

10% от поръчките са до 2,40 €, а 90% до 22,92 €. Трите прекъснати линии са квартилите: 25-ият процентил (q1, 4,20 €), медианата (7,70 €) и 75-ият (q3, 14,00 €). Те делят поръчките на четири равни части.

Между q1 и q3 са средните 50% поръчки. Ширината им е IQR (interquartile range): 14,00 − 4,20 = 9,80 €. За разлика от обхвата, IQR не се мести от една огромна поръчка.

Виж и картината: от медианата до q3 са 6,30 €, а от q1 до медианата само 3,50 €. Дясната половина е разтеглена: това е опашката, казана с числа.

Пробвай

Прагът за безплатна доставка

Магазинът ще дава безплатна доставка на най-големите 10% поръчки. Над каква сума? Запиши прага в threshold.

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
threshold = ...
print(threshold)

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) threshold = ... print(threshold)

Провери▶ Изпълни

Идеята

describe(), прочетено докрай

describe() от първия поглед към таблица дава наведнъж всичко дотук:

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
values.describe().round(2)

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) values.describe().round(2)

▶ ИзпълниВърни кода

Сега всеки ред има смисъл:

• count: 10 459 поръчки;
• mean и std: 10,63 € средно, обикновено на около 9,43 € от нея;
• min и max: от 0,80 € до 78,70 €;
• 25%, 50%, 75%: квартилите. 50% е медианата.

Бърз поглед за опашка: mean е доста над 50% (10,63 € срещу 7,70 €), а от 75% до max има 64,70 €, срещу 3,40 € от min до 25%. Опашката е вдясно.

Идеята

„Средният клиент“ не съществува

Обратно към картата за лоялност. Колко поръчки прави всеки клиент за годината? Броят се всички поръчки, и отказаните: клиентът все пак е поръчал.

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
import matplotlib.pyplot as plt

print('клиенти:', len(per_customer))
print('средно:', round(per_customer.mean(), 2), ' медиана:', per_customer.median(), ' най-често:', per_customer.mode().tolist())
print('само една поръчка:', (per_customer == 1).sum(), ' най-много:', per_customer.max())

fig, ax = plt.subplots()
ax.hist(per_customer, bins=60)
ax.axvline(per_customer.mean(), color='black', label='средно')
ax.axvline(per_customer.median(), color='black', linestyle='--', label='медиана')
ax.set_title('Поръчки на клиент за годината')
ax.set_xlabel('поръчки')
ax.set_ylabel('клиенти')
ax.legend()

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() import matplotlib.pyplot as plt print('клиенти:', len(per_customer)) print('средно:', round(per_customer.mean(), 2), ' медиана:', per_customer.median(), ' най-често:', per_customer.mode().tolist()) print('само една поръчка:', (per_customer == 1).sum(), ' най-много:', per_customer.max()) fig, ax = plt.subplots() ax.hist(per_customer, bins=60) ax.axvline(per_customer.mean(), color='black', label='средно') ax.axvline(per_customer.median(), color='black', linestyle='--', label='медиана') ax.set_title('Поръчки на клиент за годината') ax.set_xlabel('поръчки') ax.set_ylabel('клиенти') ax.legend()

▶ ИзпълниВърни кода

Клиентите са 1 390. Средно имат по 8 поръчки, но медианата е 4, а най-честото е 2. 224 клиенти са поръчали само веднъж, а най-редовният има 121 поръчки.

Хистограмата показва защо: повечето клиенти са вляво, при 1–5 поръчки, а дълга опашка от редовни клиенти стига до 121. Средната (плътната линия) е между двата свята и не описва никого добре. Клиентът „със средно 8 поръчки“ е число от сметката, не човек, когото ще срещнеш често.

Когато данните имат дълга опашка, медианата казва „обикновения“ случай, а средната е за друго: например колко поръчки ще дойдат общо от 100 нови клиенти.

Идеята

Необичайни стойности: правилото с IQR

Кои поръчки са необичайно големи? Често използваното правило е: необичайно е всичко на повече от 1,5 × IQR под q1 или над q3.

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(per_order)
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].round(2)
q1 = values.quantile(0.25)
q3 = values.quantile(0.75)
iqr = q3 - q1
low = q1 - 1.5 * iqr
high = q3 + 1.5 * iqr
print('граници:', round(low, 2), round(high, 2))
print('под долната:', (values < low).sum(), ' над горната:', (values > high).sum())
print('най-големите:', values[values > high].sort_values().tail(3).tolist())

import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(per_order) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].round(2) q1 = values.quantile(0.25) q3 = values.quantile(0.75) iqr = q3 - q1 low = q1 - 1.5 * iqr high = q3 + 1.5 * iqr print('граници:', round(low, 2), round(high, 2)) print('под долната:', (values < low).sum(), ' над горната:', (values > high).sum()) print('най-големите:', values[values > high].sort_values().tail(3).tolist())

▶ ИзпълниВърни кода

Горната граница е 14,00 + 1,5 × 9,80 = 28,70 €, а над нея са 609 поръчки. Долната е отрицателна, затова под нея няма нищо.

Правилото само посочва. Решението е твое: тези 609 поръчки са истински и носят около 21% от оборота. Махаш стойност само когато е доказана грешка, като цена без десетичната точка или дубликат, както видя в почистването.

Пробвай

Редовните клиенти

Кои клиенти поръчват необичайно често? Сметни горната граница по правилото с IQR за поръчките на клиент (в limit) и запиши в regulars клиентите над нея.

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
q1 = per_customer.quantile(0.25)
q3 = ...
limit = ...
regulars = ...
print(limit, len(regulars))

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() q1 = per_customer.quantile(0.25) q3 = ... limit = ... regulars = ... print(limit, len(regulars))

Провери▶ Изпълни

Упражнение

Подарък на осмата поръчка?

Колко поръчки прави обикновеният клиент? Запиши го в typical. И какъв дял от клиентите стигат до осма поръчка? Запиши дела (от 0 до 1) в reach.

Pythonданни: таблиците на магазина

import pandas as pd

orders = pd.read_csv('year_orders.csv')
per_customer = orders.groupby('customer_id').size()
typical = ...
reach = ...
print(typical, reach)

import pandas as pd orders = pd.read_csv('year_orders.csv') per_customer = orders.groupby('customer_id').size() typical = ... reach = ... print(typical, reach)

Провери▶ Изпълни

Тест

Провери се

1. Средната поръчка е 10,63 €, а медианата 7,70 €. Какво казва това за поръчките?

Някоя от сметките е грешнаПоловината поръчки са над 10,63 €Имат дълга опашка надясно: малко големи поръчки дърпат средната нагоре

2. Какво е IQR?

Разликата между най-голямата и най-малката стойностСредното разстояние от среднатаРазликата между третия и първия квартил: ширината на средната половина от данните

3. describe() дава 25% 4.20 за стойността на поръчка. Какво значи?

25% от оборота идва от поръчки до 4,20 €Четвърт от поръчките са за 4,20 € или по-малкоПоръчките за 4,20 € са 25%

4. Правилото с IQR намира 609 поръчки над 28,70 €. Какво правиш с тях?

Махаш ги, защото са грешкиПоглеждаш ги: ако са истински (офис, празник), остават в даннитеЗаменяш ги със средната

Провери

Започни урока отначало

Свързани уроци

• Нужно отпреди: Нови колони · Групи: groupby · Първата графика · Разпределения
• Продължава в: Извадка и популация · Доверителен интервал · Проверка на хипотеза · Изтичане на данни (data leakage)
• Задачи по темата: Статистика за решения