Разпределения

Накратко: Разпределението показва как са пръснати всички стойности наведнъж: хистограмата и кутията с мустаци го показват за една величина, а диаграмата на разсейване връзката между две.

Проблем

„Колко струва една поръчка?“

Управителят иска да знае колко струва една поръчка. Сметнал е средната: 10,63 €. Ще планира рекламата за „типичния клиент с поръчка около 10 €“.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
average = values.mean()
print(len(sold))
print(round(average, 2))
print((values < average).sum())

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] average = values.mean() print(len(sold)) print(round(average, 2)) print((values < average).sum())

▶ ИзпълниВърни кода

Продадените поръчки (без отказаните) са 10 459, а 6 736 от тях са под средната. Почти две от всеки три. Как така „средното“ е над повечето? Отговорът се вижда, като погледнеш всички поръчки наведнъж, а не едно число.

Идеята

Хистограма

Как се пръскат стойностите, кои са чести и кои редки, се казва разпределение. Картината му е хистограмата: оста x се дели на равни интервали, а всеки стълб е колко поръчки попадат в своя интервал.

ax.hist(values, bins=30) прави 30 интервала от най-малката до най-голямата стойност и ги брои. Връща три неща: броя във всеки интервал, границите и самите стълбове.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
fig, ax = plt.subplots()
counts, edges, bars = ax.hist(values, bins=30)
ax.set_title('Стойност на поръчките за годината')
ax.set_xlabel('Стойност на поръчката, €')
ax.set_ylabel('Брой поръчки')
print(edges[:3].round(2))
print(counts[:2].astype(int))

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] fig, ax = plt.subplots() counts, edges, bars = ax.hist(values, bins=30) ax.set_title('Стойност на поръчките за годината') ax.set_xlabel('Стойност на поръчката, €') ax.set_ylabel('Брой поръчки') print(edges[:3].round(2)) print(counts[:2].astype(int))

▶ ИзпълниВърни кода

Първият стълб е от 0,80 до 3,40 € и в него има 1 915 поръчки. Вторият, от 3,40 до 5,99 €, е най-високият: 2 122. Нататък стълбовете падат, а вдясно остава тънка ивица от редки поръчки чак до 78,70 €. Тази ивица се казва опашка. Разпределение с дълга опашка надясно е обичайно за пари: много малки покупки и малко големи.

Идеята

Броят стълбове мени картината

bins решаваш ти, а различният брой разказва различно. Ето същите поръчки с 4 и с 80 стълба:

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
fig, (left, right) = plt.subplots(1, 2, figsize=(10, 4))
few, few_edges, _ = left.hist(values, bins=4)
left.set_title('4 стълба')
right.hist(values, bins=80)
right.set_title('80 стълба')
fig.suptitle('Едни и същи поръчки, различен брой стълбове')
for ax in (left, right):
    ax.set_xlabel('Стойност на поръчката, €')
left.set_ylabel('Брой поръчки')
fig.tight_layout()
print(few_edges.round(2))
print(few.astype(int))

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] fig, (left, right) = plt.subplots(1, 2, figsize=(10, 4)) few, few_edges, _ = left.hist(values, bins=4) left.set_title('4 стълба') right.hist(values, bins=80) right.set_title('80 стълба') fig.suptitle('Едни и същи поръчки, различен брой стълбове') for ax in (left, right): ax.set_xlabel('Стойност на поръчката, €') left.set_ylabel('Брой поръчки') fig.tight_layout() print(few_edges.round(2)) print(few.astype(int))

▶ ИзпълниВърни кода

С 4 стълба виждаш само, че 9 091 поръчки са под 20,28 €, 1 182 са до 39,75 €, а след това почти няма. С 80 стълба се вижда, че най-много поръчки са между 2 и 8 €, а броят пада плавно към опашката. Зъбците (един стълб висок, съседът нисък) идват от цените: някои суми се събират по-често от други.

Няма един верен брой. Пробвай няколко и избери този, при който формата се вижда, а шумът не я закрива. За няколко хиляди стойности 30–60 стълба обикновено е добро начало.

По-точно, за любопитните

bins може да е и списък с границите: bins=[0, 5, 10, 20, 40, 80]. Тогава стълбовете не са равни по ширина и височината подвежда: широкият стълб събира повече поръчки само защото е широк. С density=True височината се дели на ширината на стълба и широките стълбове вече не подвеждат.

Пробвай

Декември отблизо

Как изглеждат поръчките през декември? Запиши в december продадените поръчки от декември и нарисувай хистограма на стойността им с 40 стълба. Надпиши оста x.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
december = sold[...]
fig, ax = plt.subplots()
ax.hist(..., bins=...)
ax.set_title('Поръчките през декември')

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] december = sold[...] fig, ax = plt.subplots() ax.hist(..., bins=...) ax.set_title('Поръчките през декември')

Провери▶ Изпълни

Идеята

Средна и медиана

Подреди всички поръчки от най-малката до най-голямата. Стойността точно по средата е медианата: половината поръчки са под нея, половината над нея. values.median() я дава.

Начертай средната и медианата върху хистограмата като вертикални линии. ax.axvline(x) рисува линия през цялата височина на графиката в точката x:

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
average = values.mean()
middle = values.median()
fig, ax = plt.subplots()
ax.hist(values, bins=60, color='lightgray')
ax.axvline(average, color='black', label='средна')
ax.axvline(middle, color='black', linestyle='--', label='медиана')
ax.set_title('Средната и медианата на поръчките')
ax.set_xlabel('Стойност на поръчката, €')
ax.set_ylabel('Брой поръчки')
ax.legend()
print(round(average, 2), round(middle, 2))

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] average = values.mean() middle = values.median() fig, ax = plt.subplots() ax.hist(values, bins=60, color='lightgray') ax.axvline(average, color='black', label='средна') ax.axvline(middle, color='black', linestyle='--', label='медиана') ax.set_title('Средната и медианата на поръчките') ax.set_xlabel('Стойност на поръчката, €') ax.set_ylabel('Брой поръчки') ax.legend() print(round(average, 2), round(middle, 2))

▶ ИзпълниВърни кода

Средната е 10,63 €, а медианата е 7,70 €. Медианата е там, където е тежестта на стълбовете. Средната е вдясно от нея: опашката от големи поръчки я дърпа нагоре, защото всяко евро от тях влиза в сбора. На медианата ѝ е все едно дали най-голямата поръчка е 78 € или 7 800 €.

Затова при пари, времена и размери, където има опашка, гледай и двете. Ако са далеч една от друга, медианата е по-близо до „типичния клиент“.

1. Към 10 459-те продадени поръчки идва една за 5 000 € (фирма купува подаръци). Какво става със средната (10,63 €) и с медианата (7,70 €)?

И двете растат с около 0,48 €Средната става 11,11 €, а медианата остава 7,70 €Медианата скача до 5 000 €, а средната остава

Провери

Идеята

Кутия с мустаци

Хистограмата е подробна, но две или пет хистограми една до друга се сравняват трудно. Кутията с мустаци (box plot) свива разпределението до пет неща. Декември е най-силният месец: поръчките по-големи ли са, или само са повече?

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
month = sold['ordered_at'].dt.month
december = sold[month == 12]['revenue']
rest = sold[month != 12]['revenue']
fig, ax = plt.subplots()
ax.boxplot([december, rest], tick_labels=['декември', 'другите месеци'])
ax.set_title('Стойност на поръчките')
ax.set_ylabel('€ на поръчка')
print(round(december.median(), 2), round(rest.median(), 2))
print(round(december.mean(), 2), round(rest.mean(), 2))

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] month = sold['ordered_at'].dt.month december = sold[month == 12]['revenue'] rest = sold[month != 12]['revenue'] fig, ax = plt.subplots() ax.boxplot([december, rest], tick_labels=['декември', 'другите месеци']) ax.set_title('Стойност на поръчките') ax.set_ylabel('€ на поръчка') print(round(december.median(), 2), round(rest.median(), 2)) print(round(december.mean(), 2), round(rest.mean(), 2))

▶ ИзпълниВърни кода

Как се чете:

• линията в кутията е медианата: 8,60 € през декември и 7,60 € през другите месеци;
• кутията е средната половина от поръчките: четвърт са под нея, четвърт са над нея;
• мустаците стигат до последните обичайни стойности;
• кръгчетата са необичайно големите поръчки.

Декемврийската кутия е по-висока и стига по-нагоре: там има повече големи поръчки (подаръци, тигани, ножове). Затова средната се мени повече от медианата: 13,14 € срещу 10,30 €, а медианата е 8,60 € срещу 7,60 €. Декември има и повече поръчки, и по-големи, но разликата е най-вече в опашката.

По-точно, за любопитните

Мустакът стига до най-далечната поръчка, която е на не повече от 1,5 височини на кутията от нея. Всичко по-далеч е кръгче. Това правило и височината на кутията (IQR) ще смяташ с числа в урока за описанието на данните.

В по-старите версии на matplotlib (преди 3.9) етикетите се дават с labels= вместо tick_labels=.

Идеята

Разсейване: две числа на всяка поръчка

Растат ли парите с броя на редовете в поръчката? Тук имаш две числа на поръчка, а въпросът е за връзката им. Картината е диаграма на разсейване (scatter plot): всяка поръчка е точка, x е едното число, y е другото. ax.scatter(x, y) я рисува.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
fig, (left, right) = plt.subplots(1, 2, figsize=(10, 4), sharey=True)
left.scatter(sold['lines'], sold['revenue'])
left.set_title('Без прозрачност')
right.scatter(sold['lines'], sold['revenue'], alpha=0.03)
right.set_title('alpha=0.03')
fig.suptitle('Редове и стойност на поръчката')
for ax in (left, right):
    ax.set_xlabel('Редове в поръчката')
left.set_ylabel('Стойност на поръчката, €')
fig.tight_layout()
sold.groupby('lines')['revenue'].agg(['size', 'mean']).round(2)

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] fig, (left, right) = plt.subplots(1, 2, figsize=(10, 4), sharey=True) left.scatter(sold['lines'], sold['revenue']) left.set_title('Без прозрачност') right.scatter(sold['lines'], sold['revenue'], alpha=0.03) right.set_title('alpha=0.03') fig.suptitle('Редове и стойност на поръчката') for ax in (left, right): ax.set_xlabel('Редове в поръчката') left.set_ylabel('Стойност на поръчката, €') fig.tight_layout() sold.groupby('lines')['revenue'].agg(['size', 'mean']).round(2)

▶ ИзпълниВърни кода

Отляво всичко е в плътни колони. Хиляди точки са една върху друга и не виждаш къде са много и къде са малко. Това се казва припокриване (overplotting). Отдясно alpha=0.03 прави всяка точка почти прозрачна: където са много, цветът се натрупва и е тъмно.

Сега се вижда, че с всеки ред поръчката расте средно с около 4–5 €: от 4,27 € при един ред (2 517 поръчки) до 27,48 € при шест (145 поръчки). Но точките на всеки ред са разпръснати нагоре: един скъп продукт струва колкото десет евтини.

sharey=True дава на двете графики една и съща ос y, за да се сравняват честно.

Пробвай

Бройки и стойност

Колоната pieces е броят бройки в поръчката (сборът на quantity). Нарисувай диаграма на разсейване: бройките по x, стойността на поръчката по y, с прозрачност, за да се вижда къде са много поръчки. Надпиши двете оси.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
fig, ax = plt.subplots()
ax.scatter(..., ...)
ax.set_title('Бройки и стойност на поръчката')

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] fig, ax = plt.subplots() ax.scatter(..., ...) ax.set_title('Бройки и стойност на поръчката')

Провери▶ Изпълни

Упражнение

Отговорът за управителя

Управителят иска една графика: колко струват поръчките и къде са средната и медианата. Запиши в mean_value средната, а в median_value медианата на стойността на продадените поръчки. Нарисувай хистограма с 50 стълба и двете стойности като вертикални линии, с легенда.

Pythonданни: таблиците на магазина

import pandas as pd
import matplotlib.pyplot as plt

orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at'])
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
per_order = items.groupby('order_id', as_index=False).agg(
    revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum'))
orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one')
# Оборотът е без отказаните поръчки.
sold = orders[orders['status'] != 'cancelled']
values = sold['revenue']
mean_value = ...
median_value = ...
fig, ax = plt.subplots()
ax.hist(values, bins=50, color='lightgray')

import pandas as pd import matplotlib.pyplot as plt orders = pd.read_csv('year_orders.csv', parse_dates=['ordered_at']) items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] per_order = items.groupby('order_id', as_index=False).agg( revenue=('revenue', 'sum'), lines=('product_id', 'size'), pieces=('quantity', 'sum')) orders = orders.merge(per_order, left_on='id', right_on='order_id', how='left', validate='one_to_one') # Оборотът е без отказаните поръчки. sold = orders[orders['status'] != 'cancelled'] values = sold['revenue'] mean_value = ... median_value = ... fig, ax = plt.subplots() ax.hist(values, bins=50, color='lightgray')

Провери▶ Изпълни

Тест

Провери се

1. Какво показва един стълб на хистограмата на стойността на поръчките?

Средната стойност на поръчките в един месецСтойността на една поръчкаКолко поръчки имат стойност в интервала под стълба

2. С bins=4 хистограмата показва, че 9 091 поръчки са между 0,80 и 20,28 €. Какво губиш спрямо bins=80?

Формата вътре в стълба: че най-много поръчки са между 2 и 8 € и броят пада плавноНищо, броят на поръчките е същиятНай-голямата поръчка

3. Какво е линията вътре в кутията на кутията с мустаци?

Най-честата стойностМедианатаСредната

4. Диаграма на разсейване с 10 459 точки изглежда като плътни сини колони. Какво помага?

По-голяма графика с figsizeПрозрачност: alpha=0.05, така гъстото става тъмно, а рядкото бледоПовече стълбове: bins=100

5. Средната поръчка е 10,63 €, а медианата е 7,70 €. Какво казват двете числа заедно?

Повечето поръчки са над 10,63 €Има дълга опашка от големи поръчки, която дърпа средната нагоре; типичната поръчка е по-близо до 7,70 €В данните има грешка, двете трябва да са равни

Провери

Започни урока отначало

Свързани уроци

• Нужно отпреди: Групи: groupby · Съединяване: merge · Първата графика · Коя графика за какъв въпрос
• Продължава в: Описание на данните · Извадка и популация · Доверителен интервал · Корелация и причина
• Задачи по темата: Графики