Извадка и популация

Накратко: Извадката е част от популацията, а средната ѝ скача от извадка на извадка; шумът намалява с корен от размера: 4 пъти повече данни дават наполовина по-малко шум.

Проблем

Две извадки, две средни

Управителят иска да знае колко е средната поръчка. Не му се чака отчетът за годината: взима 30 поръчки от системата и смята 12,11 €. Колежката му взима други 30 и получава 10,33 €.

Кой е прав? Нито един от двамата не е сгрешил в сметката. Различни са само поръчките, които са взели. Колко може да се вярва на средна от 30 поръчки? А от 3 000?

Идеята

Популация и извадка

Всичко, за което питаш, се казва популация (population): тук това са всички поръчки за годината без отказаните. Частта, която си погледнал, е извадка (sample).

Обикновено популацията не я виждаш цялата: всички клиенти, всички бъдещи поръчки. Тук я имаш и затова можеш да провериш колко греши една извадка. Истината е:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
print('поръчки:', len(values))
print('средна:', round(true_mean, 2))
print('стандартно отклонение:', round(values.std(), 2))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() print('поръчки:', len(values)) print('средна:', round(true_mean, 2)) print('стандартно отклонение:', round(values.std(), 2))

▶ ИзпълниВърни кода

Средната на всички 10 459 поръчки е 10,63 €. Всяка извадка ще я сравняваме с това число.

Идеята

Случайна извадка с NumPy

np.random.default_rng(42) създава генератор на случайни числа. 42 е seed: началото, от което тръгва. С едно и също seed всяко пускане дава едни и същи числа. Така примерите тук показват винаги същото, а ти можеш да провериш всеки резултат.

rng.choice(values, size=30, replace=False) взима 30 различни поръчки на случаен принцип. Три извадки от всеки размер:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
rng = np.random.default_rng(42)
for n in [30, 300, 3000]:
    means = [rng.choice(values, size=n, replace=False).mean() for _ in range(3)]
    print(n, 'поръчки:', np.round(means, 2))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() rng = np.random.default_rng(42) for n in [30, 300, 3000]: means = [rng.choice(values, size=n, replace=False).mean() for _ in range(3)] print(n, 'поръчки:', np.round(means, 2))

▶ ИзпълниВърни кода

Средните от 30 поръчки са 11,33 €, 12,11 € и 10,33 €: това са числата на управителя и колежката. При 300 поръчки са от 10,07 € до 11,42 €. При 3 000 са от 10,65 € до 11,02 €: по-близо една до друга и до истината 10,63 €.

1. Пускаш примера втори път, без да сменяш нищо. Какви средни ще видиш?

Същите само за 3 000 поръчкиСъщите: default_rng(42) тръгва всеки път от едно и също мястоДруги, защото изборът е случаен

Провери

Идеята

Хиляда извадки

Три извадки са малко, за да видиш колко скача средната. Нека са по 1 000 от всеки размер. rng.choice(values, size=(1000, n)) дава таблица 1 000 × n: всеки ред е една извадка. mean(axis=1) дава средната на всеки ред: 1 000 средни.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
fig, axes = plt.subplots(1, 3, figsize=(12, 3.5), sharex=True)
for ax, n in zip(axes, [30, 300, 3000]):
    # 1000 извадки по n поръчки: по една на ред.
    means = rng.choice(values, size=(1000, n)).mean(axis=1)
    low, high = np.quantile(means, [0.05, 0.95])
    print(n, 'поръчки: 90% от средните са между', round(low, 2), 'и', round(high, 2))
    ax.hist(means, bins=30)
    ax.axvline(true_mean, color='black')
    ax.set_title(f'{n} поръчки')
    ax.set_xlabel('средна на извадката, €')
fig.suptitle('1000 извадки от всеки размер')
fig.tight_layout()

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() import matplotlib.pyplot as plt rng = np.random.default_rng(42) fig, axes = plt.subplots(1, 3, figsize=(12, 3.5), sharex=True) for ax, n in zip(axes, [30, 300, 3000]): # 1000 извадки по n поръчки: по една на ред. means = rng.choice(values, size=(1000, n)).mean(axis=1) low, high = np.quantile(means, [0.05, 0.95]) print(n, 'поръчки: 90% от средните са между', round(low, 2), 'и', round(high, 2)) ax.hist(means, bins=30) ax.axvline(true_mean, color='black') ax.set_title(f'{n} поръчки') ax.set_xlabel('средна на извадката, €') fig.suptitle('1000 извадки от всеки размер') fig.tight_layout()

▶ ИзпълниВърни кода

Всяка хистограма е 1 000 средни, а черната линия е истината. При 30 поръчки 90% от средните са между 7,99 € и 13,85 €: извадка от 30 може да покаже почти всичко. При 300 са между 9,80 € и 11,50 €, а при 3 000 между 10,35 € и 10,91 €.

sharex=True дава на трите графики една и съща хоризонтална ос, за да се сравняват. Без него всяка графика щеше да се разтегне по своите средни и трите щяха да изглеждат еднакво широки.

По-точно, за любопитните

Тук извадките са с връщане (по подразбиране replace=True): една поръчка може да се падне два пъти в една извадка. Това позволява 1 000 извадки наведнъж, в една таблица. При 30 или 3 000 от 10 459 поръчки разликата с извадка без връщане е малка.

Поръчките имат дълга опашка надясно, а хистограмите на средните са симетрични, като камбана. Средната на достатъчно много поръчки се държи така почти каквито и да са самите поръчки: колкото по-дълга е опашката, толкова повече поръчки трябват за камбаната. Това се казва централна гранична теорема.

Идеята

Законът за големите числа

Какво става, ако трупаш поръчки една по една и след всяка смяташ средната до момента? np.cumsum дава сбора до всяка позиция. Делиш го на броя до нея (np.arange(1, 3001)) и имаш средната след 1, 2, … 3 000 поръчки:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
import matplotlib.pyplot as plt

rng = np.random.default_rng(7)
sample = rng.choice(values, size=3000, replace=False)
running = np.cumsum(sample) / np.arange(1, 3001)
for n in [10, 100, 1000, 3000]:
    print('след', n, 'поръчки:', round(running[n - 1], 2))

fig, ax = plt.subplots()
ax.plot(np.arange(1, 3001), running)
ax.axhline(true_mean, color='black', linestyle='--')
ax.set_xscale('log')
ax.set_title('Средната се успокоява, докато извадката расте')
ax.set_xlabel('поръчки в извадката')
ax.set_ylabel('средна до момента, €')

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() import matplotlib.pyplot as plt rng = np.random.default_rng(7) sample = rng.choice(values, size=3000, replace=False) running = np.cumsum(sample) / np.arange(1, 3001) for n in [10, 100, 1000, 3000]: print('след', n, 'поръчки:', round(running[n - 1], 2)) fig, ax = plt.subplots() ax.plot(np.arange(1, 3001), running) ax.axhline(true_mean, color='black', linestyle='--') ax.set_xscale('log') ax.set_title('Средната се успокоява, докато извадката расте') ax.set_xlabel('поръчки в извадката') ax.set_ylabel('средна до момента, €')

▶ ИзпълниВърни кода

След 10 поръчки средната е 11,29 €, след 100 е 9,82 €, след 1 000 е 10,96 €, а след 3 000 е 10,65 €. В началото скача силно, после се успокоява около истината. Това е законът за големите числа: колкото по-голяма е случайната извадка, толкова по-близо е средната ѝ до средната на популацията.

set_xscale('log') слага по хоризонталата 1, 10, 100, 1 000 на равни разстояния. Така и началото, където става всичко, и края се виждат.

Идеята

Шумът намалява с корена на n

С колко по-точна става средната, когато вземеш повече поръчки? Сравни 100, 400 и 1 600: всеки размер е 4 пъти по-голям от предишния.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
rng = np.random.default_rng(42)
for n in [100, 400, 1600]:
    means = rng.choice(values, size=(1000, n)).mean(axis=1)
    print(n, 'поръчки: шум', round(means.std(), 3), ' формула', round(values.std() / np.sqrt(n), 3))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() rng = np.random.default_rng(42) for n in [100, 400, 1600]: means = rng.choice(values, size=(1000, n)).mean(axis=1) print(n, 'поръчки: шум', round(means.std(), 3), ' формула', round(values.std() / np.sqrt(n), 3))

▶ ИзпълниВърни кода

Шумът е std на 1 000-те средни: 0,93 € при 100 поръчки, 0,447 € при 400 и 0,238 € при 1 600. Всеки път 4 пъти повече поръчки дават около два пъти по-малко шум. Шумът намалява с корена на размера, не със самия размер.

Затова има кратък път без симулация: стандартното отклонение на поръчките, разделено на корен от n. Това се казва стандартна грешка (standard error): 9,43 / √100 ≈ 0,94 €. Формулата и симулацията дават почти едно и също (0,472 € срещу 0,447 € при 400; разликата е шумът на самата симулация).

Цената е висока: за два пъти по-точна средна ти трябват 4 пъти повече данни, а за 10 пъти по-точна 100 пъти повече.

Пробвай

Шумът на 400 поръчки

Колко е шумът на средната от 400 поръчки? Направи 1 000 извадки по 400 поръчки и запиши в noise стандартното отклонение на техните средни.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
rng = np.random.default_rng(1)
means = ...
noise = ...
print(noise)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() rng = np.random.default_rng(1) means = ... noise = ... print(noise)

Провери▶ Изпълни

Идеята

„Декември падна десет пъти“

В първия урок на курса оборотът на малкия магазин през декември беше 22,70 €, а през октомври 255 €. Таблицата има 53 поръчки без отказаните, за 14 месеца: около 4 на месец. През декември са 2, през октомври 7.

Ако всички месеци бяха еднакви, каква разлика би дала само случайността? Пращаме всяка от 53-те поръчки в случаен месец и смятаме оборота на всеки месец. 1 000 пъти:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('orders.csv')
items = pd.read_csv('order_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
print('поръчки:', len(values))

# 1000 измислени години: всяка поръчка отива в случаен от 14-те месеца.
rng = np.random.default_rng(42)
month = rng.integers(0, 14, size=(1000, len(values)))
revenue = np.zeros((1000, 14))
for m in range(14):
    revenue[:, m] = np.where(month == m, values, 0).sum(axis=1)
ratio = revenue.max(axis=1) / revenue.min(axis=1)
print('най-силният месец е поне 10 пъти над най-слабия:', round((ratio >= 10).mean() * 100, 1), '%')

import numpy as np import pandas as pd orders = pd.read_csv('orders.csv') items = pd.read_csv('order_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) values = orders[orders['status'] != 'cancelled']['value'].to_numpy() print('поръчки:', len(values)) # 1000 измислени години: всяка поръчка отива в случаен от 14-те месеца. rng = np.random.default_rng(42) month = rng.integers(0, 14, size=(1000, len(values))) revenue = np.zeros((1000, 14)) for m in range(14): revenue[:, m] = np.where(month == m, values, 0).sum(axis=1) ratio = revenue.max(axis=1) / revenue.min(axis=1) print('най-силният месец е поне 10 пъти над най-слабия:', round((ratio >= 10).mean() * 100, 1), '%')

▶ ИзпълниВърни кода

rng.integers(0, 14, ...) дава на всяка поръчка номер на месец от 0 до 13. np.where(month == m, values, 0) оставя стойността само на поръчките от месец m, а sum(axis=1) ги събира за всяка измислена година.

В 85,6% от измислените години най-силният месец е поне 10 пъти над най-слабия. А в тях месеците по замисъл са еднакви. Десеторният спад не е знак за нищо: при 4 поръчки на месец той е обичайният шум.

В годишните данни месецът има средно около 870 поръчки и шумът е много по-малък. Затова декември там е наистина най-силен. Спадът през септември е друг въпрос: дали е шум и защо е, ще разберем в проекта.

Упражнение

Колко поръчки стигат?

Управителят иска средната поръчка с точност ±0,50 € в 95 от 100 случая. За извадки от 100, 300, 1 000, 2 000 и 3 000 поръчки направи по 1 000 извадки и запиши в close (речник: размер → дял) колко от средните са на най-много 0,50 € от истинската. В enough запиши най-малкия размер, който стига.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())
# Отказаните поръчки не са оборот: без тях.
values = orders[orders['status'] != 'cancelled']['value'].to_numpy()
true_mean = values.mean()
rng = np.random.default_rng(3)
close = {}
for n in [100, 300, 1000, 2000, 3000]:
    means = ...
    close[n] = ...
print(close)
enough = ...
print(enough)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) # Отказаните поръчки не са оборот: без тях. values = orders[orders['status'] != 'cancelled']['value'].to_numpy() true_mean = values.mean() rng = np.random.default_rng(3) close = {} for n in [100, 300, 1000, 2000, 3000]: means = ... close[n] = ... print(close) enough = ... print(enough)

Провери▶ Изпълни

Тест

Провери се

1. Средната от 100 поръчки има шум около 0,94 €. Какъв е шумът от 400 поръчки?

Около 0,24 €: 4 пъти по-малкоОколо 0,47 €: 4 пъти повече данни дават наполовина по-малко шумПак около 0,94 €

2. Стандартното отклонение на поръчките е 9,43 €, а стандартната грешка на средната от 100 поръчки е 0,94 €. Каква е разликата?

0,94 € е грешка в сметкатаЕдно и също са, само закръглени различно9,43 € е колко се различават отделните поръчки; 0,94 € е колко се мести средната от извадка на извадка

3. Извадка от 300 поръчки от годината дава средна с шум около 0,54 €. Ако магазинът имаше милион поръчки, а не 10 459, какъв щеше да е шумът на 300 от тях?

Почти същият: шумът зависи от размера на извадката, не от размера на популациятаСто пъти по-голямСто пъти по-малък

4. Малкият магазин има около 4 поръчки на месец. Декември е 22,70 €, октомври 255 €. Какво следва?

Нищо още: в 85,6% от измислените години, в които всички месеци са еднакви, има такава разликаДекември е бил слаб месецОктомври е бил силен заради рекламата

Провери

Започни урока отначало

Свързани уроци

• Нужно отпреди: Групи: groupby · Първата графика · Разпределения · Описание на данните
• Продължава в: Доверителен интервал · Проверка на хипотеза · A/B тест · Кръстосана проверка (cross-validation)
• Задачи по темата: Статистика за решения