Кръстосана проверка (cross-validation)

Накратко: Кръстосаната проверка (cross-validation) дели данните на няколко части и обучава и проверява модела много пъти, за да даде средна оценка с разсейване вместо едно случайно число.

Проблем

„Дървото или правата?“

Магазинът иска да знае колко поръчки ще направи всеки клиент през следващите 4 месеца. С това решава на кого да прати карта за отстъпка и колко стока да поръча. Признаците са от поръчките преди 1 юли 2026, както в урока за класификация: брой поръчки, дни от последната, откога купува и средна поръчка. Целта е броят поръчки от 1 юли до 31 октомври.

Ти казваш „линейна регресия“, а колегата казва „дърво с 3 нива“. Пускате ги на 6 различни разделяния на обучение и тест (random_state от 0 до 5) и мерите MAE в поръчки на клиент:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']

print(len(X), round(y.mean(), 2))
for seed in range(6):
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=seed)
    line = LinearRegression().fit(X_train, y_train)
    tree = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_train, y_train)
    line_mae = mean_absolute_error(y_test, line.predict(X_test))
    tree_mae = mean_absolute_error(y_test, tree.predict(X_test))
    print(seed, f'права {line_mae:.2f}', f'дърво {tree_mae:.2f}')

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] print(len(X), round(y.mean(), 2)) for seed in range(6): X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=seed) line = LinearRegression().fit(X_train, y_train) tree = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_train, y_train) line_mae = mean_absolute_error(y_test, line.predict(X_test)) tree_mae = mean_absolute_error(y_test, tree.predict(X_test)) print(seed, f'права {line_mae:.2f}', f'дърво {tree_mae:.2f}')

▶ ИзпълниВърни кода

Клиентите са 1 279 и правят средно 2,70 поръчки за 4-те месеца. При разделяния 0, 1, 2 и 4 дървото греши по-малко, а при 3 и 5 правата. Ако бяхте пуснали само разделяне 2, колегата щеше да спечели с 1,25 срещу 1,31. С разделяне 5 печелиш ти. Кой е прав?

Идеята

Една проверка е една извадка

Тестовата част е 256 клиенти, избрани случайно. Като средната от 30 поръчки в урока за извадките, и грешката на 256 клиенти е шумна: друга извадка дава друго число. Грешката на правата скача от 1,31 до 1,43 само заради това кои клиенти са попаднали в теста.

Разликата между двата модела е няколко стотни. Шумът от разделянето е десетина стотни. С една проверка не можеш да кажеш кой е по-добър, както не можеш да кажеш колко е средната поръчка от 30 поръчки.

1. При разделяне 0 дървото греши с 1,31 поръчки, а правата с 1,35. Какво следва от това?

Почти нищо: при друго разделяне на същите клиенти печели праватаПравата е сгрешенаДървото е по-добрият модел

Провери

Идеята

Кръстосана проверка

Решението е да провериш много пъти и всеки клиент да е в теста точно веднъж. Делиш клиентите на 5 части. Обучаваш на 4 и мериш на петата, после сменяш коя е тестовата. Получаваш 5 грешки за всеки модел. Това се казва кръстосана проверка (cross-validation).

KFold дели на части, а cross_val_score обучава и мери модела на всяка. С shuffle=True клиентите се разбъркват, преди да се разделят:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
kf = KFold(n_splits=5, shuffle=True, random_state=42)
for train, test in kf.split(X):
    print(len(train), len(test))

models = [
    ('средна', DummyRegressor()),
    ('права', LinearRegression()),
    ('дърво', DecisionTreeRegressor(max_depth=3, random_state=0)),
]
for name, model in models:
    mae = -cross_val_score(model, X, y, cv=kf, scoring='neg_mean_absolute_error')
    print(name, mae.round(2), f'{mae.mean():.2f} ± {mae.std():.2f}')

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] kf = KFold(n_splits=5, shuffle=True, random_state=42) for train, test in kf.split(X): print(len(train), len(test)) models = [ ('средна', DummyRegressor()), ('права', LinearRegression()), ('дърво', DecisionTreeRegressor(max_depth=3, random_state=0)), ] for name, model in models: mae = -cross_val_score(model, X, y, cv=kf, scoring='neg_mean_absolute_error') print(name, mae.round(2), f'{mae.mean():.2f} ± {mae.std():.2f}')

▶ ИзпълниВърни кода

Четири пъти учиш на 1 023 клиенти и проверяваш на 256, веднъж на 1 024 и 255. scikit-learn винаги търси най-голямото число, затова грешката идва с минус (neg_mean_absolute_error), а минусът отпред я обръща.

Базовата линия (средната, DummyRegressor) греши с 2,70 ± 0,09. Правата греши с 1,34 ± 0,06, а дървото с 1,38 ± 0,09. Числото след ± е разсейването на петте грешки (std). И двата модела бият базовата линия ясно, а разликата между тях (0,04) е по-малка от разсейването. Честният извод е „правата е малко по-добра, но не ясно“. Когато два модела са толкова близо, взимаш по-простия.

По-точно, за любопитните

Двата модела се сравняват на едни и същи части: затова kf е един и с random_state. cv=5 също дели на 5, но без да разбърква: първата част са първите 256 клиенти по ред. Ако таблицата е подредена (по номер, по дата на първата поръчка), частите са различни една от друга и оценката се изкривява.

Пробвай

Гората по-добра ли е?

Колегата предлага случайна гора (RandomForestRegressor с 50 дървета, max_depth=5). Провери я с кръстосана проверка на същите части kf. Запиши в forest_mae и line_mae петте грешки (MAE, положителни) на гората и на правата, в gap разликата в средната грешка (гора минус права), а в spread разсейването на грешките на гората.

Pythonданни: таблиците на магазина

from sklearn.ensemble import RandomForestRegressor

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
kf = KFold(n_splits=5, shuffle=True, random_state=42)

forest = RandomForestRegressor(n_estimators=50, max_depth=5, random_state=0)
forest_mae = ...
line_mae = ...
gap = ...
spread = ...
print(forest_mae.round(2), line_mae.round(2))
print(round(gap, 2), round(spread, 2))

from sklearn.ensemble import RandomForestRegressor import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] kf = KFold(n_splits=5, shuffle=True, random_state=42) forest = RandomForestRegressor(n_estimators=50, max_depth=5, random_state=0) forest_mae = ... line_mae = ... gap = ... spread = ... print(forest_mae.round(2), line_mae.round(2)) print(round(gap, 2), round(spread, 2))

Провери▶ Изпълни

Идеята

Преобучение

Защо дървото е с 3 нива, а не с 20? Колкото по-дълбоко е, толкова по-фино дели клиентите. Ето грешката на обучаващите и на тестовите клиенти за дълбочина от 1 до 12:

Pythonданни: таблиците на магазина

import matplotlib.pyplot as plt

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

depths = range(1, 13)
train_mae = []
test_mae = []
for depth in depths:
    tree = DecisionTreeRegressor(max_depth=depth, random_state=0).fit(X_train, y_train)
    train_mae.append(mean_absolute_error(y_train, tree.predict(X_train)))
    test_mae.append(mean_absolute_error(y_test, tree.predict(X_test)))
print([round(m, 2) for m in train_mae])
print([round(m, 2) for m in test_mae])

deep = DecisionTreeRegressor(random_state=0).fit(X_train, y_train)
print(deep.get_depth(), round(mean_absolute_error(y_train, deep.predict(X_train)), 3), round(mean_absolute_error(y_test, deep.predict(X_test)), 2))

fig, ax = plt.subplots()
ax.plot(depths, train_mae, marker='o', label='обучение')
ax.plot(depths, test_mae, marker='o', label='тест')
ax.set_title('Грешка на дървото според дълбочината')
ax.set_xlabel('Дълбочина (max_depth)')
ax.set_ylabel('MAE, поръчки на клиент')
ax.set_ylim(0, None)
ax.legend()

import matplotlib.pyplot as plt import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) depths = range(1, 13) train_mae = [] test_mae = [] for depth in depths: tree = DecisionTreeRegressor(max_depth=depth, random_state=0).fit(X_train, y_train) train_mae.append(mean_absolute_error(y_train, tree.predict(X_train))) test_mae.append(mean_absolute_error(y_test, tree.predict(X_test))) print([round(m, 2) for m in train_mae]) print([round(m, 2) for m in test_mae]) deep = DecisionTreeRegressor(random_state=0).fit(X_train, y_train) print(deep.get_depth(), round(mean_absolute_error(y_train, deep.predict(X_train)), 3), round(mean_absolute_error(y_test, deep.predict(X_test)), 2)) fig, ax = plt.subplots() ax.plot(depths, train_mae, marker='o', label='обучение') ax.plot(depths, test_mae, marker='o', label='тест') ax.set_title('Грешка на дървото според дълбочината') ax.set_xlabel('Дълбочина (max_depth)') ax.set_ylabel('MAE, поръчки на клиент') ax.set_ylim(0, None) ax.legend()

▶ ИзпълниВърни кода

На обучаващите клиенти грешката пада всеки път: от 1,87 до 0,41. На тестовите пада до дълбочина 3 (1,50) и после расте до 1,91. Дърво без ограничение стига 23 нива и греши с 0,001 на обучаващите, почти нула, а на тестовите с 2,00.

Дълбокото дърво не е научило повече за клиентите. То е запомнило всеки обучаващ клиент заедно с шума му: един клиент случайно е поръчал повече, друг по-малко. Това се казва преобучение (overfitting). Признакът е голяма разлика между грешката при обучение и при тест. Затова грешка върху данните, на които моделът е учил, нищо не казва за нови клиенти.

Пробвай

Избери дълбочината

Избери дълбочината на дървото с кръстосана проверка. Запиши в cv_mae (Series с индекс дълбочината от 1 до 10) средната MAE от cross_val_score с частите kf, а в best_depth дълбочината с най-малка грешка.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
kf = KFold(n_splits=5, shuffle=True, random_state=42)

cv_mae = pd.Series(dtype=float)
for depth in range(1, 11):
    tree = DecisionTreeRegressor(max_depth=depth, random_state=0)
    cv_mae[depth] = ...
best_depth = ...
print(cv_mae.round(2))
print(best_depth)

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] kf = KFold(n_splits=5, shuffle=True, random_state=42) cv_mae = pd.Series(dtype=float) for depth in range(1, 11): tree = DecisionTreeRegressor(max_depth=depth, random_state=0) cv_mae[depth] = ... best_depth = ... print(cv_mae.round(2)) print(best_depth)

Провери▶ Изпълни

Идеята

Когато редът е времето

Клиентите могат да се разбъркат: един клиент не знае нищо за друг. Дните не могат. Ако прогнозираш поръчките за утре, моделът ще има само миналото. Разбъркани части биха го учили и на дни след тестовите, а това е изтичането от предишния урок.

TimeSeriesSplit дели по времето: учи на началото и проверява на следващите дни, после учи на повече и проверява на още по-късни. Пример: поръчките за деня от деня от седмицата, поръчките преди 7 дни и средната за предишните 7 дни:

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import TimeSeriesSplit, cross_val_score
from sklearn.linear_model import LinearRegression
from sklearn.dummy import DummyRegressor

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size().rename('orders').to_frame()
daily['weekday'] = daily.index.dayofweek
daily['last_week'] = daily['orders'].shift(7)
daily['week_mean'] = daily['orders'].shift(1).rolling(7).mean()
daily = daily.dropna()
X = pd.get_dummies(daily['weekday'], prefix='day', dtype=int).join(daily[['last_week', 'week_mean']])
y = daily['orders']

print(len(daily), daily.index[0].date(), daily.index[-1].date())
ts = TimeSeriesSplit(n_splits=5)
for train, test in ts.split(X):
    print(daily.index[train[0]].date(), '…', daily.index[train[-1]].date(), '→', daily.index[test[0]].date(), '…', daily.index[test[-1]].date())

mae = -cross_val_score(LinearRegression(), X, y, cv=ts, scoring='neg_mean_absolute_error')
print(mae.round(2), f'{mae.mean():.2f} ± {mae.std():.2f}')

import numpy as np import pandas as pd from sklearn.model_selection import TimeSeriesSplit, cross_val_score from sklearn.linear_model import LinearRegression from sklearn.dummy import DummyRegressor orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size().rename('orders').to_frame() daily['weekday'] = daily.index.dayofweek daily['last_week'] = daily['orders'].shift(7) daily['week_mean'] = daily['orders'].shift(1).rolling(7).mean() daily = daily.dropna() X = pd.get_dummies(daily['weekday'], prefix='day', dtype=int).join(daily[['last_week', 'week_mean']]) y = daily['orders'] print(len(daily), daily.index[0].date(), daily.index[-1].date()) ts = TimeSeriesSplit(n_splits=5) for train, test in ts.split(X): print(daily.index[train[0]].date(), '…', daily.index[train[-1]].date(), '→', daily.index[test[0]].date(), '…', daily.index[test[-1]].date()) mae = -cross_val_score(LinearRegression(), X, y, cv=ts, scoring='neg_mean_absolute_error') print(mae.round(2), f'{mae.mean():.2f} ± {mae.std():.2f}')

▶ ИзпълниВърни кода

Първите 7 дни нямат „преди 7 дни“ и отпадат, остават 358. Всяка тестова част е 59 дни след обучаващата, а обучаващата расте: първо 2 месеца, накрая 10. Правата греши средно с 4,51 ± 0,18 поръчки на ден.

Пробвай

Бие ли базовата линия?

Сравни правата с базовата линия (DummyRegressor, средната на обучаващите дни) с TimeSeriesSplit на 5 части. Запиши в line_mae и base_mae петте грешки (MAE, положителни) на всеки.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import TimeSeriesSplit, cross_val_score
from sklearn.linear_model import LinearRegression
from sklearn.dummy import DummyRegressor

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size().rename('orders').to_frame()
daily['weekday'] = daily.index.dayofweek
daily['last_week'] = daily['orders'].shift(7)
daily['week_mean'] = daily['orders'].shift(1).rolling(7).mean()
daily = daily.dropna()
X = pd.get_dummies(daily['weekday'], prefix='day', dtype=int).join(daily[['last_week', 'week_mean']])
y = daily['orders']

ts = TimeSeriesSplit(n_splits=5)
line_mae = ...
base_mae = ...
print(line_mae.round(2), base_mae.round(2))
print(f'{line_mae.mean():.2f} ± {line_mae.std():.2f}', f'{base_mae.mean():.2f} ± {base_mae.std():.2f}')

import numpy as np import pandas as pd from sklearn.model_selection import TimeSeriesSplit, cross_val_score from sklearn.linear_model import LinearRegression from sklearn.dummy import DummyRegressor orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size().rename('orders').to_frame() daily['weekday'] = daily.index.dayofweek daily['last_week'] = daily['orders'].shift(7) daily['week_mean'] = daily['orders'].shift(1).rolling(7).mean() daily = daily.dropna() X = pd.get_dummies(daily['weekday'], prefix='day', dtype=int).join(daily[['last_week', 'week_mean']]) y = daily['orders'] ts = TimeSeriesSplit(n_splits=5) line_mae = ... base_mae = ... print(line_mae.round(2), base_mae.round(2)) print(f'{line_mae.mean():.2f} ± {line_mae.std():.2f}', f'{base_mae.mean():.2f} ± {base_mae.std():.2f}')

Провери▶ Изпълни

Идеята

Тестът се пипа веднъж

Ако пробваш 10 модела на тестовата част и вземеш най-добрия, тестът е участвал в избора. Един от десетте ще има късмет точно с тези клиенти и грешката му ще изглежда по-добра, отколкото е.

Затова редът е:

1. Отделяш тестова част в началото и не я гледаш.
2. Избираш модела и настройките му (дълбочина, признаци) с кръстосана проверка само на обучаващата част.
3. Обучаваш избрания модел на цялата обучаваща част и го мериш на теста веднъж. Това число казваш на управителя.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
kf = KFold(n_splits=5, shuffle=True, random_state=42)
print(len(X_train), len(X_test))

models = [
    ('средна', DummyRegressor()),
    ('права', LinearRegression()),
    ('дърво', DecisionTreeRegressor(max_depth=3, random_state=0)),
]
for name, model in models:
    mae = -cross_val_score(model, X_train, y_train, cv=kf, scoring='neg_mean_absolute_error')
    print(name, f'{mae.mean():.2f} ± {mae.std():.2f}')

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) kf = KFold(n_splits=5, shuffle=True, random_state=42) print(len(X_train), len(X_test)) models = [ ('средна', DummyRegressor()), ('права', LinearRegression()), ('дърво', DecisionTreeRegressor(max_depth=3, random_state=0)), ] for name, model in models: mae = -cross_val_score(model, X_train, y_train, cv=kf, scoring='neg_mean_absolute_error') print(name, f'{mae.mean():.2f} ± {mae.std():.2f}')

▶ ИзпълниВърни кода

На 1 023-те обучаващи клиенти базовата линия греши с 2,74 ± 0,17, правата с 1,32 ± 0,06, а дървото с 1,36 ± 0,07. Правата е с по-малка грешка и е по-проста: избираш нея. 256-те тестови клиенти още не са пипани.

По-точно, за любопитните

Ако след теста смениш модела и пак мериш на теста, тестът става част от избора. Тогава ти трябва нова тестова част: нови данни, например следващия месец. Затова при модел за поръчки най-честната проверка е времето след обучението, както в TimeSeriesSplit.

Идеята

Кога модел не трябва

Модел струва време: данни, обучение, следене дали не се разваля. Понякога не си струва:

• Малко данни. С няколко десетки клиенти грешката на кръстосаната проверка скача толкова, че не можеш да кажеш дали моделът бие средната.
• Правило без модел върши същото. „Клиентът ще купува със същото темпо“ е едно деление. Ако моделът не го бие ясно, правилото е по-добро: всеки го разбира и няма какво да се развали.
• Цената на грешката. Ако грешката е скъпа (откажеш кредит, спреш карта), моделът трябва да е много сигурен или човек да проверява.
• Никой не действа по прогнозата. Ако от числото не следва решение (на кого купон, колко стока), моделът е само упражнение.

Правата има коефициент 0,469 пред броя поръчки досега, а другите признаци почти не участват. Значи тя е почти „половината от досегашните поръчки“: 8 месеца преди, 4 месеца след. Провери го в упражнението.

Упражнение

Присъдата

Кръстосаната проверка на обучаващата част избра правата. Обучи я на X_train и я провери веднъж на теста: запиши в model обучения модел, в test_mae грешката му (MAE) на тестовите клиенти, а в base_mae грешката на базовата линия на теста.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = ...
test_mae = ...
base = DummyRegressor().fit(X_train, y_train)
base_mae = ...
print(round(test_mae, 2), round(base_mae, 2))

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = ... test_mae = ... base = DummyRegressor().fit(X_train, y_train) base_mae = ... print(round(test_mae, 2), round(base_mae, 2))

Провери▶ Изпълни

Бие ли правата едно правило без модел? Правилото е „клиентът ще купува със същото темпо“: за 4 месеца половината от поръчките му за 8-те месеца преди. Запиши в rule прогнозата на правилото за всеки тестов клиент, а в rule_mae грешката му на теста.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
items['revenue'] = items['quantity'] * items['unit_price']
orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum())

cutoff = pd.Timestamp('2026-07-01')
before = orders[orders['ordered_at'] < cutoff]
after = orders[orders['ordered_at'] >= cutoff]
customers = before.groupby('customer_id').agg(
    orders=('id', 'size'),
    last=('ordered_at', 'max'),
    first=('ordered_at', 'min'),
    avg_value=('value', 'mean'),
)
customers['days_since'] = (cutoff - customers['last']).dt.days
customers['tenure'] = (cutoff - customers['first']).dt.days
customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0)
X = customers[['orders', 'days_since', 'tenure', 'avg_value']]
y = customers['next']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression().fit(X_train, y_train)
model_mae = mean_absolute_error(y_test, model.predict(X_test))
rule = ...
rule_mae = ...
print(round(model_mae, 2), round(rule_mae, 2))
print(dict(zip(X.columns, model.coef_.round(3).tolist())))

import numpy as np import pandas as pd from sklearn.model_selection import KFold, cross_val_score, train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.dummy import DummyRegressor from sklearn.metrics import mean_absolute_error orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) items['revenue'] = items['quantity'] * items['unit_price'] orders['value'] = orders['id'].map(items.groupby('order_id')['revenue'].sum()) cutoff = pd.Timestamp('2026-07-01') before = orders[orders['ordered_at'] < cutoff] after = orders[orders['ordered_at'] >= cutoff] customers = before.groupby('customer_id').agg( orders=('id', 'size'), last=('ordered_at', 'max'), first=('ordered_at', 'min'), avg_value=('value', 'mean'), ) customers['days_since'] = (cutoff - customers['last']).dt.days customers['tenure'] = (cutoff - customers['first']).dt.days customers['next'] = after.groupby('customer_id').size().reindex(customers.index, fill_value=0) X = customers[['orders', 'days_since', 'tenure', 'avg_value']] y = customers['next'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = LinearRegression().fit(X_train, y_train) model_mae = mean_absolute_error(y_test, model.predict(X_test)) rule = ... rule_mae = ... print(round(model_mae, 2), round(rule_mae, 2)) print(dict(zip(X.columns, model.coef_.round(3).tolist())))

Провери▶ Изпълни

Тест

Провери се

1. Защо кръстосаната проверка дава по-надеждна оценка от едно разделяне?

Защото не ползва тестова частЗащото моделът учи на повече данни и става по-точенВсеки клиент е в теста точно веднъж, а оценката е средна от 5 проверки, и виждаш колко скачат

2. Дърво без ограничение греши с 0,001 поръчки на обучаващите клиенти и с 2,00 на тестовите. Какво значи това?

Тестовите данни са сгрешениДървото е почти съвършеноДървото е запомнило обучаващите клиенти заедно с шума им: това е преобучение

3. Прогнозираш поръчките за деня. Защо TimeSeriesSplit, а не KFold(shuffle=True)?

TimeSeriesSplit е по-бързМоделът трябва винаги да учи на миналото и да се проверява на по-късни дни, както ще се ползваKFold не работи с дати

4. Проверил си 10 модела на тестовата част и си избрал най-добрия. Колко е честна грешката му на теста?

Твърде песимистичнаТвърде оптимистична: тестът е участвал в избора, затова вече не е новНапълно честна, нали е тест

5. Правилото „половината от досегашните поръчки“ греши с 1,41, а правата с 1,38. Какво е разумно?

Да ползваш правата, защото е 0,03 по-точнаДа ползваш правилото: почти толкова точно е, всеки го разбира и няма какво да се поддържаДа търсиш по-сложен модел, докато не бие правилото с много

Провери

Започни урока отначало

Свързани уроци

• Нужно отпреди: Модел: учене от примери · Линейна регресия · Класификация · Изтичане на данни (data leakage)
• Задачи по темата: Модели със scikit-learn