Към съдържанието
wannacode

Линейна регресия

Накратко: Линейната регресия предсказва число с права y = w · x + b, а средният квадрат на грешките (MSE) казва с едно число колко добре правата пасва на данните.

Проблем

Двама колеги, две прави

Складът иска да обещава часове, не дни. Ето 10 минали поръчки: разстоянието и за колко часа пристигнаха.

// минали поръчки: разстояние в km и часове до доставката
const KM = [30, 50, 80, 100, 130, 160, 200, 240, 270, 300];
const HOURS = [10, 11, 17, 17, 23, 24, 31, 33, 40, 44];

Двама колеги гледат точките и предлагат правило:

  • права A: всеки километър добавя 0,08 часа, плюс 12 часа в склада;
  • права B: всеки километър добавя 0,12 часа, плюс 6 часа в склада.

На графиката и двете изглеждат прилично. Колегите спорят цял следобед. Спорът няма да свърши, докато нямат едно число, което казва колко е добра правата.

Идеята

Правата като модел

Двете предложения са от един вид: часове = w · km + b.

  • w е наклонът: колко часа добавя всеки километър;
  • b е отместването: часовете при 0 km, тоест обработката в склада.

Модел, който предсказва число с права, се казва линейна регресия. Да научиш модела значи да избереш w и b.

// правата: часове = w · km + b
function predict(w, b, km) {
  return w * km + b;
}

За разлика от k най-близки съседи, правата не пази поръчките. Тя е две числа, а прогнозата е едно умножение и едно събиране. И продължава наклона си: за 500 km казва 0,12 · 500 + 6 = 66 часа, докато съседите на 500 km са поръчките от 300 km.

Идеята

Грешката на всяка поръчка

За всяка поръчка правата казва някакво число. Грешката е разликата: колко казва правата минус колко е било наистина. Положителна е, когато правата обещава повече, отрицателна, когато обещава по-малко.

Права B, поръчка по поръчка:

const w = 0.12, b = 6;
KM.forEach((km, i) => {
  const guess = predict(w, b, km);
  console.log(`${km} km: истина ${HOURS[i]} ч, правата ${guess.toFixed(2)} ч, грешка ${(guess - HOURS[i]).toFixed(2)}`);
});
console.log(`MSE: ${mse(w, b).toFixed(2)}`);
Изход
30 km: истина 10 ч, правата 9.60 ч, грешка -0.40
50 km: истина 11 ч, правата 12.00 ч, грешка 1.00
80 km: истина 17 ч, правата 15.60 ч, грешка -1.40
100 km: истина 17 ч, правата 18.00 ч, грешка 1.00
130 km: истина 23 ч, правата 21.60 ч, грешка -1.40
160 km: истина 24 ч, правата 25.20 ч, грешка 1.20
200 km: истина 31 ч, правата 30.00 ч, грешка -1.00
240 km: истина 33 ч, правата 34.80 ч, грешка 1.80
270 km: истина 40 ч, правата 38.40 ч, грешка -1.60
300 km: истина 44 ч, правата 42.00 ч, грешка -2.00
MSE: 1.83

Десет грешки, част с плюс, част с минус. Трябва ни едно число за цялата права.

Идеята

Едно число: средният квадрат

Всяка грешка се повдига на квадрат, квадратите се събират и се делят на броя на поръчките. Това е средният квадрат на грешките, MSE (mean squared error). Число, което казва колко е лош моделът, се казва функция на грешката (loss). По-малко е по-добре, а 0 значи, че правата минава през всяка точка.

// средният квадрат на грешките (MSE)
function mse(w, b) {
  let sum = 0;
  for (let i = 0; i < KM.length; i++) {
    const error = predict(w, b, KM[i]) - HOURS[i];
    sum += error * error;
  }
  return sum / KM.length;
}

Защо квадрат? Сравни трите прави. C е хоризонталната права през средното, 25 часа за всяка поръчка:

// средната грешка без квадрат
function meanError(w, b) {
  let sum = 0;
  for (let i = 0; i < KM.length; i++) {
    sum += predict(w, b, KM[i]) - HOURS[i];
  }
  return sum / KM.length;
}
const lines = { A: [0.08, 12], B: [0.12, 6], C: [0, 25] };
for (const [name, [w, b]] of Object.entries(lines)) {
  console.log(`права ${name}: MSE ${mse(w, b).toFixed(2)}, средна грешка ${meanError(w, b).toFixed(2)}`);
}
Изход
права A: MSE 17.35, средна грешка -0.52
права B: MSE 1.83, средна грешка -0.28
права C: MSE 124.00, средна грешка 0.00

Без квадрата права C има средна грешка 0,00: колкото е над точките, толкова е под тях, и плюсовете унищожават минусите. Най-лошата права „печели“. С квадрата нищо не се унищожава: C е 124, A е 17,35, а B е 1,83. Колегата с права B печели спора.

Квадратът прави и още нещо: голямата грешка тежи повече. Грешка от 4 часа дава 16, а две грешки по 2 часа дават общо 8. Правата, която греши малко навсякъде, е по-добра от тази, която е точна на половината поръчки и греши много на другата половина.

Виж го

Грешките като квадрати

function predict(w, b, km) {
  return w * km + b;
}


function mse(w, b) {
  let sum = 0;
  for (let i = 0; i < KM.length; i++) {
    const error = predict(w, b, KM[i]) - HOURS[i];
    sum += error * error;
  }
  return sum / KM.length;
}
Стъпка по стъпка, с думи
  1. 10 минали поръчки: колко km и за колко часа пристигнаха.
  2. Права A: 0,08 часа на km плюс 12 часа.
  3. Грешката на всяка поръчка: колко казва правата минус колко беше. Едни точки са над правата, други под нея.
  4. Всяка грешка на квадрат е квадрат със страна грешката. Средната им площ е MSE: 17,35.
  5. Права B: 0,12 часа на km плюс 6 часа. Правата се завърта, а квадратите се свиват.
  6. MSE на B е 1,83 срещу 17,35 на A.
  7. Правата с по-малка MSE е по-близо до точките. Едно число вместо спор.

Всеки квадрат е една грешка на квадрат: страната му е разстоянието от точката до правата. MSE е средната им площ. Права B е по-добра, защото квадратите ѝ са по-малки, не защото някой така е преценил.

Пробвай

Предвиди изхода

Куриерът взима 2 € на килограм. Три пратки от 1, 2 и 3 kg са стрували 3, 5 и 7 €. Какво ще отпечата програмата?

const kg = [1, 2, 3];
const price = [3, 5, 7];
let sum = 0;
for (let i = 0; i < 3; i++) {
  const error = 2 * kg[i] - price[i];
  sum += error * error;
}
console.log((sum / 3).toFixed(2));
Отговор

Пробвай

Попълни

Какво се добавя към сумата за всяка поръчка?

const error = predict(w, b, KM[i]) - HOURS[i];
sum += ;

Пробвай

Намери грешката

Колега пише функцията на грешката и сравнява правите. Неговата програма казва, че най-добрата е хоризонталната права C. На кой ред е грешката?

Избери реда с грешката.

Идеята

Кога правата лъже

Правата е най-простият модел и често е достатъчна. Но:

  • Светът не е прав. Ако след 300 km поръчката минава през друг склад и чака още ден, точките правят стъпало. Правата минава между двете части и греши и на двете.
  • Една странна точка. Поръчка, изгубена за седмица, е грешка от стотици часове, а квадратът ѝ тежи колкото всички останали заедно. Правата се накланя към нея и започва да лъже за нормалните поръчки. Такива точки се проверяват и махат или се мери със средната абсолютна грешка.
  • Далеч извън данните. Поръчките са до 300 km. За 2 000 km правата казва 246 часа, но никой не е проверил дали изобщо има такава доставка.
  • Връзка не значи причина. Правата казва, че по-далечните поръчки пътуват по-дълго. Тя не казва защо. Ако по-далечните градове просто се обслужват от по-бавен куриер, по-бърз куриер там ще счупи правата.

Правата, която колегите избраха на око, е само едно от безбройните w и b. Коя е най-добрата и как да я намериш без да гадаеш, е в урока за градиентното спускане.

По-точно, за любопитните

Формулата за най-добрата права. За една права има точна формула (метод на най-малките квадрати). w е колко се движат заедно km и часовете, делено на колко се движат самите km. b е такова, че правата минава през средната точка:

w = Σ (km − средно km) · (часове − средно часове) / Σ (km − средно km)², b = средно часове − w · средно km.

const n = KM.length;
let meanKm = 0, meanHours = 0;
for (let i = 0; i < n; i++) {
  meanKm += KM[i];
  meanHours += HOURS[i];
}
meanKm /= n;
meanHours /= n;
let top = 0, bottom = 0;
for (let i = 0; i < n; i++) {
  top += (KM[i] - meanKm) * (HOURS[i] - meanHours);
  bottom += (KM[i] - meanKm) * (KM[i] - meanKm);
}
const w = top / bottom;
const b = meanHours - w * meanKm;
console.log(`най-добрата права: ${w.toFixed(4)} ч/km, ${b.toFixed(2)} ч`);
console.log(`MSE: ${mse(w, b).toFixed(2)}`);
Изход
най-добрата права: 0.1241 ч/km, 5.64 ч
MSE: 1.62

Най-добрата права е малко по-добра от B (1,62 срещу 1,83). Колегата е преценил добре.

Защо не винаги формулата? Тя е за правата с квадратна грешка. При много признаци, при друга функция на грешката и при невронните мрежи точна формула няма или е твърде бавна. Затова се ползва градиентното спускане.

Повече признаци. Правата може да има по едно w за всеки признак: часове = w₁ · km + w₂ · kg + w₃ · пратки + b. Идеята и MSE са същите.

Средната абсолютна грешка (MAE) събира |грешка| вместо квадрата. Тя не наказва толкова голямата грешка и е по-спокойна към странни точки. MSE е по-гладка и затова по-удобна за градиентното спускане.

В библиотеките: LinearRegression в scikit-learn смята точно тази формула. В ML.NET е Sdca или Ols регресия.

Упражнение

Цената на куриера

Реши задачата в редактора си.

Куриерът не публикува ценоразписа си, но магазинът пази колко е платил за осем пратки:

// пратки: тегло в kg и цена на куриера в €
const KG = [0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 5.0, 6.0];
const EUR = [4.10, 4.60, 5.00, 5.60, 6.40, 7.50, 8.30, 9.40];

Колегите предлагат три прави за цената: A е 0,90 € на kg плюс 3,80 €, B е 1,10 € на kg плюс 3,20 €, C е 0,70 € на kg плюс 4,60 €. Напиши функцията на грешката (MSE), отпечатай я за трите и кажи коя е най-добра.

Изход
права A (0.90 €/kg + 3.80 €): MSE 0.0144
права B (1.10 €/kg + 3.20 €): MSE 0.0769
права C (0.70 €/kg + 4.60 €): MSE 0.2869
най-малка MSE: права A

Още задачи

  • Средната абсолютна грешка. Смени квадрата с абсолютна стойност. Сменя ли се победителят?
  • Формулата. Сметни най-добрата права с формулата от „По-точно“. Колко е по-добра от A?

Тест

Провери се

1. Правата е часове = 0,12 · km + 6. Какво значи 6?
2. Защо грешките се повдигат на квадрат, преди да се съберат?
3. Права A има MSE 17,35, а права B има MSE 1,83. Коя е по-добра за тези поръчки?
4. Една поръчка се изгубва и пристига след 200 часа вместо след 25. Какво става с правата с най-малка MSE?
5. Защо правата може да каже нещо за поръчка на 500 km, а k най-близки съседи не може?

Създаден от Иво Гергов като част от кампанията на Evo Tech за достъпно обучение по програмиране ·