Масивът на NumPy в Python

Проблем

„Сложи ДДС на всички цени“

Магазинът има 25 продукта. Управителят иска цените с ДДС: всяка цена по 1,2. След това иска година продажби по дни: 25 продукта по 365 дни, тоест 9 125 числа.

Числата в Python досега са били в списък. Само че списъкът не смята:

Pythonданни: таблиците на магазина

prices = [1.2, 1.9, 0.8]
print(prices * 2)
prices * 1.2

* 2 не удвоява цените, а повтаря списъка два пъти. * 1.2 е грешка. Остава цикъл for за всяка сметка, а с 9 125 числа, после с милион, кодът става дълъг и бавен.

Идеята

Масив: един блок от числа

Списъкът е сбор от отделни обекти. Във всяка негова клетка стои адрес, а самото число е другаде в паметта, със своя „опаковка“ на Python. Затова списъкът може да държи каквото и да е: число, текст, друг списък.

Анализът на данни не иска това. Той иска много числа от един и същи тип. NumPy е библиотеката за това, а основното ѝ нещо е масивът (array): числата са едно до друго в един блок памет, всичките от един тип. Ето милион цени като списък и като масив:

Pythonданни: таблиците на магазина

import sys
import numpy as np

# милион различни цени: 0.00, 0.01, 0.02 …
prices = [i / 100 for i in range(1_000_000)]
list_bytes = sys.getsizeof(prices) + sum(sys.getsizeof(p) for p in prices)
array = np.array(prices)
print('списък:', round(list_bytes / 1_000_000, 1), 'MB')
print('масив: ', round(array.nbytes / 1_000_000, 1), 'MB')

Списъкът заема 20,2 MB, а масивът 8,0 MB: по 8 байта на цена и нищо повече. Пясъчникът е 32-битов. На обикновен 64-битов компютър адресите и опаковките са по-големи и списъкът става около 32 MB, а масивът си остава 8 MB.

Блокът от еднакви числа се обработва и по-бързо: NumPy минава през него с готов код на C, без да пита за типа на всяко число. Ето ДДС-то на милион цени:

Pythonданни: таблиците на магазина

import time
import numpy as np

prices = [i / 100 for i in range(1_000_000)]
array = np.array(prices)

start = time.perf_counter()
with_vat = [p * 1.2 for p in prices]
list_time = time.perf_counter() - start

start = time.perf_counter()
array_vat = array * 1.2
array_time = time.perf_counter() - start

print('масивът е по-бърз:', array_time < list_time)

array * 1.2 умножава всички цени наведнъж. В пясъчника масивът е няколко пъти по-бърз от цикъла. На обикновен компютър разликата е десетки пъти. Точното време зависи от машината, затова кодът казва само кое е по-бързо.

По-точно, за любопитните

import numpy as np е навикът на всички, както pd за pandas. Самият pandas е построен върху NumPy: колоната на таблицата пази числата си в масив. Затова наученото тук важи и за таблиците.

Идеята

Масив от таблицата: dtype

Цените вече са в products.csv. to_numpy() взима колоната от таблицата като масив. Всеки масив знае типа на числата си: това е dtype.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
print(prices[:5], prices.dtype)
print(stock[:5], stock.dtype)

prices[:5] дава първите пет, както при списък. Масивът се печата без запетаи: [1.2 1.9 0.8 2.5 1.6].

float64: дробни числа, по 8 байта (64 бита). Такива са цените.
int64: цели числа, също по 8 байта. Такава е наличността.

Виж го

Когато типовете се смесят

Типът е един за целия масив. Какво става, ако сложиш различни неща в него?

Pythonданни: таблиците на магазина

import numpy as np

print(repr(np.array([40, 25, 1.5])))
print(repr(np.array([1.2, 1.9, '0.8'])))

Цели и дробни: всички стават дробни. 40 става 40.0 без загуба, а обратното би отрязало 1,5.
Едно парче текст: всичко става текст. <U32 значи низ до 32 знака. Числата вече не са числа.

1. Какво дава np.array([1.2, 1.9, '0.8']) * 2?array([2.4, 3.8, '0.80.8'])array([2.4, 3.8, 1.6])Грешка: масивът е от текст, а текст по число NumPy не умножава

Една кавичка е достатъчна: в масива всичко е от един тип, затова и 1.2 става текстът '1.2'. Сметката пада с TypeError. Числото като текст е честа беля в истинските файлове: „1,60 €“ вместо 1.6.

По-точно, за любопитните

Ако напишеш np.array([40, 25, 60]) в пясъчника, типът ще е int32, а не int64. Цялото число по подразбиране следва машината, а пясъчникът е 32-битов. На компютъра ти е int64. Колоните, прочетени с pandas, са int64 и тук. За бройки в магазин двата типа стигат: int32 държи числа до около 2,1 милиарда.

Идеята

Форма: shape и ndim

Цените са един ред числа. Продажбите по седмици са таблица: ред за всеки продукт, колона за всяка седмица. Масивът може да е и двете.

shape е формата: колко числа има по всяка посока.
ndim е броят на посоките (измеренията).

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

prices = pd.read_csv('products.csv')['price'].to_numpy()
print(prices.shape, prices.ndim)

# бройки от 3 продукта за 4 седмици: ред = продукт, колона = седмица
qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
print(qty.shape, qty.ndim)
qty

Цените са с форма (25,): едно измерение с 25 числа. Запетаята е там, защото формата винаги е двойка, тройка и т.н. (кортеж), дори с едно число в нея. Таблицата е (3, 4): 3 реда (продуктите) и 4 колони (седмиците). Първо са редовете, после колоните, както при shape в pandas.

Пробвай

Продукти и седмици

В qty има бройки по продукт (редове) и по седмица (колони). Запиши в n_products броя на продуктите, а в n_weeks броя на седмиците, взети от формата на масива.

Pythonданни: таблиците на магазина

import numpy as np

qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
n_products = ...
n_weeks = ...

Решение

import numpy as np

qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
n_products = qty.shape[0]
n_weeks = qty.shape[1]

Идеята

Готови масиви: arange и zeros

Често масивът не идва от файл, а го правиш сам:

np.arange(начало, край) дава поредни числа, като range. Краят не влиза.
np.zeros(форма) дава масив от нули. Удобен е за таблица, която ще попълваш. Формата на таблица е двойка: np.zeros((редове, колони)), с двойни скоби.

Pythonданни: таблиците на магазина

import numpy as np

days = np.arange(1, 366)
print(days[:3], days[-3:], days.shape)

sales = np.zeros((25, 365))
print(sales.shape, sales.dtype, sales.size)

Дните са от 1 до 365, затова краят е 366. Таблицата за година продажби е (25, 365): 9 125 нули от тип float64, готови за числата.

Упражнение

Ценоразписът и годината

Направи days с дните от 1 до 365 и sales: таблица от нули с ред за всеки от 25-те продукта и колона за всеки ден.

Pythonданни: таблиците на магазина

import numpy as np

days = ...
sales = ...

Решение

import numpy as np

days = np.arange(1, 366)
sales = np.zeros((25, 365))

Сложи цените и наличностите в един масив table с два реда: първият с цените, вторият с наличностите. Запиши в kind типа на table.

Pythonданни: таблиците на магазина

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
table = ...
kind = ...

Решение

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
table = np.array([prices, stock])
kind = table.dtype

Тест

Провери се

1. Защо масив от милион цени заема по-малко памет от списък със същите цени?Масивът пази само различните цениМасивът закръглява ценитеМасивът пази самите числа в един блок, а списъкът пази адреси към отделни обекти

Всяко число в списъка е отделен обект на Python със своя „опаковка“, а списъкът държи само адресите им. Масивът е блок от по 8 байта на число (float64). В пясъчника това е 20,2 MB срещу 8,0 MB.

2. Какъв е dtype на np.array([40, 25, 1.5])?int64Двата типа: int64 за първите две и float64 за последнотоfloat64

Типът е един за целия масив. Цяло число става дробно без загуба (40 → 40.0), а обратното би отрязало 1,5. Затова печели float64.

3. Продажбите на 25 продукта за 7 дни са в масив с ред за всеки продукт. Какво е sales.shape?175(7, 25)(25, 7)

Първо са редовете (продуктите), после колоните (дните). 175 е sales.size, броят на всички числа.

4. Кои дни дава np.arange(1, 8)?1, 2, 3, 4, 5, 6, 70, 1, 2, 3, 4, 5, 6, 71, 2, 3, 4, 5, 6, 7, 8

Както range, arange спира преди края. За седмица от 1 до 7 краят е 8.

Масивът на NumPy

Бисквитки