Das NumPy-Array in Python

Problem

„Schlag auf jeden Preis die Mehrwertsteuer auf“

Der Shop hat 25 Produkte. Der Chef will die Preise mit Mehrwertsteuer: jeder Preis mal 1,2. Danach will er ein Jahr Verkäufe pro Tag: 25 Produkte an 365 Tagen, das sind 9.125 Zahlen.

Bisher lebten Zahlen in Python in einer Liste. Eine Liste rechnet aber nicht:

PythonDaten: die Tabellen des Shops

prices = [1.2, 1.9, 0.8]
print(prices * 2)
prices * 1.2

* 2 verdoppelt die Preise nicht, es wiederholt die Liste zweimal. * 1.2 ist ein Fehler. Bleibt eine for-Schleife für jede Rechnung, und bei 9.125 Zahlen, dann bei einer Million, wird der Code lang und langsam.

Die Idee

Ein Array: ein Block von Zahlen

Eine Liste ist eine Sammlung einzelner Objekte. Jeder ihrer Plätze enthält eine Adresse, und die Zahl selbst liegt woanders im Speicher, mit ihrer eigenen Python-„Hülle“. Deshalb kann eine Liste alles halten: eine Zahl, Text, eine andere Liste.

Die Datenanalyse braucht das nicht. Sie braucht viele Zahlen desselben Typs. NumPy ist die Bibliothek dafür, und ihr Kern ist das Array: Die Zahlen liegen nebeneinander in einem Block des Speichers, alle vom selben Typ. Hier sind eine Million Preise als Liste und als Array:

PythonDaten: die Tabellen des Shops

import sys
import numpy as np

# eine Million verschiedene Preise: 0.00, 0.01, 0.02 …
prices = [i / 100 for i in range(1_000_000)]
list_bytes = sys.getsizeof(prices) + sum(sys.getsizeof(p) for p in prices)
array = np.array(prices)
print('Liste: ', round(list_bytes / 1_000_000, 1), 'MB')
print('Array: ', round(array.nbytes / 1_000_000, 1), 'MB')

Die Liste braucht 20,2 MB und das Array 8,0 MB: 8 Byte pro Preis und nichts weiter. Die Sandbox ist 32-Bit. Auf einem gewöhnlichen 64-Bit-Computer sind Adressen und Hüllen größer, und die Liste wächst auf etwa 32 MB, während das Array bei 8 MB bleibt.

Ein Block gleichartiger Zahlen lässt sich auch schneller abarbeiten: NumPy läuft mit fertigem C-Code darüber, ohne bei jeder Zahl nach dem Typ zu fragen. Hier ist die Mehrwertsteuer auf eine Million Preise:

PythonDaten: die Tabellen des Shops

import time
import numpy as np

prices = [i / 100 for i in range(1_000_000)]
array = np.array(prices)

start = time.perf_counter()
with_vat = [p * 1.2 for p in prices]
list_time = time.perf_counter() - start

start = time.perf_counter()
array_vat = array * 1.2
array_time = time.perf_counter() - start

print('Das Array ist schneller:', array_time < list_time)

array * 1.2 multipliziert alle Preise auf einmal. In der Sandbox ist das Array mehrmals schneller als die Schleife. Auf einem gewöhnlichen Computer ist der Abstand das Zehnfache und mehr. Die genaue Zeit hängt vom Rechner ab, deshalb sagt der Code nur, was schneller ist.

Genauer, für Neugierige

import numpy as np ist die Gewohnheit aller, wie pd bei pandas. pandas selbst baut auf NumPy auf: Eine Spalte der Tabelle hält ihre Zahlen in einem Array. Was du hier lernst, gilt also auch für Tabellen.

Die Idee

Ein Array aus der Tabelle: dtype

Die Preise stehen schon in products.csv. to_numpy() nimmt eine Spalte der Tabelle als Array. Jedes Array kennt den Typ seiner Zahlen: Das ist der dtype.

PythonDaten: die Tabellen des Shops

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
print(prices[:5], prices.dtype)
print(stock[:5], stock.dtype)

prices[:5] liefert die ersten fünf, wie bei einer Liste. Ein Array wird ohne Kommas ausgegeben: [1.2 1.9 0.8 2.5 1.6].

float64: Dezimalzahlen, je 8 Byte (64 Bit). So sind die Preise.
int64: ganze Zahlen, ebenfalls je 8 Byte. So ist der Bestand.

Sieh es dir an

Wenn sich Typen mischen

Für das ganze Array gibt es einen Typ. Was passiert, wenn du Verschiedenes hineinlegst?

PythonDaten: die Tabellen des Shops

import numpy as np

print(repr(np.array([40, 25, 1.5])))
print(repr(np.array([1.2, 1.9, '0.8'])))

Ganze und Dezimalzahlen: Alle werden zu Dezimalzahlen. 40 wird ohne Verlust zu 40.0, umgekehrt würde 1.5 abgeschnitten.
Ein einziges Stück Text: Alles wird zu Text. <U32 bedeutet einen String von bis zu 32 Zeichen. Die Zahlen sind keine Zahlen mehr.

1. Was liefert np.array([1.2, 1.9, '0.8']) * 2?Einen Fehler: Das Array ist Text, und NumPy multipliziert keinen Text mit einer Zahlarray([2.4, 3.8, '0.80.8'])array([2.4, 3.8, 1.6])

Ein einziges Anführungszeichen reicht: Alles in einem Array hat einen Typ, also wird auch 1.2 zum Text '1.2'. Die Rechnung scheitert mit einem TypeError. Eine als Text gespeicherte Zahl ist in echten Dateien ein häufiges Ärgernis: „1,60 €“ statt 1.6.

Genauer, für Neugierige

Schreibst du np.array([40, 25, 60]) in der Sandbox, ist der Typ int32, nicht int64. Die Standardart der ganzen Zahl richtet sich nach der Maschine, und die Sandbox ist 32-Bit. Auf deinem Computer ist es int64. Spalten, die mit pandas gelesen werden, sind auch hier int64. Für Mengen in einem Shop genügen beide Typen: int32 fasst Zahlen bis etwa 2,1 Milliarden.

Die Idee

Die Form: shape und ndim

Die Preise sind eine Reihe von Zahlen. Die Verkäufe pro Woche sind eine Tabelle: eine Zeile für jedes Produkt, eine Spalte für jede Woche. Ein Array kann beides sein.

shape ist die Form: wie viele Zahlen es in jeder Richtung gibt.
ndim ist die Zahl der Richtungen (Dimensionen).

PythonDaten: die Tabellen des Shops

import numpy as np
import pandas as pd

prices = pd.read_csv('products.csv')['price'].to_numpy()
print(prices.shape, prices.ndim)

# Stück von 3 Produkten in 4 Wochen: Zeile = Produkt, Spalte = Woche
qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
print(qty.shape, qty.ndim)
qty

Die Preise haben die Form (25,): eine Dimension mit 25 Zahlen. Das Komma steht da, weil eine Form immer ein Paar, ein Tripel und so weiter ist (ein Tupel), auch mit nur einer Zahl darin. Die Tabelle ist (3, 4): 3 Zeilen (die Produkte) und 4 Spalten (die Wochen). Zuerst die Zeilen, dann die Spalten, wie bei shape in pandas.

Probier es aus

Produkte und Wochen

qty enthält Stück pro Produkt (Zeilen) und pro Woche (Spalten). Lege die Zahl der Produkte in n_products und die Zahl der Wochen in n_weeks ab, aus der Form des Arrays genommen.

PythonDaten: die Tabellen des Shops

import numpy as np

qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
n_products = ...
n_weeks = ...

Lösung

import numpy as np

qty = np.array([
    [4, 2, 5, 3],
    [1, 0, 2, 2],
    [6, 7, 5, 8],
])
n_products = qty.shape[0]
n_weeks = qty.shape[1]

Die Idee

Fertige Arrays: arange und zeros

Oft kommt ein Array nicht aus einer Datei, du machst es selbst:

np.arange(start, ende) liefert aufeinanderfolgende Zahlen, wie range. Das Ende gehört nicht dazu.
np.zeros(shape) liefert ein Array aus Nullen. Das ist praktisch für eine Tabelle, die du füllen wirst. Die Form einer Tabelle ist ein Paar: np.zeros((Zeilen, Spalten)), mit doppelten Klammern.

PythonDaten: die Tabellen des Shops

import numpy as np

days = np.arange(1, 366)
print(days[:3], days[-3:], days.shape)

sales = np.zeros((25, 365))
print(sales.shape, sales.dtype, sales.size)

Die Tage laufen von 1 bis 365, also ist das Ende 366. Die Tabelle für ein Jahr Verkäufe ist (25, 365): 9.125 Nullen vom Typ float64, bereit für die Zahlen.

Übung

Die Preisliste und das Jahr

Lege days mit den Tagen von 1 bis 365 an und sales: eine Tabelle aus Nullen mit einer Zeile für jedes der 25 Produkte und einer Spalte für jeden Tag.

PythonDaten: die Tabellen des Shops

import numpy as np

days = ...
sales = ...

Lösung

import numpy as np

days = np.arange(1, 366)
sales = np.zeros((25, 365))

Lege die Preise und den Bestand in eine Array-Tabelle mit zwei Zeilen: in der ersten die Preise, in der zweiten den Bestand. Lege den Typ der Tabelle in kind ab.

PythonDaten: die Tabellen des Shops

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
table = ...
kind = ...

Lösung

import numpy as np
import pandas as pd

products = pd.read_csv('products.csv')
prices = products['price'].to_numpy()
stock = products['stock'].to_numpy()
table = np.array([prices, stock])
kind = table.dtype

Test

Teste dich

1. Warum braucht ein Array mit einer Million Preisen weniger Speicher als eine Liste mit denselben Preisen?Das Array rundet die PreiseDas Array behält nur die verschiedenen PreiseDas Array hält die Zahlen selbst in einem Block, die Liste hält Adressen einzelner Objekte

Jede Zahl in einer Liste ist ein eigenes Python-Objekt mit seiner eigenen „Hülle“, und die Liste hält nur ihre Adressen. Ein Array ist ein Block von 8 Byte pro Zahl (float64). In der Sandbox sind das 20,2 MB gegen 8,0 MB.

2. Was ist der dtype von np.array([40, 25, 1.5])?Beide: int64 für die ersten zwei und float64 für die letzteint64float64

Für das ganze Array gibt es einen Typ. Eine ganze Zahl wird ohne Verlust zur Dezimalzahl (40 → 40.0), umgekehrt würde 1.5 abgeschnitten. Also gewinnt float64.

3. Die Verkäufe von 25 Produkten an 7 Tagen stehen in einem Array mit einer Zeile pro Produkt. Was ist sales.shape?175(25, 7)(7, 25)

Zuerst die Zeilen (die Produkte), dann die Spalten (die Tage). 175 ist sales.size, die Zahl aller Zahlen.

4. Welche Tage liefert np.arange(1, 8)?0, 1, 2, 3, 4, 5, 6, 71, 2, 3, 4, 5, 6, 7, 81, 2, 3, 4, 5, 6, 7

Wie range hört arange vor dem Ende auf. Für eine Woche von 1 bis 7 ist das Ende 8.

Das NumPy-Array

Cookies