Tipos y valores faltantes

En resumen: Cada columna en pandas tiene un tipo (dtype) que decide qué puedes hacer con ella, y los valores faltantes (NaN) se encuentran con isna y se rellenan con fillna o se eliminan con dropna.

Problema

«¿Qué día se pide más?»

El gerente quiere saber cuándo poner más gente en el almacén. El archivo year_orders.csv tiene 11 116 pedidos de un año, cada uno con fecha y hora. Parece un solo comando: tomar el día de la fecha y contar.

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
print(orders.dtypes)
orders['ordered_at'].dt.day_name()

import pandas as pd orders = pd.read_csv('year_orders.csv') print(orders.dtypes) orders['ordered_at'].dt.day_name()

▶ EjecutarRestaurar el código

Un error. dtypes dice por qué: ordered_at es str, texto. Para nosotros «2025-11-01 07:20» es una fecha, pero read_csv ve dígitos, guiones y dos puntos, y no adivina.

El tipo de una columna decide qué puedes hacer con ella. En esta lección verás cómo cambiarlo, qué tipos ahorran memoria y dan un orden, y qué pasa cuando falta un valor.

La idea

Cada columna tiene un tipo: astype

Cada columna de un DataFrame tiene un tipo (dtype). Has visto int64 y float64 para números y str para texto. También existen bool para True y False, datetime64 para fechas y category para unos pocos valores que se repiten.

read_csv adivina el tipo a partir del texto del archivo. Cuando adivina mal, o cuando necesitas otro, astype hace una columna de un tipo nuevo. En products la categoría es float64, porque la tarjeta de regalo no tiene categoría, y NaN es un número decimal. Los enteros con huecos los guarda el tipo Int64 (con I mayúscula):

Pythondatos: las tablas de la tienda

import pandas as pd

products = pd.read_csv('products.csv')
print(products['category_id'].dtype)
category = products['category_id'].astype('Int64')
print(category.dtype)
print(category.tail(3))

import pandas as pd products = pd.read_csv('products.csv') print(products['category_id'].dtype) category = products['category_id'].astype('Int64') print(category.dtype) print(category.tail(3))

▶ EjecutarRestaurar el código

Los números vuelven a ser enteros, y el hueco es <NA>: el signo para «nada» en los tipos más nuevos de pandas. Con astype(int) obtendrías el error IntCastingNaNError, porque un int normal no tiene sitio para un hueco.

1. prices guarda los precios de los cuatro primeros productos: 1.2, 1.9, 0.8 y 2.5. ¿Qué da prices.astype(int)?

1, 1, 0, 2: se corta la parte decimalUn error: un decimal no puede pasar a entero1, 2, 1, 2: redondea al más cercano

Comprobar

Míralo

Pocos valores, muchas filas: category

La columna status tiene 11 116 filas pero solo cinco palabras distintas. Como texto, cada palabra se guarda en cada fila. El tipo category guarda las cinco palabras una vez, y para cada fila solo el número de su palabra:

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
print(orders['status'].memory_usage(deep=True))
status = orders['status'].astype('category')
print(status.memory_usage(deep=True))
print(status.cat.categories)

import pandas as pd orders = pd.read_csv('year_orders.csv') print(orders['status'].memory_usage(deep=True)) status = orders['status'].astype('category') print(status.memory_usage(deep=True)) print(status.cat.categories)

▶ EjecutarRestaurar el código

377 057 bytes pasan a 11 345, unas 33 veces menos. En el año de la tienda es poco, pero en una tabla con millones de filas es la diferencia entre «cabe en la memoria» y «no cabe».

Una categoría tiene también un segundo uso: un orden. Los estados no son un alfabeto sino un camino: new, paid, shipped, delivered. CategoricalDtype con ordered=True fija ese orden:

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
# El camino de un pedido: new, paid, shipped, delivered. Los cancelados quedan fuera del camino, al final.
steps = pd.CategoricalDtype(['new', 'paid', 'shipped', 'delivered', 'cancelled'], ordered=True)
orders['status'] = orders['status'].astype(steps)
print(orders['status'].value_counts(sort=False))
print((orders['status'] < 'delivered').sum())

import pandas as pd orders = pd.read_csv('year_orders.csv') # El camino de un pedido: new, paid, shipped, delivered. Los cancelados quedan fuera del camino, al final. steps = pd.CategoricalDtype(['new', 'paid', 'shipped', 'delivered', 'cancelled'], ordered=True) orders['status'] = orders['status'].astype(steps) print(orders['status'].value_counts(sort=False)) print((orders['status'] < 'delivered').sum())

▶ EjecutarRestaurar el código

value_counts(sort=False) cuenta en el orden del camino, no por cantidad. La comparación < 'delivered' significa «antes de la entrega»: 205 pedidos siguen en camino. Los cancelados se ponen al final, fuera del camino.

Pruébalo

Los estados a lo largo del camino

Convierte la columna status en una categoría con el orden new, paid, shipped, delivered, cancelled, y guarda en status_counts cuántos pedidos hay en cada paso, en ese orden.

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
steps = ...
orders['status'] = ...
status_counts = ...
status_counts

import pandas as pd orders = pd.read_csv('year_orders.csv') steps = ... orders['status'] = ... status_counts = ... status_counts

Comprobar▶ Ejecutar

La idea

Fechas: pd.to_datetime y .dt

pd.to_datetime convierte el texto en fechas. La columna recibe el tipo datetime64 y ahora conoce el calendario. Las partes de una fecha salen de .dt: .dt.year, .dt.month, .dt.day_name() y muchas más:

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
print(orders['ordered_at'].dtype)
print(orders['ordered_at'].min(), orders['ordered_at'].max())
when = orders['ordered_at']
pd.DataFrame({'ordered_at': when, 'year': when.dt.year, 'month': when.dt.month, 'day': when.dt.day_name()}).head(3)

import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) print(orders['ordered_at'].dtype) print(orders['ordered_at'].min(), orders['ordered_at'].max()) when = orders['ordered_at'] pd.DataFrame({'ordered_at': when, 'year': when.dt.year, 'month': when.dt.month, 'day': when.dt.day_name()}).head(3)

▶ EjecutarRestaurar el código

El año va del 1 de noviembre de 2025, 7:20, al 31 de octubre de 2026, 23:01. El primer pedido es un sábado (Saturday: day_name() da los nombres de los días en inglés). .dt funciona solo con fechas: con el texto del principio dio el error.

Más sobre fechas (por semana, por mes, una media móvil) en la lección sobre el tiempo.

1. when es una columna de fechas. El primer pedido es del 1 de noviembre de 2025, un sábado. ¿Qué da when.dt.day para él?

5: el sábado es el sexto día, contando desde 0Sábado1: el día del mes

Comprobar

La idea

Texto: .str

Lo que .dt es para las fechas, .str lo es para el texto: aplica un método de cadena a cada fila de una vez. Viste str.contains con los filtros. También existen str.lower() y str.upper(), str.strip() (quita los espacios de los extremos), str.len(), str.split() y el corte como en una cadena: str[:18].

Las etiquetas de los estantes admiten 18 caracteres. ¿Qué nombres no caben, y cómo quedarán cortados?

Pythondatos: las tablas de la tienda

import pandas as pd

products = pd.read_csv('products.csv')
names = products['name']
print((names.str.len() > 18).sum())
long = products[names.str.len() > 18]
long[['name']].assign(label=long['name'].str[:18].str.upper())

import pandas as pd products = pd.read_csv('products.csv') names = products['name'] print((names.str.len() > 18).sum()) long = products[names.str.len() > 18] long[['name']].assign(label=long['name'].str[:18].str.upper())

▶ EjecutarRestaurar el código

4 nombres son más largos que 18 caracteres. str[:18] los corta, y str.upper() los pone en mayúsculas para la etiqueta. El resultado vuelve a ser una columna, así que assign la pone junto al nombre.

La idea

Valores faltantes: isna y notna

Casi toda tabla real tiene algo que falta: un cliente no dio su ciudad, la caja no mandó un informe. pandas escribe el hueco como NaN (NaT para fechas, <NA> para los tipos más nuevos). isna() da una máscara que es True donde falta un valor, y .sum() sobre ella cuenta los huecos de cada columna:

Pythondatos: las tablas de la tienda

import pandas as pd

customers = pd.read_csv('customers.csv')
print(customers.isna().sum())
customers[customers['city'].isna()]

import pandas as pd customers = pd.read_csv('customers.csv') print(customers.isna().sum()) customers[customers['city'].isna()]

▶ EjecutarRestaurar el código

Un cliente no tiene ciudad. notna() es la máscara contraria: True donde hay un valor. Filtras con las dos máscaras como con cualquier condición.

Míralo

Por qué 0 no es «faltante»

La banitsa y los pepinos tienen stock 0. ¿Es un hueco?

Pythondatos: las tablas de la tienda

import pandas as pd

products = pd.read_csv('products.csv')
print(products['stock'].isna().sum())
print((products['stock'] == 0).sum())
products.loc[products['stock'] == 0, ['name', 'stock']]

import pandas as pd products = pd.read_csv('products.csv') print(products['stock'].isna().sum()) print((products['stock'] == 0).sum()) products.loc[products['stock'] == 0, ['name', 'stock']]

▶ EjecutarRestaurar el código

isna() no encuentra nada en stock: los ceros son valores reales. 0 significa «sabemos que no hay», y NaN significa «no lo sabemos».

Ahora los ingresos por día de la lección de resúmenes, pero como Serie de pandas. Una diferencia importante: NumPy daba nan para la media, y pandas se salta los huecos:

Pythondatos: las tablas de la tienda

import pandas as pd

# Ingresos por día, de lunes a domingo. Falta el informe del miércoles.
revenue = pd.Series([412.5, 388.0, None, 455.2, 501.3, 620.8, 590.4])
print(revenue.count(), len(revenue))
print(round(revenue.mean(), 2))
print(round(revenue.sum(), 2))
print(round(revenue.fillna(0).mean(), 2))

import pandas as pd # Ingresos por día, de lunes a domingo. Falta el informe del miércoles. revenue = pd.Series([412.5, 388.0, None, 455.2, 501.3, 620.8, 590.4]) print(revenue.count(), len(revenue)) print(round(revenue.mean(), 2)) print(round(revenue.sum(), 2)) print(round(revenue.fillna(0).mean(), 2))

▶ EjecutarRestaurar el código

count() cuenta 6 días conocidos de 7. Su media es 494,70 €, como con np.nanmean. La suma, 2968,20 €, deja fuera en silencio el miércoles, eso sí: pandas no te avisa. Con fillna(0) la media baja a 424,03 €, porque el cero dice «el miércoles no vendimos nada», y eso no es verdad.

Más precisamente, para curiosos

El salto lo controla el parámetro skipna: revenue.mean(skipna=False) da nan, como NumPy. Es útil cuando prefieres que el resultado señale un hueco en lugar de dar en silencio un número más pequeño.

La idea

fillna, dropna o nada

Hay tres maneras de tratar un hueco, y la elección depende de la pregunta, no del código:

• fillna(valor), cuando sabes lo que significa el hueco. En un informe de «clientes por ciudad», una ciudad que falta es «desconocida»: es una respuesta, no una invención.
• dropna(), cuando la fila no puede responder a la pregunta. En un informe por categoría, la tarjeta de regalo no tiene adónde ir. subset=[...] mira solo las columnas indicadas.
• Nada, cuando no lo sabes. Los ingresos del miércoles no son 0, y la media de los días conocidos es más honesta.

Pythondatos: las tablas de la tienda

import pandas as pd

products = pd.read_csv('products.csv')
with_category = products.dropna(subset=['category_id'])
print(len(products), len(with_category))
print(products['category_id'].notna().sum())
customers = pd.read_csv('customers.csv')
customers['city'].fillna('desconocida').value_counts().tail(3)

import pandas as pd products = pd.read_csv('products.csv') with_category = products.dropna(subset=['category_id']) print(len(products), len(with_category)) print(products['category_id'].notna().sum()) customers = pd.read_csv('customers.csv') customers['city'].fillna('desconocida').value_counts().tail(3)

▶ EjecutarRestaurar el código

dropna quitó la tarjeta de regalo: de 25 productos quedan 24, tantos como cuenta notna() en la categoría. En un informe de «cuántos productos vendemos» eso sería un error. fillna('desconocida') convierte la ciudad que falta en una fila propia en value_counts.

Pruébalo

Clientes por ciudad

Marketing quiere saber de dónde son los clientes. Guarda en missing_city cuántos clientes no tienen ciudad, y en by_city cuántos clientes hay en cada ciudad, contando la ciudad que falta como «desconocida».

Pythondatos: las tablas de la tienda

import pandas as pd

customers = pd.read_csv('customers.csv')
missing_city = ...
by_city = ...
by_city

import pandas as pd customers = pd.read_csv('customers.csv') missing_city = ... by_city = ... by_city

Comprobar▶ Ejecutar

Ejercicio

El día con más pedidos

Responde al gerente. Convierte ordered_at en una fecha, pon el nombre del día de la semana en una columna nueva day, guarda en by_day cuántos pedidos hay en cada día, y en best_day el día con más pedidos.

Pythondatos: las tablas de la tienda

import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = ...
orders['day'] = ...
by_day = ...
best_day = ...
by_day

import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = ... orders['day'] = ... by_day = ... best_day = ... by_day

Comprobar▶ Ejecutar

Test

Ponte a prueba

1. La columna ordered_at se leyó de un CSV y tiene el tipo str. ¿Por qué orders['ordered_at'].dt.month da un error?

Porque la columna también tiene la horaPorque el mes viene de .str.month.dt funciona solo con fechas, y la columna es texto: primero pd.to_datetime

2. La columna status tiene 11 116 filas pero solo 5 valores distintos. ¿Qué ganas con astype('category')?

Nada: los valores son los mismosLa memoria baja mucho (unas 33 veces aquí), y con ordered=True los estados también tienen un ordenLa aritmética con la columna se vuelve más precisa

3. En los ingresos por día, un día es NaN. ¿Qué da revenue.mean() en pandas?

Un errorLa media de los días conocidos: pandas se salta los NaNnan, como en NumPy

4. Dos productos tienen stock 0, y uno tiene categoría NaN. ¿Cuál de ellos es «faltante»?

Solo los ceros: un estante vacío significa faltanteSolo la categoría: 0 unidades es un valor conocidoLos tres

5. Estás haciendo un informe de «cuántos productos vendemos», y la tarjeta de regalo no tiene categoría. ¿Qué haces con ella?

dropna(), para que la tabla no tenga NaNfillna(0) en category_idLa conservo: no tener categoría no la hace menos producto

Comprobar

Empezar la lección de nuevo

Lecciones relacionadas

• Se basa en: Series y DataFrame · Seleccionar: [], loc e iloc · Filtrar y ordenar · Columnas nuevas
• Continúa en: Grupos: groupby · Unir tablas: merge · Ancho y largo: pivot_table y melt · Fechas y series temporales
• Ejercicios sobre el tema: Tablas con pandas