Contrastar una hipótesis

En resumen: Un contraste de hipótesis pregunta si una diferencia podría ser casualidad: la hipótesis nula dice «no hay diferencia», y el valor p es cuántas veces el azar da una diferencia al menos así de grande.

Problema

«¿Es el viernes de verdad más fuerte?»

El jefe quiere poner una persona más en el empaquetado los viernes y quitar una los domingos. Antes pregunta: ¿el viernes es de verdad más fuerte, o este año simplemente salió así? Esto es cuántos pedidos entran de media por día, según el día de la semana (0 es lunes, 6 es domingo):

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')

print(len(daily))
print(daily[weekday == 4].min(), daily[weekday == 4].max())
daily.groupby(weekday).mean().round(2)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') print(len(daily)) print(daily[weekday == 4].min(), daily[weekday == 4].max()) daily.groupby(weekday).mean().round(2)

▶ EjecutarRestaurar el código

Contamos todos los pedidos, también los cancelados: la pregunta es cuántos llegan, y un pedido cancelado también se recibe y se tramita. Un viernes entran de media 36,35 pedidos, y un domingo 24,62. El año tiene 52 viernes y también 52 domingos. Cada día es un poco distinto: un viernes trae 22 pedidos, otro 68. ¿Es real una diferencia de 11,73 pedidos, o es ruido como en la lección sobre muestras?

La idea

Si el día no importara

La pregunta «¿es el viernes más fuerte que el domingo?» es una hipótesis. Para comprobarla, partes de la explicación aburrida: el día no importa y la diferencia es casualidad. Esa es la hipótesis nula.

Si la hipótesis nula es cierta, las etiquetas «viernes» y «domingo» no significan nada. Puedes mezclarlas: pon los 104 días en un montón, mézclalos y di que los primeros 52 son «viernes» y los otros 52 «domingos». La diferencia entre las dos mitades es la diferencia que da el azar por sí solo:

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')

fri = daily[weekday == 4].to_numpy()
sun = daily[weekday == 6].to_numpy()
gap = fri.mean() - sun.mean()
both = np.concatenate([fri, sun])
print(len(fri), len(sun), round(gap, 2))

rng = np.random.default_rng(42)
for i in range(3):
    shuffled = rng.permutation(both)
    print(round(shuffled[:52].mean() - shuffled[52:].mean(), 2))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') fri = daily[weekday == 4].to_numpy() sun = daily[weekday == 6].to_numpy() gap = fri.mean() - sun.mean() both = np.concatenate([fri, sun]) print(len(fri), len(sun), round(gap, 2)) rng = np.random.default_rng(42) for i in range(3): shuffled = rng.permutation(both) print(round(shuffled[:52].mean() - shuffled[52:].mean(), 2))

▶ EjecutarRestaurar el código

La diferencia real es de 11,73 pedidos. Tres mezclas dan 0,50, 1,23 y 1,46. np.concatenate pega los dos arreglos en uno, y rng.permutation devuelve una copia mezclada.

La idea

10 000 mezclas y el valor p

Tres mezclas son pocas. Haces 10 000 de una vez: np.tile repite los 104 días en 10 000 filas, y rng.permuted(..., axis=1) mezcla cada fila por separado. Luego un solo cálculo da la diferencia de cada fila:

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')

fri = daily[weekday == 4].to_numpy()
sun = daily[weekday == 6].to_numpy()
gap = fri.mean() - sun.mean()
both = np.concatenate([fri, sun])

rng = np.random.default_rng(42)
shuffled = rng.permuted(np.tile(both, (10_000, 1)), axis=1)
gaps = shuffled[:, :52].mean(axis=1) - shuffled[:, 52:].mean(axis=1)
print(shuffled.shape, round(np.abs(gaps).max(), 2))
p = (np.abs(gaps) >= abs(gap)).mean()
print(round(gap, 2), p)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') fri = daily[weekday == 4].to_numpy() sun = daily[weekday == 6].to_numpy() gap = fri.mean() - sun.mean() both = np.concatenate([fri, sun]) rng = np.random.default_rng(42) shuffled = rng.permuted(np.tile(both, (10_000, 1)), axis=1) gaps = shuffled[:, :52].mean(axis=1) - shuffled[:, 52:].mean(axis=1) print(shuffled.shape, round(np.abs(gaps).max(), 2)) p = (np.abs(gaps) >= abs(gap)).mean() print(round(gap, 2), p)

▶ EjecutarRestaurar el código

La mayor diferencia de 10 000 mezclas es de 7,50 pedidos. La real es de 11,73. La proporción de mezclas con una diferencia al menos así de grande es el valor p: aquí es 0, es decir, menos de 1 entre 10 000. Si el día no importara, una diferencia así casi nunca saldría. La conclusión: el viernes es de verdad más fuerte.

Este enfoque se llama prueba de permutaciones. np.abs está ahí porque la pregunta es «¿hay una diferencia?», sin decir de antemano en qué dirección. El umbral habitual es 0,05: por debajo, dices que la diferencia es estadísticamente significativa.

Pruébalo

Lunes y sábado

1. La prueba de permutaciones de viernes contra domingo da p = 0 en 10 000 mezclas. ¿Qué significa?

El viernes tiene muchos más pedidos que el domingoSi el día no importara, una diferencia de 11,73 pedidos casi nunca saldría por casualidadLa probabilidad de que el viernes sea más fuerte es del 100 %

Comprobar

La diferencia entre lunes y sábado es menor. ¿Es casualidad? Guarda en gap la diferencia del número medio de pedidos por día (lunes menos sábado), en gaps las diferencias de 10 000 mezclas y en p el valor p.

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')

mon = daily[weekday == 0].to_numpy()
sat = daily[weekday == 5].to_numpy()
gap = ...
both = np.concatenate([mon, sat])
rng = np.random.default_rng(42)
shuffled = ...
gaps = ...
p = ...
print(round(gap, 2), p)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') mon = daily[weekday == 0].to_numpy() sat = daily[weekday == 5].to_numpy() gap = ... both = np.concatenate([mon, sat]) rng = np.random.default_rng(42) shuffled = ... gaps = ... p = ... print(round(gap, 2), p)

Comprobar▶ Ejecutar

La idea

Cuando no hay diferencia

El domingo hay menos pedidos. ¿Son también más pequeños los propios pedidos? Aquí se comparan 10 459 pedidos sin los cancelados, no días, así que una tabla de números de 2000 × 10 459 ocuparía unos 170 MB. Un bucle con 2000 mezclas de la máscara tarda menos de un segundo:

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders = orders[orders['status'] != 'cancelled']
items['revenue'] = items['quantity'] * items['unit_price']
totals = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(totals)
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
value = orders['value'].to_numpy()

is_sun = (orders['ordered_at'].dt.dayofweek == 6).to_numpy()
gap = value[is_sun].mean() - value[~is_sun].mean()
print(is_sun.sum(), round(value[is_sun].mean(), 2), round(value[~is_sun].mean(), 2))

rng = np.random.default_rng(42)
gaps = np.empty(2_000)
for i in range(2_000):
    s = rng.permutation(is_sun)
    gaps[i] = value[s].mean() - value[~s].mean()
p = (np.abs(gaps) >= abs(gap)).mean()
print(round(gap, 2), round(p, 3))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders = orders[orders['status'] != 'cancelled'] items['revenue'] = items['quantity'] * items['unit_price'] totals = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(totals) orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) value = orders['value'].to_numpy() is_sun = (orders['ordered_at'].dt.dayofweek == 6).to_numpy() gap = value[is_sun].mean() - value[~is_sun].mean() print(is_sun.sum(), round(value[is_sun].mean(), 2), round(value[~is_sun].mean(), 2)) rng = np.random.default_rng(42) gaps = np.empty(2_000) for i in range(2_000): s = rng.permutation(is_sun) gaps[i] = value[s].mean() - value[~s].mean() p = (np.abs(gaps) >= abs(gap)).mean() print(round(gap, 2), round(p, 3))

▶ EjecutarRestaurar el código

Hay 1204 pedidos de domingo, con una media de 10,83 €, y los demás tienen de media 10,60 €. La diferencia es de 0,23 € y p = 0,425: en el 42,5 % de las mezclas la diferencia es al menos así de grande. Es ruido corriente.

La conclusión honesta es «no hay evidencia de que el pedido del domingo sea distinto». No es «hemos demostrado que son iguales»: puede haber una diferencia pequeña, solo que estos datos no la muestran. El domingo la gente pide con menos frecuencia, y no hay evidencia de que pida menos.

La idea

Lo que p no dice

El valor p responde una pregunta estrecha: cuán sorprendentes son los datos si la hipótesis nula es cierta. No es dos cosas con las que a menudo se confunde:

• no es la probabilidad de que la hipótesis sea cierta: p = 0,425 no significa «un 42,5 % de probabilidad de que no haya diferencia»;
• no es el tamaño de la diferencia: una p muy pequeña significa «no es casualidad», no «una diferencia grande».

Cuán grande es la diferencia lo dice la propia diferencia con un intervalo. Con el bootstrap de la lección anterior, por separado para los viernes y los domingos:

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')

fri = daily[weekday == 4].to_numpy()
sun = daily[weekday == 6].to_numpy()
gap = fri.mean() - sun.mean()

rng = np.random.default_rng(42)
fri_b = rng.choice(fri, size=(10_000, len(fri))).mean(axis=1)
sun_b = rng.choice(sun, size=(10_000, len(sun))).mean(axis=1)
low, high = np.quantile(fri_b - sun_b, [0.025, 0.975])
print(round(gap, 2), round(low, 2), round(high, 2))
print(round(fri.mean() / sun.mean(), 2))

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') fri = daily[weekday == 4].to_numpy() sun = daily[weekday == 6].to_numpy() gap = fri.mean() - sun.mean() rng = np.random.default_rng(42) fri_b = rng.choice(fri, size=(10_000, len(fri))).mean(axis=1) sun_b = rng.choice(sun, size=(10_000, len(sun))).mean(axis=1) low, high = np.quantile(fri_b - sun_b, [0.025, 0.975]) print(round(gap, 2), round(low, 2), round(high, 2)) print(round(fri.mean() / sun.mean(), 2))

▶ EjecutarRestaurar el código

El viernes tiene de media 11,73 pedidos más, con un intervalo del 95 % de 9,00 a 14,56. Es 1,48 veces el domingo. Con este número el jefe decide a cuánta gente pone, y p solo dice que no está persiguiendo ruido.

Más precisamente, para curiosos

El umbral de 0,05 es una convención, no una ley de la naturaleza. Con p = 0,06 los datos no son «casi evidencia», y con p = 0,04 no son «seguramente ciertos». Con muchísimos datos, incluso una diferencia diminuta da una p pequeña: con un millón de pedidos en cada grupo y una diferencia de 10 céntimos la prueba será «significativa», pero de ahí no se sigue ninguna decisión. Así que anota siempre las dos cosas, la diferencia y el intervalo.

La idea

Lo mismo con scipy

scipy.stats tiene las pruebas listas. ttest_ind (la prueba t) compara las medias de dos grupos con una fórmula. permutation_test hace la mezcla por ti, por tandas (batch), para que no se acabe la memoria:

Pythondatos: las tablas de la tienda

from scipy import stats

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders = orders[orders['status'] != 'cancelled']
items['revenue'] = items['quantity'] * items['unit_price']
totals = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(totals)
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
value = orders['value'].to_numpy()

is_sun = (orders['ordered_at'].dt.dayofweek == 6).to_numpy()
print(round(stats.ttest_ind(value[is_sun], value[~is_sun]).pvalue, 3))

def gap(x, y, axis):
    return np.mean(x, axis=axis) - np.mean(y, axis=axis)

res = stats.permutation_test((value[is_sun], value[~is_sun]), gap, n_resamples=2_000, vectorized=True, batch=100, rng=np.random.default_rng(42))
print(round(res.pvalue, 3))

orders = pd.read_csv('year_orders.csv')
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
daily = orders.set_index('ordered_at').resample('D').size()
weekday = daily.index.dayofweek.rename('weekday')
fri = daily[weekday == 4].to_numpy()
sun = daily[weekday == 6].to_numpy()
print(stats.ttest_ind(fri, sun).pvalue)

from scipy import stats import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders = orders[orders['status'] != 'cancelled'] items['revenue'] = items['quantity'] * items['unit_price'] totals = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(totals) orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) value = orders['value'].to_numpy() is_sun = (orders['ordered_at'].dt.dayofweek == 6).to_numpy() print(round(stats.ttest_ind(value[is_sun], value[~is_sun]).pvalue, 3)) def gap(x, y, axis): return np.mean(x, axis=axis) - np.mean(y, axis=axis) res = stats.permutation_test((value[is_sun], value[~is_sun]), gap, n_resamples=2_000, vectorized=True, batch=100, rng=np.random.default_rng(42)) print(round(res.pvalue, 3)) orders = pd.read_csv('year_orders.csv') orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) daily = orders.set_index('ordered_at').resample('D').size() weekday = daily.index.dayofweek.rename('weekday') fri = daily[weekday == 4].to_numpy() sun = daily[weekday == 6].to_numpy() print(stats.ttest_ind(fri, sun).pvalue)

▶ EjecutarRestaurar el código

Para el pedido del domingo la prueba t da 0,426, permutation_test 0,419 y nuestro bucle 0,425. La respuesta es la misma: no hay evidencia. Para viernes contra domingo la prueba t da 1,04 × 10⁻¹²: cero a efectos prácticos, como nuestro 0 de 10 000.

Más precisamente, para curiosos

La prueba t supone que la media de cada grupo está distribuida casi de forma normal. Con cientos de pedidos en un grupo eso es cierto (teorema central del límite). Con pocos datos y una cola larga la prueba de permutaciones es más segura, porque no supone nada sobre la distribución. permutation_test da una p algo distinta de la nuestra: las mezclas son otras, y además cuenta los propios datos como una de ellas, (cantidad + 1) / (mezclas + 1).

Ejercicio

Diciembre y viernes

En diciembre se venden tarjetas regalo. ¿Es el pedido de diciembre mayor que los pedidos de los demás meses, o es casualidad? Guarda en gap la diferencia del pedido medio (diciembre menos los demás meses) y en p el valor p. Puedes usar una prueba de permutaciones o stats.ttest_ind.

Pythondatos: las tablas de la tienda

from scipy import stats

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders = orders[orders['status'] != 'cancelled']
items['revenue'] = items['quantity'] * items['unit_price']
totals = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(totals)
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
value = orders['value'].to_numpy()

is_dec = ...
gap = ...
p = ...
print(round(gap, 2), p)

from scipy import stats import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders = orders[orders['status'] != 'cancelled'] items['revenue'] = items['quantity'] * items['unit_price'] totals = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(totals) orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) value = orders['value'].to_numpy() is_dec = ... gap = ... p = ... print(round(gap, 2), p)

Comprobar▶ Ejecutar

El pedido del viernes es algo menor que el de los demás días. ¿Hay evidencia de ello? Haz una prueba de permutaciones con 2000 mezclas (semilla 42): gap es la diferencia del pedido medio (viernes menos los demás días), p es el valor p y evidence indica si p está por debajo del umbral de 0,05.

Pythondatos: las tablas de la tienda

import numpy as np
import pandas as pd

orders = pd.read_csv('year_orders.csv')
items = pd.read_csv('year_items.csv')
orders = orders[orders['status'] != 'cancelled']
items['revenue'] = items['quantity'] * items['unit_price']
totals = items.groupby('order_id')['revenue'].sum()
orders['value'] = orders['id'].map(totals)
orders['ordered_at'] = pd.to_datetime(orders['ordered_at'])
value = orders['value'].to_numpy()

is_fri = (orders['ordered_at'].dt.dayofweek == 4).to_numpy()
gap = ...
rng = np.random.default_rng(42)
gaps = np.empty(2_000)
for i in range(2_000):
    s = ...
    gaps[i] = ...
p = ...
evidence = ...
print(round(gap, 2), p, evidence)

import numpy as np import pandas as pd orders = pd.read_csv('year_orders.csv') items = pd.read_csv('year_items.csv') orders = orders[orders['status'] != 'cancelled'] items['revenue'] = items['quantity'] * items['unit_price'] totals = items.groupby('order_id')['revenue'].sum() orders['value'] = orders['id'].map(totals) orders['ordered_at'] = pd.to_datetime(orders['ordered_at']) value = orders['value'].to_numpy() is_fri = (orders['ordered_at'].dt.dayofweek == 4).to_numpy() gap = ... rng = np.random.default_rng(42) gaps = np.empty(2_000) for i in range(2_000): s = ... gaps[i] = ... p = ... evidence = ... print(round(gap, 2), p, evidence)

Comprobar▶ Ejecutar

Test

Ponte a prueba

1. ¿Cuál es la hipótesis nula cuando comparas el pedido medio del domingo con el de los demás días?

El domingo hay cero pedidosEl día no importa: la diferencia viene solo del azarEl pedido del domingo es mayor

2. Para el pedido del domingo, p = 0,425. ¿Qué conclusión es honesta?

No hay evidencia de que el pedido del domingo sea distintoHemos demostrado que el pedido del domingo es igual a los demásEl pedido del domingo es mayor con una probabilidad del 42,5 %

3. ¿Por qué p se calcula con np.abs(gaps) >= abs(gap) y no con gaps >= gap?

La pregunta es «¿hay una diferencia?», en cualquier dirección: una diferencia grande en sentido contrario también cuentaabs hace p más pequeñaPorque las diferencias son siempre positivas

4. p para diciembre es 5,1 × 10⁻²³, y para viernes contra domingo 1,0 × 10⁻¹². ¿Significa eso que diciembre es la diferencia mayor?

No: p depende también de la cantidad de datos; el tamaño lo dan la diferencia y su intervaloSí: una p menor es una diferencia mayorSí: las dos p dicen más o menos lo mismo

Comprobar

Empezar la lección de nuevo

Lecciones relacionadas

• Se basa en: Fechas y series temporales · Describir los datos · Muestra y población · Intervalos de confianza
• Continúa en: Prueba A/B · Correlación y causa · ¿Por qué bajaron los ingresos?
• Ejercicios sobre el tema: Estadística para decidir