Nivel de Significancia y p-valor

En toda prueba de hipótesis, uno de los primeros pasos es escoger un nivel de significancia; α, para la prueba. Tradicionalmente se escoge un nivel de significancia de α = 10; 5 o 1%. ¿Pero por qué utilizar solamente esos valores?

Cuando se analiza los errores tipo I (rechazo incorrecto de H_o) y tipo II (aceptación incorrecta de H_o), la elección del nivel de significancia va a depender de un equilibrio entre los costos de cada uno de estos dos tipos de error. Si el costo de un error tipo I es relativamente alto, se evitará cometer este tipo de error y, en consecuencia, se escogerá un valor pequeño de α. Por otro lado, si un error de tipo II es relativamente más caro, es preferible cometer un error del tipo I, y se escogerá un valor alto de α. Sin embargo, entender la naturaleza del equilibrio no dice mucho de la forma de escoger un nivel de significancia.

Suponga que tomamos una muestra, calculamos la media (muestral) y luego preguntamos: "Suponiendo que H_o fuera verdadera, ¿cuál es la probabilidad de obtener un valor de la media a esta distancia de la media de la población?" A esta probabilidad se le conoce como p-valor. Mientras que antes nos hacíamos la pregunta: "¿Es la probabilidad que se ha observado menos que α?" Ahora se pregunta: "¿Qué tan improbable es el resultado que se ha observado?" Ya que se ha informado el p-valor de la prueba, entonces el tomador de decisiones puede evaluar los factores relevantes y decidir si acepta o rechaza H_o, sin verse limitado por un nivel de significancia dado de antemano.

El p-valor proporciona más información. Si se sabe que se ha rechazado H_o al nivel α = 0.05, solamente sabe que la media se encuentra al menos 1.96 errores estándar alejado de la media poblacional. Sin embargo, un p-valor de 0.05 nos dice que la media muestral está exactamente a 1.96 errores estándar de la media poblacional.

Desde que se tiene una muestra y se quiere inferir sobre la población, la teoría de la probabilidad ayuda a estimar las probabilidades que la muestra representa en la población. No se puede saber ciertamente, al menos que se tenga a la población entera, pero la teoría de la probabilidad permite establecer el nivel de confianza acerca de qué tan probable es que la muestra refleja algo que es cierto en la población.

La significancia estadística indica que los resultados no se deben al azar, pues las muestras probabilísticas involucran un proceso aleatorio, por lo que siempre es posible que los resultados de la muestra difieran del parámetro poblacional. El investigador estima las probabilidades con las que los resultados de una muestra son resultado del parámetro poblacional o el azar del muestreo aleatorio. La significancia estadística usa la teoría de la probabilidad y pruebas estadísticas específicas para decirle al investigador si los resultados, ya sea de asociación, de diferencia entre dos medias o un coeficiente de regresión, son producidos por un error aleatorio dentro de un muestreo aleatorio.

La significancia estadística sólo dice lo que es probable, no puede probar nada con absoluta certeza, establece si los resultados son o no menos probables.

Los investigadores expresan la significancia estadística en términos de niveles (de significancia), es decir una prueba es significativa estadísticamente a un nivel específico, mejor que especificar la probabilidad. El nivel de significancia estadística es una forma de expresar la probabilidad de que los resultados se deben al azar.

Si se quiere indicar que los resultados son significativos a un nivel de 0.05, se podría expresar cualquiera de las siguientes modos:

• Resultados como éstos son debidos al azar únicamente de 5 en 100 veces.
• Existe un 95% de posibilidades de que los resultados de la muestra no son debidos al azar, sino refleja lo que ocurre en la población.
• Las probabilidades de que los resultados se basen exclusivamente en el azar son de 0.05 o de 5%.
• Significa que existe un 95% de confianza de que los resultados se deben a un comportamiento en la población y no al azar.
  

La mayoría de los programas estadísticos dan como resultado el p-valor exacto, no solo para pruebas sobre medias basadas en la distribución normal, sino también para otras pruebas como ji-cuadrada y análisis de varianza y pruebas en el contexto de la regresión lineal. Aunque se tengan diferentes estadísticas y distribuciones, la idea del p-valor es la misma.

El uso de la computadora ha hecho a un lado mucho de lo tramposo de la prueba hipótesis, y mediante el uso de p-valores, se elimina la búsqueda de valores en una tabla. Puede ser un tanto desconcertante el hecho de que cuanto más pequeño sea el p-valor, más grande será la significancia de lo encontrado. Se puede evitar tener confusión en este punto si se recuerda que los p-valores son la posibilidad de que el resultado en cuestión haya podido ocurrir exclusivamente debido a un error de muestreo; en consecuencia, cuanto menor sea es mejor.