Cultura Estadística

En las últimas décadas, los métodos y aplicaciones de la Estadística han permeado la mayoría de las áreas de la ciencia. La realidad es que se ha convertido en una disciplina que evolucionó para quedarse e incorporarse a la cultura de la sociedad moderna.

Actualmente la estadística está mucho más relacionada con otras disciplinas que las matemáticas. Se ha usado como lenguaje y método de investigación científica en áreas tan diferentes como la lingüística, geografía, física, psicología, economía y en todas las demás.

Sin embargo, en contextos más generales, es común encontrar información con errores en la presentación y valoración de los datos. Del mismo modo, en documentos académicos se pueden encontrar representaciones gráficas y tablas mal elaboradas.

Para el ciudadano común el saber estadística se ha convertido en una necesidad y una obligación de su educación integral porque implica más que una herramienta, técnica o método. 

En las últimas décadas se ha venido forjando el término statistical literacy o cultura estadística. En eventos académicos y en múltiples publicaciones especializadas, es constante el uso de este término para referirse al hecho de que la estadística forma parte de la herencia cultural necesaria para un ciudadano educado.

.

Desde hace buen tiempo la UNESCO ha venido implementando políticas de desarrollo económico y cultural para todas las naciones, incluyendo la alfabetización numérica. En esta última menciona que es importante difundir la estadística entre los ciudadanos no solo como técnica para manipular datos cuantitativos sino también como cultura, en términos de capacidad de comprensión lógica.

El término cultura estadística. se ha empleado de varias maneras y lo definen como la habilidad para entender y evaluar críticamente los resultados que impregnan la vida de los ciudadanos, a la par de la habilidad para apreciar las aportaciones que el pensamiento estadístico puede hacer en la toma de decisiones en el ámbito personal y profesional. Garfield, lo describe como el entendimiento del lenguaje estadístico en función de palabras, símbolos y términos, que permitirán a su vez interpretar gráficos y tablas.

También implica la habilidad para interpretar y evaluar críticamente información, argumentos, fenómenos estocásticos, así como la habilidad para comunicar y comprender significados e implicaciones en la toma de decisiones y la representatividad de las conclusiones obtenidas.

La cultura estadística se refiere a la habilidad de las personas para interpretar y evaluar críticamente información en el campo de la estadística. Menciona que esta información puede encontrarse en diversos contextos, como los medios de comunicación pero sin circunscribirse a ellos.

En suma, el término cultura estadística ha evolucionado en los últimos años. Cada vez es mayor la necesidad de que los ciudadanos sean estadísticamente cultos. Por tanto, diversos organismos promueven adecuaciones a los currículos escolares y universitarios, sugiriendo que la enseñanza de la estadística asuma un papel acorde a las necesidades actuales de la sociedad.

Minería de Datos

El concepto “Minería de Datos” es un término que engloba resultados de investigación, técnicas y herramientas usadas para extraer información de grandes bases de datos. La Minería de Datos es una parte del proceso completo de Knowledge Discovery in Databases (KDD, en español Proceso no trivial de identificación en los datos de patrones válidos), en mucha bibliografía los términos Minería de Datos y KDD se identifican como si fueran lo mismo. 

Concretamente, el término Minería de Datos es usado comúnmente por los estadísticos, analistas de datos, y por la comunidad de administradores de sistemas informáticos, mientras que el término KDD es utilizado más por los especialistas en Inteligencia Artificial.

El análisis de la información es habitual que sea un proceso manual, basado en técnicas estadísticas. Sin embargo, cuando la cantidad de datos que disponemos, dificulta el tratamiento manual, aquí entra en juego el conjunto de técnicas KDD de análisis automático al que nos referimos al hablar de Minería de Datos.

Los mayores éxitos en Minería de Datos se pueden atribuir directa o indirectamente a avances en bases de datos. No obstante, muchos problemas de representación del conocimiento y de reducción de la complejidad de la búsqueda necesaria (con conocimiento a priori) están aún por resolver.

Otras definiciones de Minería de Datos:

• “La Minería de Datos es la extracción no trivial de información implícita, desconocida previamente, y potencialmente útil desde los datos”.
• “La Minería de Datos es el proceso de extracción y refinamiento de conocimiento útil desde grandes bases de datos”.
• “La Minería de Datos es el proceso de extracción de información previamente desconocida, válida y procesable desde grandes bases de datos para luego ser utilizada en la toma de decisiones”.
• "La Minería de Datos es la exploración y análisis, a través de medios automáticos y semiautomáticos, de grandes cantidades de datos con el fin de descubrir patrones y reglas significativos".
• "La Minería de Datos es el proceso de planteamiento de distintas consultas y extracción de información útil, patrones y tendencias previamente desconocidas desde grandes cantidades de datos posiblemente almacenados en bases de datos”.
• “La Minería de Datos es el proceso de descubrir modelos en los datos”.

Los Valores Atípicos

Cuando se obtienen datos, para un estudio, sea de cualquier fuente, puede ocurrir que se tenga valores atípicos. ¿Qué hacer con estos valores atípicos? Podemos ignorarlos o eliminarlos inmediatamente.

Es frecuente no prestarle atención de su existencia, realizando directamente las pruebas estadísticas correspondientes. Esto implica correr riesgos, ya que trabajar con valores que podrían estar errados (por cualquier razón), puede conducirnos a resultados no válidos.

Pero, puede  darse  el  caso  en  que  los  valores  sean  correctos  pero  no  es conveniente considerarlos. ¿Qué hay que hacer con estos valores? Lo primero es preguntarse a qué corresponden, cómo es que se han producido. En este caso, después de una simple reflexión y análisis, se llega a la conclusión que lo más razonable es excluirlos del estudio.

En algunas situaciones, la identificación y el análisis de las anomalías es la parte más interesante del estudio y de la que más deducciones se pueden obtener. Ya que si los valores están bien medidos, no encontramos la explicación de por qué sucede o son completamente contradictorios los resultados obtenidos. ¿Qué hacer con estos valores? ¿Eliminarlos y olvidarse de ellos?

Estos valores se deben analizar, para no perder la oportunidad de incorporar información valiosa a nuestro conocimiento del proceso. Lo más adecuado sería preguntarnos: ¿Por qué se han dado estas situaciones?, ¿qué ha ocurrido para que se hayan producido esos valores?, es posible que la respuesta a estas preguntas nos aporte información que puede ser muy útil para nuestro mayor dominio y conocimiento del proceso.

Entonces, ¿qué hacer ante una anomalía? Debe servir para averiguar el por qué se ha producido. Si la causa es un error, se elimina el valor y asunto resuelto. Si no es un error habrá que valorar la conveniencia de incluirla en el estudio, según sea la razón por la que se ha producido, la frecuencia con que se esperan valores similares y otras razones.

En algunos casos uno no sabe si mantener el valor atípico o quitarlo. Cuando se da esta situación, es necesario es hacer un análisis con y sin la presunta anomalía,  y  si  se  obtienen  las  mismas  conclusiones  la  disyuntiva  deja  de  tener importancia. En caso contrario quizá se puede salir de dudas recogiendo más datos, o también pueden aplicarse técnicas específicas de análisis en presencia  de anomalías.

Análisis Multivarial (II)

Las técnicas multivariadas más utilizadas son las siguientes:

Componentes Principales

Este método permite obtener componentes o combinaciones lineales de las variables originales y permiten simplificar el universo de estudio, centrándose en las componentes que sintetizan la máxima variabilidad residual. Los objetivos más importantes son:

• Generar nuevas variables que expresen la información contenida en el conjunto original de datos.
• Reducir las dimensiones o factores del problema que se está tratando, como paso previo para futuros análisis.
• Eliminar algunas de las variables originales que aportan poca información o variables que contiene parte de información ya suministrada por otras variables.

El análisis por componentes principales debe ser aplicado cuando se desea conocer la relación entre los elementos de una población y se sospeche que en dicha relación influye de manera desconocida variables subyacentes o características de los elementos.

Análisis factorial

Este término engloba varias técnicas que buscan explicar la correlación de un conjunto grande de variables en términos de un conjunto reducido de variables subyacentes denominadas factores. Al reducir el número de variables, los procedimientos tratan de retener la mayor cantidad de información posible y de hacer de las variables restantes tan significativas y tan fáciles de manipular como sea posible. El propósito del análisis factorial es generar una comprensión de la estructura fundamental de las preguntas, variables u objetos y combinarlos en nuevas variables.

El análisis factorial permite generar varias soluciones para un mismo conjunto de datos, cada solución es generada por un esquema de rotación de factores, es decir, cada rotación tiene una interpretación diferente y esto se lo hace en términos de cargas o puntajes de factores.

Análisis Discriminante

Si el objetivo del análisis factorial es generar dimensiones que maximicen la interpretación y expliquen la varianza, el objetivo del análisis discriminante es generar dimensiones que discriminen o separen los objetos tanto como sea posible, es decir, identificar grupos o conglomerados de atributos sobre los cuales difieren los objetos. Al igual que en el análisis factorial, cada dimensión se basa en una combinación de los atributos fundamentales.

Clasificación

Una opción de analizar y estudiar un conjunto de individuos es clasificándolos en subconjuntos de acuerdo con algún objetivo predeterminado. La clasificación trata el problema de dividir un conjunto en subconjuntos, de tal modo que la diferencia entre elementos de un mismo subconjunto sea mínima y sea máxima para los elementos de diferentes subconjuntos. La formulación matemática y estadística se realiza mediante métodos como: modelos probabilísticos, teoría de grafos o criterios de optimización y algoritmos.

El uso de las técnicas de clasificación se basa en ideas generales concernientes a las observaciones. Busca revelar una partición que realmente exista (esta existencia es conjeturada antes del análisis estadístico o es revelada después del análisis). De modo inverso, la partición se emplea como instrumento para explorar los datos. Este último caso, es una generalización de histogramas unidimensionales, que con el objeto de facilitar el análisis, las observaciones se agrupan en clases homogéneas.

Las técnicas de clasificación recurren a métodos algorítmicos. Se consideran dos tipos de métodos de clasificación: los métodos jerárquicos y los métodos no jerárquicos.

Las técnicas de clasificación jerárquica presentan una estructura de árbol. Todos los individuos forman una clase, luego dos, tres, etc. clases y finalmente cada individuo forma una clase. Si se parte de “n” clases, con un individuo cada una y se van agrupando por pasos sucesivos hasta formar una sola clase, la técnica es aglomerativa, en caso contrario es divisiva.

En el caso de los métodos de clasificación no jerárquicos el número de clases se establece a priori y el algoritmo de clasificación asigna los individuos a las clases, partiendo de algunos valores iniciales y buscando optimizar algún criterio establecido previamente.

Correlación Canónica

Esta técnica consiste en buscar las máximas correlaciones posibles en un conjunto de variables.

El análisis de correlación canónica tiene ciertas propiedades similares al análisis de componentes principales, sin embargo, éste considera relaciones dentro de un conjunto de variables, la correlación canónica lo hace entre dos conjuntos de variables. El análisis de correlación canónica es una extensión de la técnica de regresión múltiple, que busca estimar las relaciones entre las variables independientes y la variable dependiente.

Actualmente existen otras técnicas multivariadas que se han desarrollado paralelo a la evolución de las TICs. Algunos de estas técnicas son: Escala Multidimensional, Análisis Path, Análisis de Series Cronológicas, Mapas Multidimensionales, Correspondencia Binaria y Múltiple.

Estadística y Decisiones

Hace apenas unas décadas, disponer de los datos y luego analizarlos eran actividades costosas y laboriosas, ya que se basaba en labores manuales. Hoy se cuenta con computadoras veloces y económicas, y existe software y aplicaciones potentes y flexibles, por lo cual las organizaciones obtienen diferencia competitiva en relación a su competencia, y podrán mejorar continuamente la performance de sus indicadores de los procesos y las actividades que se gestionan en una organización.

Pero no se puede gestionar lo que no se mide. Si no se puede medir, no se puede controlar. Si no se puede controlar, no se puede gestionar. Si no se puede gestionar, no se puede mejorar. La falta de estadísticas en las organizaciones impide su administración. Decidir en base a datos del pasado, predecir por intuición o en simples extrapolaciones, y tomar decisiones desconociendo las probabilidades de ocurrencia, son sólo algunos de los problemas más comunes que ocurren en las organizaciones.

Cuando los procesos de cambios eran lentos, los cuales resultaban casi imperceptibles en el tiempo, se podía administrar una organización con pocos datos estadísticos. Hoy, en una era de profundos y veloces cambios en todos los órdenes, ya no es posible actuar con desinterés. Hoy un tomador de decisiones necesita predecir a tiempo diversos indicadores, necesita reconocer a tiempo los cambios de tendencia.

Para negociar, para corregir problemas de calidad, para aumentar la productividad, para fijar precios, para eliminar los “cuellos de botella”, para invertir, para contratar nuevo personal, para diseñar y evaluar políticas públicas, para elaborar presupuestos, para priorizar proyectos, etc., se requiere contar con datos estadísticos. Toda decisión, todo análisis, está en el aire si no se cuenta con datos estadísticos suficientes y fiables.

Toda organización pública o privada, de avanzada, son aquellas que hicieron de las estadísticas una herramienta fundamental. Sin estadísticas una organización carece de capacidad para reconocer qué actividades o productos se cumplen a tiempo y cuáles no. No gestionar datos ni interpretarlos correctamente es para los administradores como caminar a oscuras. Gestionar datos, permite ver lo que está aconteciendo y en consecuencia tomar las medidas más eficientes y oportunas.

Cada día se exige ser más productivos y eficientes, ello es posible a partir de información estadística debidamente analizada.

Pretender dirigir una organización como hace un par de décadas atrás ya no es posible. El tomador de decisiones tiene en sus manos la decisión de mejorar su institución a través de una gestión moderna con base en datos estadísticos o seguir en la oscuridad.

El Idioma y la Estadística

Cada vez es mayor la influencia de la estadística, no existe profesión o actividad humana que no reciba los beneficios de su aplicación, hasta el extremo de que rara es la actividad humana moderna, en que no se utilice. En economía, en biología, en sociología, en urbanística, en derecho, en astronáutica, en las más diversas fases de la tecnología, e inclusive en ciencia militar, la estadística realiza una labor sumamente útil, proporcionando una base real y altamente eficiente para sus estimaciones a un corto, mediano y largo plazo.

Puede afirmarse hoy, en virtud de tal circunstancia, que la estadística es el pilar en que se apoya el normal y correcto desarrollo de las actividades humanas de este siglo de progreso, y que todo lo que a ella se refiere es de suma utilidad para el hombre moderno, en cualquier faceta.

Por otra parte, no se puede negar que los mayores progresos en estadística, y consecuentemente las obras y estudios más útiles, provienen de Inglaterra, Estados Unidos y los países europeos, así como las técnicas estadísticas más modernas y fehacientes, de donde se desprende que el idioma más empleado en dichos trabajos, y el que más se utiliza como medio de consulta, es el inglés.

La excepcional importancia que ha adquirido la estadística, que crece de día en día, en países cuyo idioma es diferente al español, es una poderosa razón para que al usar y aplicar dichos avances y al realizar la traducción de los conceptos y términos, se creen muchos anglicismos o se utiliza combinando los conceptos en el idioma nativo y el inglés indistintamente.

Igualmente al utilizar libros y literatura estadística producida, traducida y desarrollada en México, Colombia o Argentina, el vocabulario y por ende los conceptos, sean más afines al entendimiento de los profesionales de esos países, luego se crean palabras diferentes para un mismo concepto o palabras parecidas para conceptos diferentes.

Por tal razón se debe recurrir a los glosarios o diccionarios de los textos de estadística, o a aplicaciones que aparecen en la Internet (p.e. Divestadistica, Comunidad Andina), para precisar algún concepto, pero es necesario revisar dos o más fuentes.

Conforme vamos aplicando las técnicas estadísticas, vamos a encontrar dificultades en entender en aplicar los conceptos, y seguramente revisando varios textos o artículos, vamos a lograr entender las razones y muchas veces están se deben al concepto no ha sido traducido (Bootstrapping o Simular muestreo, skewness o Asimetría).

El reto esta entonces de leer en inglés y revisar trabajos donde se aplique las técnicas estadísticas que no tienen traducción o esta traducción nos parece que no tiene correlato con lo que hacemos.

Criterios para elegir un Procedimiento Estadístico

Es muy frecuente y mucho más cuando se lleva a cabo una tesis, preguntar; ¿Qué procedimientos estadísticos debo utilizar en relación al análisis de datos?, ¿se debe aplicar Chi Cuadrado, t de Student u otro procedimiento estadístico?, ¿Qué criterios se utilizan para decidir por uno u otro procedimiento?

En realidad no hay reglas o pasos, existen criterios que se deben tener en cuenta, los cuales se deben aplicar y usar con retroalimentación y ajustes permanentes. Estos criterios son los siguientes:

CRITERIO	OBJETIVO
1.    El tipo de investigación	Ubicar la investigación o tesis en función de cada una de las siguientes situaciones: Si hay o no intervención del investigador (experimental u observacional). Si los datos son primarios o secundarios (retrospectivo o prospectivo). El número de mediciones sobre la variable de estudio (transversal o longitudinal). Número de variables analíticas (descriptivo o analítico).
2.    El nivel de investigación	Establecer el nivel de la investigación: Exploratorio. Descriptivo. Relacional. Explicativo. Predictivo. Aplicativo.
3.    El diseño de investigación	Construir un plan del modus operandis, en base a los siguientes modelos de diseños en investigación (según el origen): Epidemiológicos Experimentales Comunitarios o ecológicos Validación de instrumentos. Existen otros diseños (revisar Diseños de Investigación).
4.    Los atributos de la variable de investigación	Conocer los atributos de la variable en el estudio, tanto del tipo de variable (cuantitativa o cualitativa), como su escala (nominal, ordinal, intervalo o razón)
5.    El objetivo de investigación	Traducir operativamente el   propósito del estudio, y establecer cómo se va a trabajar según el nivel de investigación.
6.    El comportamiento de los datos	Analizar, conocer y precisar la distribución de los datos, ya que su distribución sólo va a ser conocida cuando se han obtenido los datos.

Estos seis criterios permitirán orientar qué técnica o procedimiento estadístico utilizar en una tesis. En las siguientes entradas se darán más detalles y razones de cómo estos criterios ayudaran a la elección de los procedimientos a usar, en el análisis estadístico de datos.

Competencias del Investigador

Una de las primeras responsabilidades de un investigador es conocer los reglamentos, normas y recomendaciones pertinentes para el desarrollo de una investigación o tesis y esforzarse para contar con las siguientes competencias para realizar y sustentar dicha investigación o tesis:

• Mostrar deseo de aprender e interés por conocer el tema que se investiga.
• Tener iniciativa y confiar en las sugerencias.
• Amplio conocimiento del tema de investigación.
• Conocimientos generales y específicos de la metodología científica.
• Capacidad de abstracción, análisis y síntesis.
• Capacidad de expresión escrita.
• Diseñar un plan o proyecto de investigación.
• Mostrar actitud abierta y comprensiva respecto de lo que se pretende investigar.
• Capacidad para organizar y planificar el tiempo.
• Habilidades para buscar, procesar y analiza información de diversas fuentes.
• Capacidad crítica y autocrítica.
• Capacidad creativa e innovadora.
• Disciplina y organización para el trabajo permanente.
• Analizar todas las posibilidades y alternativas viables en la labor de investigación.
• Conocer las fuentes de información.
• Analizar e interpretar la máxima información sobre el tema que investiga.
• Respetar los protocolos y el tratamiento de datos.
• Conocer la técnica estadística descriptiva e inferencial usada en la investigación.
• Manejar programas informáticos estadísticos actualizados.
• Aceptar de manera imparcial los resultados de su investigación.
• Capacidad .para trabajar en forma autónoma.
• Responsabilidad social y compromiso de aportar con el resultado de la investigación.

En el proceso de una investigación, el investigador debe plantear sus dudas y dificultades que se le presenten, para que su asesor le brinde la ayuda y sugerencias necesarias. El Investigador debe cumplir el programa elaborado, especialmente en lo que se refiere a los avances y levantamiento de observaciones y comentarios, antes de continuar con las siguientes etapas.

Es conveniente llevar un registro de las reuniones formales y lo acuerdos que se llegan en cada reunión con el asesor. El investigador debe ser consciente que la crítica constructiva del asesor es fundamental; ya que lo que se debe buscar es una evaluación de las fortalezas y debilidades de la investigación que se viene realizando.

El investigador debe mantener informado a su asesor sobre los avances de su trabajo. También debe informar sobre cualquier circunstancia que pueda afectar el ritmo de su trabajo, que haga necesario la suspensión temporal o total de la investigación.

Es importante destacar que toda la responsabilidad de lo que se afirma en una Tesis, es del tesista, y será su potestad incluir, adecuar o no tomar en cuenta las sugerencias del asesor, de común acuerdo con él.

Enfoques de la Investigación Científica

En la investigación científica existen diferentes maneras de estudiar la realidad. Se puede realizar desde dos enfoques: el enfoque cualitativo y el enfoque cuantitativo. También existe un enfoque mixto Tashakkory y Teddlie (2003), que triangula teorías, métodos y datos de los enfoques cualitativo y cuantitativo.

Las diferencias en los enfoques de investigación son notorias. Ninguna es superior a la otra, se puede decir que estos dos enfoques se complementan, primero se realiza el enfoque cualitativo y luego el enfoque cuantitativo.

CARACTERÍSTICAS	INVESTIGACIÓN
	Cualitativa	Cuantitativa
Objetivos	Exploratoria, significar realidades complejas y cotidianas.	Descriptiva, causal. Medir, relacionar y estimar valores
Objeto de estudio	Hechos no observables, latentes	Hechos observables
Uso de estadística	Baja, casi nada	Elevada, aplicable.
Volumen de datos	Elevada	Media
Profundidad de conocimiento	Elevada	Media
Instrumentos típicos	Observación participante, revisión de documentos, focus group, entrevistas a profundidad.	Cuestionarios, listas de chequeo, observación estructurada, reportes financieros, encuestas, indicadores estadísticos
Tamaño de muestra	Representativo del Universo, pero no estadísticamente. Pocos casos	Estadísticamente representativa. Muchos casos
Cálculo de tamaño de muestra	Punto de saturación mediante rastreo	Mediante indicadores de nivel de confianza y error.
Tipo de muestreo	No probabilístico	Probabilístico
Tipo de análisis	Contenido	Analítica, Numérica, estadística, financiera
Metodología	No estructurada o Semiestructurada Técnicas psicológicas Orientada al proceso Flexible Inductiva	Estructurada Técnicas estadísticas Orientada al resultado Rígida Deductiva
Confiabilidad y Validez	Triangulación. Cruce de información múltiple. Validez hermenéutica.	Análisis Alfa de Cronbach. Análisis de jueces Análisis factorial. Validez de Criterio.
Resultados	No generalizable No cuantificables No extrapolables Datos ricos y profundos	Generalizable Cuantificables Extrapolables Datos sólidos y repetibles
Validez de contexto	Elevada	Media a poca
Flexibilidad metodológica	Elevada	Media

                               Adaptado de " 7 Pasos para elaborar una Tesis" de Arístides Alfredo Vara Horna.

Cada enfoque tiene sus Bases epistemológicas, diseños metodológicos, técnicas e instrumentos propios que están en concordancia con la naturaleza de los objetos y de las preguntas de investigación planteadas en una investigación.