Mostrando entradas con la etiqueta Datamining. Mostrar todas las entradas
Mostrando entradas con la etiqueta Datamining. Mostrar todas las entradas

lunes, 30 de julio de 2018

Aprender y Enseñar Estadística


La enseñanza de la Estadística en el mundo se desarrolla en un contexto de nuevos enfoques que intentan aportar a las concepciones existentes y por el reconocimiento de las limitaciones que presentan los alumnos y profesores antes, durante y al terminar un curso de estadística.
Uno de los aspectos de la enseñanza de la Estadística es precisamente su base Matemática y de cálculo. A pesar del desarrollo tecnológico alcanzado en los últimos años, el enfoque que se le da a la enseñanza de la Estadística ha evolucionado poco, manteniendo el énfasis en muchos casos en los procedimientos utilizados cuando no existían las computadoras personales e incluso antes de que existieran las calculadoras. Sin embargo, la Estadística como ciencia, se aleja cada vez más de la Matemática pura y se convierte en una "ciencia de los datos" (Batanero).

Autores, como Garfield, Godino y Batanero, han coincidido en que los cursos de Estadística han sobrevalorado y hasta abusado de los algoritmos de cálculos y expresiones matemáticas.  Esto implica que se le ha dedicado la mayor parte del tiempo y de los esfuerzos a los cálculos, dejando poco tiempo para el tratamiento de los conceptos de manera empírica y teniendo en cuenta su comprensión, significado y aplicación a situaciones prácticas concretas.

Admitimos la importancia de los símbolos en el aprendizaje. El lenguaje matemático es un instrumento indispensable, sin embargo, el uso apropiado de la notación Matemática reviste especial dificultad constituyendo uno de los obstáculos importantes para el razonamiento, y estas dificultades tienen repercusiones, tanto en el plano del aprendizaje como en el afectivo.

Varios autores, como Batanero, Garfield y Benzvi, señalan otras dificultades en relación al tratamiento de los conceptos. Se ha reconocido que en algunas ocasiones los conceptos son tratados de manera aislada sin tener en cuenta la relación que debe establecerse entre ellos, ni la relación de los conceptos propios de la Estadística y la investigación con los de las otras materias.

Por otro lado, es interesante y necesario utilizar datos reales y casos prácticos para conseguir un aprendizaje significativo de la Estadística, ya que esa estrategia favorece una mayor implicación del estudiante en el proceso de enseñanza-aprendizaje. Asimismo, es conveniente generar situaciones de aprendizaje referidas a temas de interés al alumno y trabajar con datos elaborados previamente, para analizarlos mediante las técnicas y procedimientos estudiados. El mundo se dirige rápidamente hacia una sociedad cada vez más informatizada. Cada día es más importante la comprensión de las técnicas básicas de análisis de datos y su interpretación adecuada.

Un elemento a destacar en la enseñanza actual de la Estadística consiste en atribuir importancia a las ideas previas que poseen los alumnos acerca de aleatoriedad, variable aleatoria, medidas de tendencia central, medidas de dispersión, estimación y tamaño muestral, independencia y probabilidad condicional, relación, asociación, la determinación de la veracidad de las hipótesis estadísticas y causalidad, etc.

La Didáctica Estadística tiende a ocuparse más de las ideas de los estudiantes que ignorar, subvalorar o desaprobar sus ideas, ya que solo se consigue dejarlas esencialmente intactas. En lugar de suplantar unas nociones por otras, se debe proceder a una búsqueda creativa por parte de cada alumno, para que se instalen en su mentalidad.

Se puede deducir, según estos planteamientos, la individualidad en la apropiación del conocimiento, no da lugar a la existencia de una única dimensión óptima para el aprendizaje. Sugerimos un modelo en el cual el profesor es un facilitador y el estudiante es el protagonista, que puede elegir entre una gama amplia de oportunidades disponibles de aprendizaje, de acuerdo con sus condiciones particulares. Existen una variedad de actividades, asociados con los distintos estilos de aprendizaje: lecturas, conferencias, ejercicios, resúmenes, videos, metáforas, experimentos, proyectos, discusiones y otras.

lunes, 23 de julio de 2018

El Análisis Exploratorio de Datos (AED)


El Análisis Exploratorio de Datos (AED) es un enfoque que prioriza el análisis de datos y sobre este particular existen múltiples criterios.
Monterde y Perea, menciona que el AED es, “por una parte, una perspectiva o actitud sobre el análisis de datos, en la que se exhorta a que el investigador adopte una actitud activa en y hacia el análisis de los mismos, como un medio para sugerir nuevas hipótesis de trabajo. Por otra parte, se compone de un renovado utillaje conceptual e instrumental respecto a lo que podríamos llamar Estadística Descriptiva “clásica”, con el fin de optimizar la cantidad de información que los datos recogidos puedan ofrecer al investigador, mediante representaciones gráficas, a base de reducir la influencia de las puntuaciones extremas en los estadísticos con el empleo de, los que por ello se ha convenido en llamar, “estadísticos resistentes”.

Ante lo mencionado surge una pregunta, ¿cómo se inserta lo que ya se conoce de estadística?  La respuesta no puede darse en pocos párrafos, se requiere la revisión y lectura, desde el desarrollo de la teoría y la ejemplificación correspondiente para comprender la concepción de AED y sus similitudes y diferencias con la estadística clásica.

Muchos coincidirán en que no se exagera si se dice que el objeto de la Estadística es el estudio de métodos científicos para organizar, presentar y analizar datos estadísticos, pero el problema está en cómo empezar a organizar los datos, todos los que han pasado  por un curso básico de Estadística recordará la prioridad que se da a las tablas de frecuencia, al estudio de la distribución normal o la correlación lineal que describen de una manera simple el comportamiento de los datos.

Estos temas, que la AED no los desecha, representan estructuras a gran escala que resumen las relaciones entre todos los datos y que liberan a los investigadores de la búsqueda minuciosa de modelos, para el entendimiento de las estructuras que subyacen en grandes conjuntos de datos; esta es una primera idea de la concepción del AED.

Desde su comienzo, el AED ha tenido como finalidad la revisión de los datos previo a la aplicación de cualquier técnica estadística para alcanzar primero un entendimiento básico de los mismos y de las relaciones existentes entre las variables analizadas. Es decir, cualquier cálculo, (promedios, desviaciones, correlaciones, etc.) debe estar precedido por un análisis visual de los datos, dicho de otro modo, mientras la Estadística Descriptiva clásica se ocupa de recoger, ordenar y representar los datos en forma de tablas, agrupándolos por intervalo y calculando estadísticos basados principalmente en la distancia y con datos centrados en la media (promedio); el AED se preocupa primero por detectar anomalías y errores en las distribuciones univariadas de los datos, intentando descubrir en ellos patrones o modelos, pero empleando variadas técnicas gráficas y buscando estimadores no paramétricos o estimadores libres de distribución o simplemente estimadores robustos, según el término acuñado por Box, tratando de llevar el estudio de la información que se tiene, hacia una modelización más completa que la establecida por la Estadística Clásica, basados principalmente en el orden y centrados en la mediana.

Los programas estadísticos como el SPSS, Minitab, Statgraphs, Statsoft, SAS, IDAMS y otros, ofrecen muchas posibilidades a partir de interaccione simples y amigables, con diálogos dinámicos tanto de la Estadística Clásica como las de AED, debiendo tener en cuenta que una buena gráfica informa más que un conjunto de números disgregados.

En resumen el AED, permite que hablen los datos y a partir de ellos encontrar los patrones y modelos indicados, con esto se logra que en muchas situaciones, el AED puede preceder a una situación de inferencia formal, mientras que en otras, puede sugerir preguntas y conclusiones que se podrían confirmar con un estudio adicional, por esto el AED es una herramienta de utilidad en la generación de hipótesis, conjeturas y preguntas de investigación acerca de una realidad que los datos fueron obtenidos.

En la investigación de diferentes áreas, donde intervienen numerosas variables y donde los datos no abundan, el AED bien utilizado se convierten en instrumento que complementan los diseños de investigación y dan validez, confiabilidad y rigor científico a los resultados.

jueves, 2 de mayo de 2013

Estadística y Datamining

Existen instituciones complejas que realizan miles de transacciones diarias para lo cual es necesario  tomar una cantidad similar o mayor de decisiones individuales o agregadas; estas instituciones por lo general trabajan con personas y atienden a personas, entre las instituciones a las que me refiero están los hospitales, clínicas, colegios, universidades, bancos, supermercados y empresas que brindan múltiples servicios o venden determinados productos.


El servicio o producto que se brinda, no sólo implica la entrega de este como tal, sino que además en su consecución hay un conjunto de datos que se generan a su alrededor: por ejemplo si se brinda un servicio de salud, se tiene todos los datos del paciente y del  mal que lo aqueja, está el médico que lo atiende, personal auxiliar y administrativo, la infraestructura que se debe usar, equipos,  materiales, sala de operaciones, servicios intermedios etc., es decir cuando un paciente ingresa a un establecimiento de salud de cualquier nivel, pone en funcionamiento todo su  sistema de atención y su sistema de información que va registrando datos.

Estos datos en conjunto pueden servir para a posteriori evaluar y conocer como se viene dando nuestro servicios a través de indicadores, con lo cual se pueden hacer las correcciones necesarias ahí donde hay falencias, demoras o muestras de poca eficiencia.

Si se cuenta con bases de datos corporativas (Datawarehouse) o por áreas específicas (Datamart), no solo podemos obtener información sino también conocimiento de lo que pasa en nuestra institución, para lo cual podemos extraer  información oculta y predecible de esas bases de datos, esto es lo que se denomina Datamining o Mineria de datos, el Datamining es una poderosa tecnología con gran potencial que ayuda a concentrarse en la información más importante de las bases de datos corporativas de por si complejas.  Las herramientas de Datamining predicen tendencias  y comportamientos, permitiendo a las instituciones tomar decisiones proactivas, conducidas por un conocimiento cercano de lo que acontece.

Las herramientas de Datamining pueden responder a preguntas de negocios que tradicionalmente consumen mucho tiempo para ser resueltas y a los cuales los usuarios de esta información casi no están dispuestos a aceptar. Estas herramientas exploran las bases de datos en busca de patrones ocultos, encontrando información predecible que un experto no puede llegar a encontrar porque se encuentra fuera de sus expectativas. Muchas instituciones y empresas colectan miles de datos y no saben qué hacer con estos. Las técnicas de Datamining pueden ser implementadas en plataformas ya existentes de software y hardware para acrecentar el valor de las fuentes de datos y puedan ser integradas a nuevos sistemas.

Las técnicas de Datamining ya están listas para su aplicación, ya que está soportado por tres tecnologías que son suficientemente maduras: a) Recolección masiva de datos b) Potentes computadoras y c) Algoritmos de Datamining.

Las técnicas más comúnmente (ver otras herramientas) usadas en el análisis en el Datamining son:
·         Redes neuronales artificiales.
·         Arboles de decisión.
·         Algoritmos genéticos.
·         Método del vecino más cercano
·         Regla de inducción (fuerte uso de la ciencia Estadística y las probabilidades)

Pero sin las técnicas de la Estadística no existe un análisis efectivo, sin análisis efectivo no existe inteligencia de negocios, explicación de los hechos o generación de conocimiento de una realidad concreta. Y entones ¿cómo se puede esperar sacar algo de la ingente cantidad de gigabytes o terabytes de datos y tomar buenas decisiones y consistentes que permitan hacer bien las cosas de mi institución? Con la Estadística, se puede transformar los datos en conocimiento sobre los procesos de su institución y su negocio.