¿Cómo tratan los científicos los datos?

El análisis de datos sigue siendo un arte y requiere un nivel bastante alto de conocimiento de estadística matemática, minería de datos y, más recientemente, big data. El análisis de datos clásico se basa en suposiciones estrictas sobre la naturaleza de los datos. ¿Qué ha cambiado en la era del big data? Ponemos en el mismo lugar (lago de datos), datos recopilados o generados en diferentes lugares y condiciones por diferentes agentes. Estos datos, por definición, son heterogéneos y multidimensionales. Pero seguimos persiguiendo el mismo objetivo: construir un buen modelo para predecir algunos factores en función de los valores de otro. La minería de Big Data requiere la aplicación de varios métodos, integrados en el flujo de trabajo lógico con peculiaridades para cada caso real. Cada nuevo desafío nos llama a ser creativos y usar una nueva combinación de algoritmos con heurística, inventada para esta clase particular de problemas. Pero la idea principal es la descomposición del espacio de datos en subconjuntos homogéneos para aplicar modelos estadísticos correctos. Forma incorrecta: aplique métodos clásicos a datos no homogéneos. Forma honesta: evite los resultados, que pueden atraer al cliente, pero se obtienen con violaciones de los postulados. Y también un momento importante: si los resultados se interpretan mal en el área temática, son inútiles.

Aquí hay un enfoque general (no formalizado, de la forma ideal en que abordo los datos, aunque podría mezclar el orden y avanzar y retroceder entre los pasos, ya que a menudo tiene varias preguntas).

1. Obtenga los datos y las preguntas a la mano (ya sea suya o de un cliente)
2. Averigua de qué se tratan los datos. (lo que se ha medido, cuál es el contenido, ese contenido) Míralo. hacer alguna visualización & c
3. ¿Los datos son aptos para responder las preguntas en cuestión? Si no, encuentre otros datos o haga preguntas diferentes.
4. Lo anterior es, con mucho, las cosas más importantes que hacer, a menudo repetirá los pasos anteriores. Ahora tendrá una idea general de las técnicas que puede y debe usar (si no: aquí es el momento de hacerlo)
5. Comience a limpiar sus datos: habrá errores y, según el tipo de análisis, es posible que deba tratarlos de manera diferente.
6. Preparación adicional de datos: es posible que deba hacer algunos cálculos preliminares o agregaciones de sus datos. Unirse, subconjunto, extracción de características, … todo lo necesario para llegar al análisis real que desea realizar
7. Haga su análisis estadístico (o aprendizaje automático, u otro tipo).
8. Verifique los supuestos de su modelo: si no se cumplen: haga otro análisis.
9. Ahora … mira los resultados. Mira cómo responden la pregunta.

Puede haber maltrato y error en cualquiera de los puntos anteriores. Lo peor que puede hacer es reclamar una respuesta que no sea compatible con los datos. Puedes hacer esto de más maneras que hacerlo bien, así que no voy a entrar en todos estos detalles. A menudo es porque uno quiere encontrar una respuesta particular, y comienza a seleccionar o eliminar valores atípicos que no son realmente atípicos, o capitalizar la coincidencia.

Los datos son la sangre vital de los campos cuantitativos

Sus conceptos, teorías, conjeturas son validados o repudiados con datos

Por lo tanto, es de suma importancia ser riguroso y honesto acerca de cómo se recopila, gestiona, las herramientas utilizadas para analizarlo y, finalmente, es sincero sobre lo que realmente dice.