¿Cuál es la diferencia entre un científico de datos y un estadístico?

Un científico de datos es un estadístico que vive en San Francisco.

(Escuché esto de Josh Wills pero creo que se lo atribuyó a otra persona. ¿Josh?)

---

Nota: esto no es del todo una respuesta de broma. Intenta señalar que los científicos de datos en realidad son estadísticos, pero hay algunos matices culturales en la forma en que el término se aplica en la escena tecnológica actual, particularmente (pero no exclusivamente) en el Área de la Bahía de SF.

Destaqué algunas diferencias en este hilo similar: la respuesta de Adrian Olszewski a ¿Por qué tantos estadísticos no quieren convertirse en científicos de datos? ¿Por qué no están interesados ​​en Big Data?

Una de las diferencias es el tamaño de los datos que generalmente se analizan. Un estadístico típico no juega con millones de registros, ya que no requiere inferencia estadística (bueno, sería una tontería desde una perspectiva práctica) o un modelo complejo conocido, por ejemplo, de bioestadística o econometría. Un estadístico típico se centra en un conjunto completamente diferente de problemas, métodos, problemas.

Los científicos de datos saben cómo manejar grandes conjuntos de datos con millones de registros con miles de variables.

Los estadísticos saben cómo obtener información útil (si es posible) de conjuntos de datos pequeños (a veces extremadamente), donde muchos métodos fallan debido a supuestos violados y baja potencia. Sin mencionar el hecho de que los métodos multidimensionales requieren mucho más de 30 observaciones por conjunto de datos 😉

Los científicos de datos entienden las cosas desde una perspectiva de datos. Es necesario comprender qué características tienen los datos: ¿son escasos? ¿Tiene cierta estructura? ¿podemos aprovechar cierta información ortogonal de otras fuentes de datos? ¿Qué dicen los científicos de dominio sobre las propiedades de los datos? entre varios otros temas similares. La otra diferencia es que los científicos de datos son principalmente informáticos, desarrollan soluciones algorítmicas para problemas del mundo real, teniendo en cuenta las restricciones informáticas, que podrían ser causadas por el tamaño de los datos que contienen requisitos de espacio y tiempo. Para garantizar esto, un científico de datos puede necesitar conocer tecnologías como la computación paralela que pueden ayudarlo a abordar estos problemas. Dependiendo de los requisitos computacionales de la tarea en cuestión, especialmente en las aplicaciones que requieren cálculos sobre la marcha, es posible que desee realizar una parte de su procesamiento en la nube, alguna poderosa máquina de computación a la que se pueda acceder en la red, esto trae en el problema adicional de qué procesar en la nube, teniendo en cuenta que esto requeriría el envío continuo de datos en la red, aumentando el tiempo requerido. Esto es sólo la punta del iceberg. Hay una gran cantidad de otros problemas, como los que vienen con el procesamiento de datos en bruto, que dependiendo de la aplicación, pueden provenir de una variedad de fuentes, desde cámaras de monitoreo de tráfico hasta sensores montados en satélites que monitorean las condiciones climáticas en nuestro planeta.
El punto que estoy tratando de hacer es que, si bien un científico de datos requiere un conocimiento estadístico sólido, no es la única herramienta en su arsenal.

Los científicos de datos son estadísticos que se hacen llamar científicos de datos para conseguir un trabajo.

Un estadístico piensa primero en la inferencia, que es construir y estimar un modelo subyacente para los procesos que generaron los datos que ven.

Un científico de datos tradicionalmente no hace esto, piensa en patrones y predicciones. Históricamente provienen de la informática.

Esta distinción se podía ver muy fácilmente en los primeros días de la bioinformática, que era un esfuerzo impulsado por los datos sin ninguna idea estadística subyacente real, los biólogos y los informáticos que tenían muchos datos comenzaron a hacer cosas interesantes y útiles con ellos sin ningún marco de referencia. Luego, los estadísticos se involucraron (yo era uno de ellos) y agregaron un cierto rigor teórico a la inferencia, pero aún confiaron mucho en la magia computacional de los científicos de datos. Ahora es en gran medida un esfuerzo conjunto.

También puede pensar en la distinción en cómo abordan el ajuste del modelo.

Un modelo que maximiza la precisión de la predicción es una forma inherentemente de pensar de “científico de datos”. Maximizar la probabilidad (o similar) es una forma estadística de pensar. Diferentes respuestas son importantes en diferentes situaciones. Por supuesto, hay mucha superposición.

Un estadístico debe conocer más estadísticas para poder llevar ese término pesado. Simplemente saber cómo encontrar correlaciones, calcular diferentes tipos de regresión y comprender solo las distribuciones de probabilidad no es suficiente. El mayor conocimiento de las estadísticas podría ser arbitrariamente complejo. Ambos deben comprender estadísticas básicas y presentar resultados significativos de una manera visual que sea interesante e informativa.

Un científico de datos debe ser capaz de formar su propia hipótesis y probarla, de la A a la Z. Deben descubrir los requisitos de hardware y software, y también poder codificarlo todo. Parece que map-reduce es realmente común. Al menos en algunos casos tienen que convertirse en administradores de servidores, e incluso podrían estar ejecutando sistemas distribuidos.

El científico de datos es un programador más fuerte y quizás un matemático un poco más débil.

La siguiente es la mejor definición para un científico de datos que he visto hasta ahora (descubierto a través del tweet de Jeremy Jarvis). Espero que responda tu pregunta 🙂

Sin más preámbulos, un científico de datos es

“alguien que es mejor en estadística que cualquier ingeniero de software y mejor en ingeniería de software que cualquier estadístico”.

Volviendo a lo que se suponía que era el término en lugar de lo que la búsqueda de empleo y otras formas de trompeta lo han hecho, esto escribe desde 2010 ¿Qué es la ciencia de datos? lo resume razonablemente bien. Usted viene de una ciencia difícil (por lo que todo lo demás es fácil) y sabe cómo dividir un problema difícil en partes manejables. Has trabajado para dar algo de sentido inicial a las masas de datos (más mentalidad que necesariamente ser estadístico). Puede hackear visualizaciones para facilitar la creación de sentido, incluso si los datos no son completamente convincentes. Y tienes una gran cantidad de vendedor de autos (¡aceite de serpiente!) En ti para que puedas contar una variedad de historias (apócrifas o de otro tipo) en torno a los datos

Un científico de datos suele ser mejor para recopilar , almacenar , aumentar y preparar datos.

Un estadístico suele ser mejor para diseñar un nuevo procedimiento estadístico y analizar resultados estadísticos.

“Data Scientist” es más preferible al segmento de Informática / Programación que dominar el tipo de datos como entero, cadena, booleano, etc. para obtener la LÓGICA en el propósito principal.

¿Qué pasa con los “estadísticos”? probablemente excepto / no se usa booleano (sí o no, verdadero o falso, 1 o 0) porque el objetivo principal del trabajo es obtener VALOR

Mejor puesto por BigDataBorat!
BigDataBorat: Data Science es estadísticas en una Mac.

Abordo esto en la respuesta de Michael Hochster a ¿Qué es la ciencia de datos?

¿Cuál es la diferencia entre un estadístico y un científico de datos? Hora. Inicialmente, los estadísticos eran el título, mientras que ahora, como todo lo demás, ha evolucionado (para bien o para mal). El título tiene un alcance muy amplio, pero todo se reduce a números o datos crujientes para que todo tenga sentido. Eso es lo que hace SAS … la información correcta para la persona adecuada en el momento adecuado. Hay una gran demanda y eso continuará …

Los científicos de datos limpian y mezclan datos heterogéneos, aplicando métodos ad-hoc que buscan cualquier tipo de valor comercial.

Los estadísticos (censo, compañía farmacéutica, actuarios) tratan las preguntas fijas de manera más metódica.

“Científico de datos: persona que es mejor en estadística que cualquier ingeniero de software y mejor en ingeniería de software que cualquier estadístico”.

Por Josh Wills