¿Es necesaria la inferencia estadística para el rol laboral de un científico de datos?

Gracias por el A2A.

Las revisiones de las aplicaciones erróneas en papel : una introducción comienza con esto:

La amplia disponibilidad de paquetes informáticos sofisticados ha puesto las bazookas matemáticas en manos de algunas personas que serían peligrosas con un ábaco. El resultado ha sido un número inquietante de estudios que contienen todo menos sentido común, realizados por personas que no conocen los supuestos subyacentes de los modelos que están utilizando, y mucho menos si son relevantes para el problema en cuestión. Con demasiada frecuencia, los esfuerzos exhaustivos para recopilar y analizar datos no han arrojado información útil sobre la pregunta que los motivó.

– Arnold Barnett, Sloan School of Management, MIT

Esto es duro, pero está bien fundamentado porque el peligro de no tener la intuición para detectar procesos de generación de datos erróneos y trabajar con muestras de datos es real.

Considere su primer ejemplo:

Una empresa de fabricación que deseaba estimar las ventas del producto solicitó a una muestra de minoristas que seleccionara dos días al mes al azar y registrara el número vendido en ambos días. Los totales de dos días se multiplicaron por 15 para obtener estimaciones de ventas mensuales. Pasaron años antes de que alguien señalara que este procedimiento generaba estadísticas infladas, dado que las tiendas generalmente venden más en los días que están abiertos que en los que están cerrados.

Y otro ejemplo más cercano a casa, esta vez sobre el sesgo de supervivencia de la investigación financiera aquí:

Un estudio de Vanguard Group el año pasado encontró que el 50% de los gerentes de valores de gran capitalización superan su índice de referencia durante 15 años si solo se cuenta la vida. Pero cae a un 27% mucho más débil si se agregan fondos muertos. La cifra de los gerentes de crecimiento cae del 34% al 18%.

Si un científico de datos estuviera asesorando a la primera empresa en compras de inventario basadas en datos de ventas, la empresa podría haberse declarado en bancarrota debido al gasto excesivo. O si el mismo científico de datos estuviera aconsejando a un inversor en el segundo caso sobre rendimientos probables, habrían sobreestimado sistemáticamente la recompensa por el riesgo.

La inferencia estadística es una de las cosas rutinarias para las que entrevistamos a los candidatos, y en mi humilde opinión, es una habilidad no negociable para un científico de datos. Los analistas de datos también se beneficiarían de ello.

La estadística es uno de los temas fundamentales para aprender ciencia de datos y, por lo tanto, es muy relevante aprender este tema bien mientras trabajas para ser contratado como científico de datos.

(Por supuesto, puede discutir sobre qué es exactamente un científico de datos y si los puestos de trabajo realmente están buscando un científico de datos, pero considero “científico de datos” como se define aquí: La industria de la ciencia de datos: quién hace qué (infografía)).

Lo que no se puede ver en esta infografía bastante simple es el hecho de que, como científico de datos, se espera que traiga ideas a la empresa para la que está trabajando, ya sea que trabaje en equipo o solo. Estas ideas alimentan las decisiones comerciales, como las inversiones o tal vez la falta de inversiones en proyectos que no se consideran exitosos. Hay una gran responsabilidad sobre sus hombros como científico de datos.

Es por eso que no tiene por qué sorprenderle que la mayoría de las ofertas de trabajo no solo buscan candidatos que ya tengan experiencia en el campo, sino que también buscan personas con antecedentes formales para ocupar este puesto, es decir, personas que tienen un buen sonido. comprensión de matemáticas, estadísticas y aprendizaje automático.

Todo esto explica por qué definitivamente no debería tener miedo de invertir tiempo (o incluso demasiado tiempo) en estadísticas.

O no?

Déjame darte esta cita:

La estadística es la ciencia y, posiblemente, también el arte de aprender de los datos. Como disciplina, tiene que ver con la recopilación, el análisis y la interpretación de los datos, así como con la comunicación efectiva y la presentación de resultados basados ​​en los datos. Las estadísticas se encuentran en el centro del tipo de razonamiento cuantitativo necesario para hacer avances importantes en las ciencias, […] y para tomar decisiones importantes en los negocios y las políticas públicas. – Por qué estudiar estadística

¿Entiendes ahora por qué es tan importante centrarse en las estadísticas cuando quieres aprender ciencia de datos?

Consejo: cuando esté aprendiendo estadísticas para la ciencia de datos, no olvide aplicar lo que ha aprendido . Puede usar la siguiente publicación como guía para los temas que necesita saber para aprender ciencia de datos + recursos que lo ayudarán a aplicar lo que ha aprendido: 40+ estadísticas de Python para recursos de ciencia de datos

Sí, necesita una comprensión exhaustiva de las estadísticas, o aplicará algoritmos incorrectamente, lo que conducirá a una mala percepción. Pruebe un puesto de ingeniería de software con una empresa de tecnología. Trabajará con científicos de datos, que pueden enseñarle algunas de las estadísticas mientras trabaja con ellos.

El modelo que construimos utilizando los datos necesita pruebas estadísticas e inferencias. Aunque la codificación puede obtener el resultado, desafortunadamente con la falta de estadísticas, uno nunca podría inferir lo que dicen los datos. Por lo tanto, lo más básico para el papel del científico de datos es la estadística. Sin estadísticas, es como escribir hebreo, que nunca podrás descifrar lo que dice.

¿Es necesario? No en muchas de las tareas en ciencia de datos. ¿Es un diferenciador? Sí.