¿Se inundará el mercado con demasiados científicos de datos en unos pocos años?

Como pasante de Data Scientist en una pequeña startup y una gran startup y como un futuro Data Scientist para la gran startup, creo que es un sí.

Como siempre, iré con ejemplos.

El año pasado, Airbnb contrató a 15 pasantes de Data Scientist de 6000 aplicaciones. Y lo que sé sobre Airbnb es que no le gusta contratar nuevos graduados, excepto los pasantes que regresan.

Este año, ya han recibido más de 8000 solicitudes para las mismas 15 aperturas, y es solo por las primeras 2 semanas.

Pero Airbnb solo tiene 120 científicos de datos. Piense en otras grandes corporaciones y obtendrá una visión general de la INUNDACIÓN .

Esta pregunta sigue las leyes básicas de la economía: oferta y demanda. Para que un mercado se inunde de científicos de datos, la suposición subyacente es que la oferta de científicos de datos será mayor que la demanda. Actualmente, la demanda de ciencia de datos en su conjunto es muy alta, mientras que la oferta de buenos candidatos es relativamente baja.

Piensa en informática hace años. Internet se estaba convirtiendo en una cosa y la gente estaba ganando mucho dinero con él. Todos querían convertirse en programadores, diseñadores web o cualquier cosa, solo para estar en la industria de la informática. Los salarios eran muy altos y fue excepcional estar allí. Con el paso del tiempo, los salarios se redujeron a medida que la oferta de chicos y chicas de CS comenzó a alcanzar la demanda. Dicho esto, la industria todavía está por encima del promedio en términos de pago.

Lo mismo le está sucediendo a la industria de la ciencia de datos en este momento. La demanda es realmente alta y la oferta es baja, por lo que los salarios siguen siendo muy altos y la gente está muy dispuesta a entrar en la ciencia de datos.

Exploremos un poco la oferta y la demanda de ciencia de datos:

Demanda:

La toma de decisiones basada en datos está aumentando en popularidad. Mientras que en los últimos años, los analistas usarían software como Excel para analizar datos, mientras que solo los académicos recurrirían a SPSS, Stata, etc., ahora las cosas están cambiando.

La tecnología es lo suficientemente avanzada como para tener herramientas como:

· Google Analytics para su departamento de marketing;

· ERP complicados que descomponen la información y crean visualizaciones. Ejemplos son SAP y Microsoft Dynamics para sus analistas de negocios, recursos humanos, gestión de la cadena de suministro, etc.

· Tableau, Sisense, Microsoft Power BI para su departamento de inteligencia empresarial (que es un subcampo de la ciencia de datos), donde los analistas pueden visualizar los datos de formas sin precedentes y descubrir ideas inesperadas

· Mejoras sobresalientes en lenguajes de programación como R y Python, que le permiten realizar análisis muy complicados con un par de líneas de código.

Entonces, tiene todas estas herramientas que no son demasiado difíciles de usar. Puede darse el lujo de emplear a algunas personas para aprovecharlas, y sabe que esto cuadruplicará su negocio. ¿Conseguirías un equipo de ciencia de datos? Por supuesto.

¿Cuáles son algunos ejemplos de ciencia de datos?

1. Google . Son la definición de la ciencia de datos. Todo lo que hacen es impulsado por los datos de su motor de búsqueda (google.com), a través de sus esfuerzos en YouTube, la maximización de los ingresos publicitarios, etc. Incluso su equipo de recursos humanos está utilizando el método científico para evaluar estrategias que hacen que los empleados se sientan mejor en el trabajo, por lo que Pueden ser más productivos. Google no es el mejor lugar para trabajar por casualidad.

2. Amazon . Cada recomendación de producto que obtiene proviene de los sofisticados algoritmos de ciencia de datos de Amazon. En realidad, Amazon ha implementado un algoritmo que puede predecir con cierta certeza si va a comprar un determinado producto. Si la probabilidad es lo suficientemente alta, la trasladan a la unidad de almacenamiento más cercana así que cuando realmente lo compre, podría entregarse el mismo día.

3. Facebook. Facebook está generando ingresos publicitarios como locos, ya que tiene todos esos datos personales para todos sus usuarios. Como interactúa con la plataforma, ellos saben si prefiere videos de gatos o videos de perros, por lo que saben si usted es un gato o un perro. Saben en qué deporte te gusta, qué comida prefieres, la cantidad de dinero que estás dispuesto a gastar en línea. De esta manera, pueden apuntar a sus usuarios de maneras extraordinarias, por lo tanto, a las empresas les encanta usarlo como medio.

Dicho esto, no solo las grandes empresas tienen una división de ciencia de datos. Las pequeñas empresas, los blogs y las empresas locales utilizan Google Analytics para sus necesidades y obtienen grandes beneficios. Esto también es parte de la ciencia de datos. No es necesario que esté haciendo aprendizaje automático para monetizar la ciencia de datos.

Ahora, si sus competidores dependen de la toma de decisiones basada en datos y usted no, lo superarán y le robarán su participación en el mercado. Por lo tanto, debe adaptar y emplear herramientas y técnicas de ciencia de datos, o simplemente se verá obligado a abandonar el negocio.

Suministro:

La ciencia de datos fue impulsada por el cambio tecnológico; por lo tanto, era imposible existir hace 20 años (bajo poder computacional, lenguajes de programación primitivos).

Sin embargo, cuando surgió, la educación tradicional no estaba lista, por lo que todavía hay muy, muy pocos programas que eduquen a los aspirantes a científicos de datos. Yo diría que las personas que entran en el tema, generalmente pasan de algún otro campo y adquieren las habilidades necesarias principalmente a través de la preparación personal. Eso incluye libros, trabajos de investigación y cursos en línea. Dicho esto, todavía no hay suficientes personas explotando las oportunidades en esta industria.

Al tener una baja oferta de mano de obra de calidad, los salarios se mantendrán altos. Por lo tanto, este es un buen campo para entrar.

Conclusión:

Teniendo en cuenta que la demanda continuará creciendo, espero que el resultado sea algo así como el campo CS: la demanda crecerá más rápido que la oferta durante mucho tiempo.

Por lo tanto, mucha gente ingresaría a la ciencia de datos en los próximos años, pero para mí parece que las ofertas de trabajo serán suficientes para satisfacer ese suministro.

Ciertamente no. Hasta el día de hoy, el mercado no está inundado de ingenieros de software a pesar del hecho de que ha habido un gran impulso para educar a más de ellos. Esto se debe principalmente a que la demanda de ingenieros de software y las herramientas que construyen ha aumentado a un ritmo aún mayor.

La revolución de los datos está sobre nosotros y cada empresa está comenzando a darse cuenta de que los datos son el oro que necesitan para tener éxito. Procesar y analizar estos datos le da a cada compañía una ventaja competitiva, y sin los científicos de datos no pueden lograr el éxito empresarial sostenible que requieren.

Si la demanda de ingenieros de software es un indicador, la demanda de científicos de datos también aumentará a un ritmo más rápido de lo que están capacitados, lo que significa que siempre habrá suficientes (si no muy pocos) científicos de datos en el mercado en el futuro previsible. .

Con fines ilustrativos, digamos que el mercado laboral actual de ciencia de datos tiene 100 puestos vacantes en este momento.

25 – Nivel de entrada

50 – Nivel medio

25 – Nivel superior

Hay 100 personas para los trabajos de nivel de entrada, 30 personas para los trabajos de nivel medio y 10 personas para los trabajos de nivel superior. Hay un exceso de candidatos junior pero no suficientes profesionales con experiencia.

Esta tendencia continuará durante al menos los próximos 3 a 5 años. Aquellos que no puedan obtener los puestos de nivel de entrada serán desconectados de la carrera profesional (o tendrán que conformarse con puestos de trabajo de analistas o desarrolladores junior y mirar hacia el lateral más adelante).

En realidad, esto es bastante similar a lo que ha estado sucediendo en la banca de inversión durante varios años. Sin embargo, la falta de profesionales de alto nivel se debe en realidad a que las personas se van a buscar mejores oportunidades en fondos de cobertura o empresas de capital privado, en lugar de ser un campo novedoso como lo es la ciencia de datos.

La respuesta es no y para ser brutalmente honesto contigo … nunca lo será.

Los científicos de datos, los ingenieros de aprendizaje automático y los ingenieros de datos no son como los empleados de la mesa de ayuda. No estoy degradando el papel de la persona en una mesa de ayuda, es donde comencé hace dos décadas.

Sin embargo, la cantidad de capacitación y profundidad y amplitud de habilidades necesarias es tan alta que la mayoría de las personas se desvanecerán . Además, incluso si están en el papel, sus habilidades serán muy bajas.

He sido DBA de SQL Server durante dos décadas antes de pasar a la ingeniería de datos y me han dicho que SQL Server y las bases de datos relacionales están desapareciendo. Me han dicho que el código abierto matará el crecimiento de SQL Server. Hace varios años me dijeron que no podría encontrar un trabajo hoy. Me dijeron que hay tantos DBA de SQL Server que la competencia sería tan alta que me costaría mucho competir. AWS y la nube van a matar a SQL … bla, bla y bla.

Nada de eso ha llegado a buen término y no lo hará. ¿Por qué? ¿No es cierto algo de lo que la gente me dijo? Sí, mucha gente usa código abierto, pero en las bases de datos empresariales como MySQL todavía se consideran bases de datos de juguetes. Sí, hay un montón de DBA de SQL Server, pero el 90% no funciona bien, lo que significa que pueden hacer lo básico y eso es todo.

¿Qué pasa con las tecnologías de Big Data? El objetivo del 99% del aprendizaje automático aplicado es mover los datos a un estado en el que los modelos se puedan ejecutar en su contra . ¿Por qué estaríamos recolectando exabytes de datos diariamente si el objetivo no fuera lograr una visión procesable? ¿Qué necesitan estos modelos? Limpiar datos tabulares. ¿Qué tecnología contiene datos tabulares limpios? Bases de datos relacionales.

Por lo tanto, si va a pasar a lo que yo llamo los tres grandes (ingeniería de datos, ingeniería de aprendizaje automático o científico de datos) y continuamente aprende y perfecciona su oficio, tendrá una carrera gratificante y bien remunerada en las próximas décadas.

Si está interesado en ingeniería de datos, mi curso a continuación sobre aprendizaje automático para ingenieros de datos es GRATUITO .

Una introducción al aprendizaje automático para ingenieros de datos

En cierto sentido, el mercado ya está inundado con demasiados científicos de datos. Hay decenas a cientos de solicitudes para puestos, y en ese sentido la competencia es muy alta.

Pero en otro sentido, hay muchas ofertas de trabajo. Esta desconexión se debe a que, aunque muchas personas se autodenominan científicos de datos, no muchas personas son capaces de satisfacer las demandas de la mayoría de los trabajos en la profesión. Requiere mucha capacitación difícil de conseguir, y no es algo que pueda aprender con unos pocos meses de cursos de Coursera o un programa de maestría de un año.

Entonces, demasiados científicos de datos de sellos de goma, seguro. Pero muy pocos de los buenos.

Editar:

Al aparecer en los comentarios, compartiré algunas formas en que he visto a personas destacarse entre la multitud:

1. Un fuerte github / bitbucket, con varios proyectos de código de calidad (con buenas prácticas de desarrollo de software) y al menos una implementación completa de algún producto de ciencia de datos. Puede ser estúpido, pero tiene que ser real: elija un pasatiempo y haga un algoritmo de recomendación para él, o descubra algo en lo que siempre haya tenido interés. O haga un bot de Twitter que responda de manera efectiva y tópica a los tweets. con un cierto hashtag o de una determinada cuenta de celebridad.
2. Prácticas en buenas empresas.
3. Un título STEM más alto y prestigioso (maestría, o mejor aún, doctorado), con trabajo de tesis. La clave es aprender a investigar, ya que un científico de datos es un puesto de investigación.
4. Comience su propia empresa. Hay muchos dominios desatendidos por la ciencia de datos. Demuestre que puede elegir una pregunta e intentar responderla.
5. Cambie a la ciencia de datos de otra cosa dentro de una empresa. Los analistas, ingenieros de software y personal de operaciones comerciales son buenos científicos de datos si alguien invierte en capacitarlos en las piezas que faltan en el comercio.
6. Ganar o colocarse alto en las competencias de Kaggle.

Para conseguir un trabajo en los lugares más buscados, deberá marcar varias de estas casillas. Hay una barra alta.

No. Cualquiera puede poner en marcha un clasificador en su idioma / herramienta favorita, pero se necesitan muchas otras habilidades para ser un científico de datos real (enmarcar la pregunta / problema, habilidades de codificación, conocimiento de las matemáticas / estadísticas / y visión para los negocios también)

Aunque ya hay algunas respuestas geniales, mis 2 centavos son:

Trate de imaginar que los “científicos de datos” se dividen en dos campos. Aquellos que trabajan en “problemas difíciles de L”, y aquellos que trabajan en “problemas difíciles de NL”.

Con eso, me refiero a los problemas de “computadora portátil difícil” y “no a la computadora portátil difícil”.

La gente de Data Science con las habilidades de ingeniería necesarias para trabajar a gran escala en grandes grupos de computadoras que se extienden más allá del alcance de lo que puede hacer en una computadora portátil es difícil de contratar hoy en día, y es probable que continúe siendo difícil contratar durante algún tiempo el futuro.

Si,
El mercado se inundó con muchos científicos de datos en la India.

Porque los institutos crearon artificialmente una gran demanda para aumentar sus negocios.

De cada 10 personas, 6 personas reciben capacitación / capacitación en ciencia de datos.