¿Los científicos de datos trabajan necesariamente con big data?

No, no todos los científicos de datos trabajan con Big Data.

Incluso articularé esto:

La mayoría de los científicos de datos trabajan con datos pequeños la mayor parte del tiempo.

Big data no está bien definido, pero de acuerdo con mi definición personal, son datos demasiado voluminosos para ser manejados por una sola computadora. Por lo general, eso significa que los datos pequeños están en la escala GB y por debajo, mientras que los datos grandes están en la escala TB y superiores.

La mayoría de los conjuntos de datos del mundo real son pequeños según esta definición.

Claro, si usted es un científico de datos en uno de los megacorps en la industria tecnológica de Silicon Valley, en su mayoría estará tratando con grandes datos. Por otro lado, si usted es un científico de datos en cualquier otra industria, es probable que se trate de conjuntos de datos que pueden analizarse en su computadora portátil en la mayoría de los casos. Hay muchos científicos de datos por ahí que nunca han tocado Hadoop, Spark o cualquier otra tecnología de big data.

No lo hacen ahora, pero lo harán . Yuvan (Yuvan Asav) ha descrito maravillosamente cómo funcionan los científicos de datos.

¿Cuáles son los casos de uso?

Comprendamos cómo es que los científicos de datos se convierten en un gran negocio. Todo depende del caso de uso. El uso para científicos de datos ha existido durante la última década utilizando métodos de programación estadística (SAS, R). Estos casos de uso pronostican ventas en el comercio minorista para una planificación laboral efectiva, etc. Estos casos de uso de ciencia de datos tienen una demanda limitada.

El futuro está en Big Data:

Ahora, si ve el mercado de capitales, se maneja a través de casos de uso de Big Data. Amazon, Facebook, LinkedIn están capturando el mercado debido a los casos de uso de Big Data. ¿Por qué estamos escribiendo en Quora mientras Expert Exchange ha existido desde siempre? La respuesta es que Quora puede formular la pregunta correcta a la persona adecuada mediante el aprendizaje automático y Big Data.

La demanda de la próxima generación estaría en Big Data

Entonces, como todas las organizaciones principales están invirtiendo dinero en Big Data y ciencia de datos, los científicos de datos exigen que esté en el campo de Big Data.

Entonces, si usted es un aspirante a científicos de datos, o desea desarrollar una carrera más, es esencial trabajar la ciencia de datos en Big Data.

Por cierto, si está interesado en conocer las herramientas de Big Data para hacer ciencia de datos, visite OvalEdge.

No. Depende.

El trabajo de un científico de datos es extraer conocimiento de los datos . Ahora, estos datos podrían caber en un archivo de texto normal (no grandes datos) o datos que son tan grandes que una sola computadora no puede manejarlos (grandes datos).

Entonces, ¿qué hace un científico de datos cuando recibe grandes datos?

Muestreo. Muestreo aleatorio. Una muestra aleatoria construida a partir de los datos grandes (leer datos grandes) debe representar la característica general de los datos grandes. Estos datos muestreados son ahora los datos que el científico de datos usaría para probar la hipótesis que él o ella quería probar.

Otras veces, muchos científicos de datos conocen bien las tecnologías de big data e incluso disfrutan analizar estos enormes datos.

Mucho de esto también depende del dominio en el que el científico de datos esté trabajando. Trabajo en Walmart Labs, donde lo primero que experimenta es la escala de los datos. Por lo tanto, siempre se piensa en la escalabilidad de los modelos de aprendizaje automático. No se puede evitar el big data si la empresa para la que trabaja genera terabytes de datos a diario.

En realidad, no trabajes con nada que no quisieras. Si tiene curiosidad acerca de algún conocimiento, aprenda, si no le gusta y cree que no estará contento de trabajar con él, hágalo.

Para mí, tenía mucha curiosidad sobre la inteligencia artificial y ni siquiera sabía cuál era la diferencia entre el aprendizaje automático y la inteligencia artificial. Completé clases completas de aprendizaje automático y python, y decidí que necesitaba avanzar para aprender más tecnologías como el profundo. aprendizaje. Mi objetivo es construir algo inteligente.

No quiero trabajar con Big Data, porque esa tendencia no me atrae 🙂

En primer lugar, depende de lo que quiera decir con el término big data. ¿Son 100,000 filas y 10 características grandes? De alguna manera lo es, pero eso no se considera Big Data en el mundo de Data Science. Big Data es muy importante en Data Science y muchos científicos de datos trabajan con él, pero muchos no, requiere el conocimiento de un conjunto de habilidades adicionales como Hadoop. Sin embargo, solo necesita usar Hadoop cuando su conjunto de datos es realmente muy grande y no puede realizar una muestra aleatoria en su conjunto de datos de manera eficiente para disminuir significativamente su tamaño para que ya no se clasifique como Big Data.

No, trabajo con datos grandes, datos pequeños y muchos datos intermedios. He tenido proyectos con <20 personas y muchos predictores (tan desafiantes y probablemente más que grandes datos).