¿En qué se diferencia el rol de ingeniero de datos del de ingeniero de software?

Las otras respuestas aquí son geniales, pero es interesante considerar por qué un ingeniero de datos tiene responsabilidades y habilidades tan diferentes que un ingeniero de software.

Los ingenieros de datos se centran principalmente en la integración de múltiples sistemas, lo que conlleva tres desafíos importantes:

• Amplitud y evolución: el ecosistema de gestión de datos está evolucionando tan rápidamente que los ingenieros de datos deben familiarizarse constantemente con las nuevas tecnologías, evaluar cuáles son maduras o aplicables a sus proyectos y aprender esas tecnologías con suficiente profundidad para integrarlas bien. Creo que este es un requisito mucho más fuerte que el ritmo de aprendizaje esperado para los ingenieros de software (que aún es intenso). Hay menos espacio para especializarse, mientras que un ingeniero de software puede ser un Java puro (lenguaje de programación) o un desarrollador de .NET Framework, por ejemplo.
• Herramientas y secuencias de comandos: los ingenieros de datos deben ser muy pragmáticos al adoptar una amplia gama de lenguajes y herramientas, especialmente los lenguajes de secuencias de comandos que sirven como pegamento importante para unir sistemas dispares. Otros lenguajes de secuencias de comandos y paquetes especiales como R (lenguaje de programación) y MATLAB pueden ser necesarios para el procesamiento de números altamente especializado y específico del dominio. Este es más comúnmente el dominio de un Científico de Datos (otro título ambiguo), mientras que un Ingeniero de Datos puede enfocarse en facilitar el uso de tales herramientas específicas de dominio en el sistema que están construyendo.
• Especialización profunda: los ingenieros de datos deben ser ingenieros de software muy capaces para las ocasiones en que deben desarrollar un componente de software a medida para su sistema. Esto puede incluir desde UDF especializados para bases de datos o sistemas como Apache Hive y Apache Pig, formatos de codificación o compresión patentados, y correcciones de errores matizadas hasta software de código abierto.

Por último, es más común que los ingenieros de datos creen soluciones donde tengan acceso directo a los clientes (generalmente internos), casos de uso e incluso datos sin procesar. En realidad, esto puede facilitar la creación de sistemas muy especializados y la depuración de errores complejos, dependientes de datos y reproducibles. Esta estrecha relación con el usuario final puede permitir un cierto estilo de desarrollo iterativo y creación de prototipos que es menos común para los ingenieros de software.

Esta es una pregunta un poco difícil porque el ingeniero de datos y el ingeniero de software son títulos de trabajo bastante ambiguos, pero esto es lo que sé:

Habilidades:
Ingeniería de datos:

• Mucho más enfoque en estadísticas, sistemas distribuidos, arquitectura de bases de datos.
• Los principales lenguajes para análisis / scripting incluyen: R, Matlab y Python.
• Los lenguajes para producción incluyen: Java, C ++, Pig Latin.

Ingeniería de software:

• Mucho más amplio, puede referirse a casi cualquier tipo de programación o desarrollo.
• En estos días, los ingenieros de software tienen una gran demanda de proyectos web, móviles y de infraestructura.
• Esto puede abarcar desde proyectos web que utilizan tecnologías web de front-end como Javascript, JQuery, Backbone.js y otros marcos, hasta el desarrollo de aplicaciones web con Ruby on Rails, Python y Django, Node.js, Java, Scala o cualquier otro idioma.
• En el frente móvil, los ingenieros de software generalmente trabajan con Objective-C para el desarrollo de iOS, Java para el desarrollo de Android o HTML5 para aplicaciones móviles basadas en la web.
• Los ingenieros de software también trabajan en todo tipo de proyectos que impulsan varios tipos de software.

Antecedentes educativos:
Ingeniería de datos:

• Por lo general, requiere un título más avanzado (maestría o doctorado) para la mayoría de los roles de científicos de datos.
• Los fondos están menos estrictamente relacionados con la informática. Los matemáticos, estadísticos, físicos y economometristas suelen ser grandes ingenieros de datos.

Ingeniería de software:

• A menudo se centra más en la informática y la experiencia de programación específicamente.
• Las habilidades fundamentales de CS como la filosofía Unix, las estructuras de datos, los algoritmos, las redes, las pruebas y el diseño de la experiencia del usuario son importantes.
• A menudo, la experiencia educativa es tan valiosa como la cartera de trabajo que un solicitante ha construido.

Recursos adicionales:
¿Cómo se comienza a escribir programas prácticos de aprendizaje automático?
Lo que CS Majors debe saber: http://matt.might.net/articles/w …