¿Cómo definirías la ingeniería de datos en 5-10 puntos?

Gracias por el A2A.

  • (Big) Data , como ingeniero de datos, a menudo trabajará con Big Data. Creo que este es uno de los pilares del campo de la ingeniería de datos.
  • Comprensión empresarial , como ingeniero de datos, necesitará comprender muy bien el negocio en el que está trabajando: los datos a menudo contendrán columnas de las cuales es posible que no comprenda el significado, a menudo estará en reuniones donde la adquisición de datos o se discuten los objetivos trimestrales de la empresa, etc., por lo que es de suma importancia que comprenda esto lo antes posible porque, como lo ilustrará el siguiente punto, ¡también se asegura de que se puedan alcanzar estos objetivos!
  • Arquitectura , un ingeniero de datos necesita comprender cómo se gestionan los datos actualmente y debe comprender cómo se gestionarán los datos en el futuro (si ya hay planes a largo plazo en el departamento en el que está trabajando). Piensa e implementa soluciones sostenibles que ayudarán a la empresa a utilizar los datos al máximo en el futuro (cercano).
  • Data Pipelines , que incluye conceptos como importación de datos, limpieza y manipulación de datos.
  • La calidad de los datos , al administrar la arquitectura, las canalizaciones de datos y, en última instancia, los datos, protege y mejora la calidad de los datos cuando es necesario. Tenga en cuenta que la calidad de los datos también implica que los datos deben estar en el formato correcto para el objetivo que la empresa tiene en mente con los datos.
  • La adquisición y comprensión de datos , vinculada a la ‘comprensión empresarial’, adquirir los datos es una de sus principales tareas. Como se explicó anteriormente, a menudo asistirá a reuniones para discutir la arquitectura actual y futura, los objetivos de la empresa y los departamentos … ¡Es esencial obtener los datos correctos en el formato correcto!
  • Conocimiento técnico . Para hacer todo lo anterior, debe poder programar en lenguajes como Scala, Python, Java, …, debe saber sobre informática distribuida (Spark, Hadoop), lenguajes de secuencias de comandos (por ejemplo, Bash), necesita comprender las bases de datos y cómo funcionan los almacenes de datos, cómo puede programar trabajos, … ¡Su conocimiento técnico definitivamente será probado en este trabajo!
  • Emocionante, interesante, desafiante … Trabajar en este campo puede ser exigente, pero cuando trabajaba en el equipo de ingeniería de datos como desarrollador junior, me pareció un trabajo muy emocionante: cada día descubres cosas nuevas y desafíos nuevos para ti. resolver. ¡Conoces nuevas personas, nuevas demandas y tu pensamiento creativo definitivamente se pondrá a prueba!

Extra: Ingeniería de Datos vs. Infografía de Ciencia de Datos y Científico de Datos vs. Ingeniero de Datos.

Gracias por el A2A.

  • La Ingeniería de Datos en palabras simples es Ingeniería de Software extendida para acomodar la necesidad de manejar una gran cantidad de datos (también conocido como Big Data)
  • Al igual que la Ingeniería de Software, implica el proceso de ingeniería de requisitos para formar objetivos claramente definidos y el uso de mejores prácticas para alcanzarlos.
  • En comparación con la Ingeniería de software, podemos señalar con seguridad dos diferencias centrales (puede que no siempre sean ciertas):
  1. Los interesados ​​en la ingeniería de datos suelen ser científicos de datos, analistas de datos o profesionales de inteligencia empresarial.
  2. El producto final en la ingeniería de datos son los datos, que obviamente no es difícil de adivinar pero es muy importante tener en cuenta.
  • El objetivo de entregar el producto final a las partes interesadas generalmente se logra mediante el proceso de Extracción – Transformación – Carga. El proceso puede ser crudo, puede implicar variaciones de estos pasos, con los pasos no necesariamente en el orden mencionado
  • Se puede esperar que un ingeniero de datos use múltiples sombreros, que pueden ser desde un ingeniero de software hasta un científico de datos o un analista de negocios

Lo anterior no es en modo alguno una definición completamente exhaustiva de Ingeniería de Datos y, en cambio, ilustra mi visión personal de la Ingeniería de Datos como un campo. Si hay algo que se puede agregar a esta respuesta para que sea más completa y útil, no dude en comentar. Todavía me quedan algunas viñetas.

  1. integridad de datos: son los campos del conjunto de datos realmente correctos, registran el campo faltante, demasiados campos, un campo numérico con una letra
  2. formato: ¿se ha especificado correctamente la hora? son los datos en la codificación correcta
  3. consistencia: las horas de detención ocurren realmente después de las horas de inicio
  4. modelado de datos: ¿la representación realmente ayuda a responder las preguntas?
  5. los datos existen
  6. Volumen de datos
  7. gestión de datos: almacenamiento, eliminación, archivo, cumplimiento

Cada rama de la ingeniería puede, en una variedad de formas, ser considerada como “ingeniería de datos”. Todas las especialidades están destinadas a proporcionar soluciones a problemas que siempre implican el uso de hechos, de naturaleza numérica o científica, para obtener soluciones.

La “Ingeniería de datos” para un ingeniero químico definitivamente sería diferente de la “Ingeniería de datos” para un ingeniero industrial, un ingeniero de petróleo, un ingeniero nuclear, un ingeniero mecánico o un ingeniero eléctrico. Sin embargo, para cada una de estas especialidades de ingeniería, la necesidad de manipular datos de diferentes tipos o tipos se realiza de forma rutinaria sin recurrir a ninguna disciplina universalmente reconocida llamada “Ingeniería de datos” que haya conocido o escuchado en revistas técnicas.

Tal vez si le gustaría ser un poco más explícito con los detalles incluidos en su consulta, podría dirigir mis comentarios más específicamente en la dirección que esperaba. Si no, entonces esto tendrá que ser suficiente.

More Interesting

Cómo ayudar a mi país como estudiante de ingeniería

¿Cuáles son los alcances de los trabajos después de estudiar electrónica y comunicación?

¿Cuál es el valor de la ingeniería civil de la facultad de ingeniería de RV?

Cómo usar MATLAB en ingeniería automotriz

¿Qué hace a un buen ingeniero químico?

¿Cuál es la mejor opción ... Informática en la universidad de Chandigarh (Mohali) o ingeniería eléctrica en NIT Kurukshetra?

¿Por qué deberíamos estudiar temas de ingeniería mecánica como ingeniero electrónico?

¿Qué sería mejor, Ingeniería Informática y de Comunicación en KIIT o Ingeniería de TI de VIT?

¿Cuáles son las pasantías de invierno para un estudiante de ingeniería química de segundo año?

¿Cuál es la importancia de un título de ingeniería?

¿Cuál es la mejor manera de convertirse en ingeniero de mecatrónica si ya se está estudiando ingeniería mecánica?

¿Cuáles son las tendencias de los subcampos de la industria de ingeniería eléctrica e informática en Canadá?

En los sistemas de control de retroalimentación de estado (espacio de estado), supongamos que tengo estados que describen posiciones y velocidades de dos componentes. ¿Cómo doy una referencia para que las dos posiciones alcancen valores diferentes?

Qué primer año B.Tech. ¿Qué estudiante debe hacer en las vacaciones de verano que será útil para su futuro en el campo central (Ingeniería Química)?

¿Cómo puede un matemático hacerse rico sin entrar en finanzas o negocios?