¿Qué son las pruebas ETL y cuáles son sus operaciones en ingeniería de software?

ETL significa Extracción de transformación y carga, recopila los diferentes datos de origen del sistema heterogéneo (DB), transforma los datos en el almacén de datos (destino). En el momento de la transformación, los datos se transforman primero en tabla de etapas (tabla temporal). Según las reglas comerciales, los datos se asignan a la tabla de destino, este proceso se asigna manualmente / lo configuramos con la herramienta ETL.
Las aplicaciones ETL implementan tres tipos principales de paralelismo:

  • Datos : al dividir un solo archivo secuencial en archivos de datos más pequeños para proporcionar acceso paralelo.
  • Canalización: permite la ejecución simultánea de varios componentes en la misma secuencia de datos. Por ejemplo: buscar un valor en el registro 1 al mismo tiempo que agrega dos campos en el registro 2.
  • Componente : la ejecución simultánea de múltiples procesos en diferentes flujos de datos en el mismo trabajo, por ejemplo, ordenar un archivo de entrada y eliminar duplicados en otro archivo.
  • Las herramientas ETL disponibles comercialmente incluyen:
    • Alteryx
    • Informatica PowerCenter
    • IBM Datastage
    • Ab Initio
    • Microestrategia
    • Oracle Data Integrator (ODI)
    • Servicios de integración de Microsoft SQL Server (SSIS)
    • Integración de datos de Pentaho (o hervidor de agua)
    • Talend
    • FlyData

En el momento de la transformación, los datos se transforman primero en tabla de etapas (tabla temporal)
Según las reglas comerciales, los datos se asignan a la tabla de destino, este proceso se asigna manualmente / lo configuramos con la herramienta ETL
ETL no transformó los datos duplicados
Velocidad del proceso de transformación de datos basada en la fuente de datos de origen y destino
Debemos considerar la estructura OLAP (procesamiento A1 analítico en línea) .Modelo de depósito de datos
Los datos de origen consisten en (XML, archivo plano, base de datos, informe de Excel, casa de datos)
Necesitamos establecer la validación en el momento de la transformación de datos, como ‘Evitar los valores’ NULL ‘en la tabla, validar el tipo de datos como Tiny int en lugar de entero .etc
Según los requisitos del usuario, comienza el proceso ETL
ETL:
ETL significa Extraer transformación y carga, Recopila los diferentes datos de origen del Sistema heterogéneo (DB), Transforma los datos en el Almacén de datos (Destino)
En el momento de la transformación, los datos se transforman primero en tabla de etapas (tabla temporal)
Según las reglas comerciales, los datos se asignan a la tabla de destino, este proceso se asigna manualmente / lo configuramos con la herramienta ETL
ETL no transformó los datos duplicados
Velocidad del proceso de transformación de datos basada en la fuente de datos de origen y destino
Tenemos que considerar la estructura OLAP (procesamiento analítico en línea) .Modelo de depósito de datos
Los datos de origen consisten en (XML, archivo plano, base de datos, informe de Excel, casa de datos)
Necesitamos establecer la validación en el momento de la transformación de datos, como ‘Evitar los valores’ NULL ‘en la tabla, validar el tipo de datos como Tiny int en lugar de entero .etc
Según los requisitos del usuario, comienza el proceso ETL

En primer lugar, debería aclarar el significado de las pruebas ETL: se trata de extraer, transformar y cargar.

es decir, extraeremos datos de cierto tipo de fuentes y de acuerdo con la transformación que se requiera, los aplicaremos y luego los volveremos a un almacén de datos …

Por lo tanto, principalmente realizaremos verificaciones de datos para determinar si tuvimos éxito para extraer datos de un lugar y colocarlos en otro utilizando alguna transformación y esto se puede lograr mediante SQL, es decir, utilizaremos consultas SQL para verificar si los datos es igual en origen y destino.

Y, principalmente, este tipo de pruebas se pueden usar en dominios bancarios donde se necesitan datos históricos para guardarlos en algún lugar y luego se puede requerir que se tonteen en cualquier lugar en cualquier momento.

Además, deja muy en claro que las personas de prueba no tienen la responsabilidad de enviar los datos. Pero, solo tienen la responsabilidad de verificar que los datos se transforman y se descargan correctamente y solo para información, los datos de origen a destino se envían a través de ETL Jobs o sesiones que se crean dentro de un software llamado Informatica

Pruebas de ETL, como su nombre indica, está probando todos sus trabajos o transformaciones de ETL. Tiene proceso tanto manual como de automatización. En el caso del manual, el probador debe recoger manualmente los datos de varias fuentes de datos, aplicar toda la transformación en los datos recopilados y luego hacerla coincidir con los datos que se presentan en el DW. Las consultas SQL generalmente se usan para probar los datos.

More Interesting

¿Por qué las entrevistas de ingeniería de software senior son tan difíciles en estos días?

¿Por qué los ingenieros de software ganan más dinero que los ingenieros de hardware?

Cómo intercambiar entre dos compañías por una oferta de trabajo de ingeniería de software con gracia

¿Dónde se encuentran los ingenieros de software en el mundo de hoy?

Como ingeniero de software, ¿no soy lo suficientemente bueno si no tengo conocimiento sobre algoritmos avanzados y estructuras de datos?

¿Debo rechazar una oferta de ingeniero de software senior que paga bien ($ 170k) y tiene buenos horarios porque siento que el equipo es solo promedio?

¿Cómo difieren los desarrolladores de software en Nueva York, San Francisco, Londres y Bangalore?

¿Cada persona que posee una Mac también compra cualquier otro software?

¿Quién es un tipo de CS que ha hecho brillantemente en la línea de codificación y puede servir como el mejor ejemplo para tales aspirantes que no son de CS?

¿Es posible que un SDE 1 de Amazon sin MBA pero con cierta experiencia en marketing sea contratado para el rol de PM de Amazon en 2 o 3 años?

¿Cuál es el alcance de las pruebas basadas en herramientas?

¿Puede un ingeniero de software integrado entrar en hardware?

Como ingeniero de software, ¿qué te hizo elegir trabajar en Pinterest sobre todas las otras compañías en el Valle?

Quiero convertirme en compositor musical. ¿Donde debería empezar?

Actualmente estoy en noveno grado, y soy muy malo en matemáticas. Tengo que comenzar a planificar el futuro ahora, y dicho esto, ¿qué trabajo en todo el universo no requiere matemáticas?