¿Cuáles son las preguntas más populares de la entrevista con el ingeniero de datos?

El rol de ingeniero de datos cubre muchas tecnologías como: Hadoop, Hive, Spark, SQL, etc. Algunas de las preguntas más populares de la entrevista de ingeniero de datos son las siguientes:

1. ¿Cuáles son las cuatro V de Big Data?
2. ¿Cuál es la diferencia entre Big Data estructurado y no estructurado?
3. ¿Cuáles son los componentes principales de una aplicación Hadoop?
4. ¿Cuál es el concepto central detrás del framework Apache Hadoop?
5. ¿Qué es Hadoop Streaming?
6. ¿Cuál es la diferencia entre NameNode, Backup Node y Checkpoint NameNode en HDFS?
7. ¿Cuál es la configuración de hardware óptima para ejecutar Apache Hadoop?
8. ¿Qué sabes sobre Block y Block Scanner en HDFS?
9. ¿Cuáles son los números de puerto predeterminados en los que se ejecutan Name Node, Job Tracker y Task Tracker en Hadoop?
10. ¿Cómo deshabilitará un escáner de bloque en HDFS DataNode?
11. ¿Cómo obtendrá la distancia entre dos nodos en Apache Hadoop?
12. ¿Por qué utilizamos hardware básico en Hadoop?
13. ¿Cómo funciona la copia de datos entre clústeres en Hadoop?
14. ¿Cómo podemos actualizar un archivo en una ubicación arbitraria en HDFS?
15. ¿Qué es el factor de replicación en HDFS y cómo podemos configurarlo?
16. ¿Cuál es la diferencia entre NAS y DAS en el clúster de Hadoop?
17. ¿Cuáles son los dos mensajes que NameNode recibe de DataNode en Hadoop?
18. ¿Cómo funciona la indexación en Hadoop?
19. ¿Qué datos se almacenan en un NameNode HDFS?
20. ¿Qué pasaría si NameNode se bloquea en un clúster HDFS?
21. ¿Cuáles son las funciones principales de Secondary NameNode?
22. ¿Qué sucede si el archivo HDFS se configura con un factor de replicación de 1 y DataNode se bloquea?
23. ¿Cuál es el significado de Rack Awareness en Hadoop?
24. Si establecemos el factor de replicación 3 para un archivo, ¿significa que algún cálculo también se realizará 3 veces?
25. ¿Cómo comprobará si existe un archivo en HDFS?
26. ¿Por qué usamos el comando fsck en HDFS?
27. ¿Qué sucederá cuando NameNode esté inactivo y un usuario envíe un nuevo trabajo?
28. ¿Cuáles son los métodos principales de un reductor en Hadoop?
29. ¿Cuáles son las fases principales de un reductor en Hadoop?
30. ¿Para qué sirve el objeto Context en Hadoop?
31. ¿Cómo funciona la partición en Hadoop?
32. ¿Qué es un combinador en Hadoop?
33. ¿Cuál es el factor de replicación predeterminado en HDFS?
34. ¿Cuánto almacenamiento asigna HDFS para almacenar un archivo de 25 MB de tamaño?
35. ¿Por qué HDFS almacena datos en la estructura de bloques?
36. ¿Cómo va a crear un Partitioner personalizado en un trabajo de Hadoop?
37. ¿Cuáles son las diferencias entre el modelo de datos RDBMS y HBase?
38. ¿Qué es un nodo Checkpoint en HDFS?
39. ¿Qué es un nodo de respaldo en HDFS?
40. ¿Cuál es el significado del término localidad de datos en Hadoop?
41. ¿Cuál es la diferencia entre Data science, Big Data y Hadoop?
42. ¿Qué es un equilibrador en HDFS?
43. ¿Cuáles son los puntos importantes que un NameNode considera antes de seleccionar el DataNode para colocar un bloque de datos?
44. ¿Qué es Safemode en HDFS?
45. ¿Cómo reemplazará el volumen de datos HDFS antes de cerrar un DataNode?
46. ¿Cuáles son los archivos de configuración importantes en Hadoop?
47. ¿Cómo va a monitorear la memoria utilizada en un clúster de Hadoop?
48. ¿Por qué necesitamos la serialización en los métodos de reducción de mapas de Hadoop?
49. ¿Para qué sirve la caché distribuida en Hadoop?
50. ¿Cómo sincronizará los cambios realizados en un archivo en caché distribuida en Hadoop?
51. ¿Cómo mejorará el rendimiento de un programa en Hive?
52. ¿Podemos usar Hive para sistemas de procesamiento de transacciones en línea (OLTP)?
53. ¿Cómo va a cambiar el tipo de datos de una columna en Hive?
54. ¿Qué es Metastore en Hive?
55. ¿Qué es SerDe en Hive?
56. ¿Cuáles son los componentes en el modelo de datos de Hive?
57. ¿Cuáles son los diferentes modos en los que podemos ejecutar Hive?
58. ¿Cuáles son los componentes principales de Hive?
59. ¿Para qué sirve Hive en el ecosistema Hadoop?
60. ¿Qué tipos de datos de colección / complejo son compatibles con Hive?
61. ¿Para qué sirve el archivo .hiverc en Hive?
62. ¿Cómo ejecutarás los comandos de Unix desde Hive?
63. ¿Cuál es el propósito del comando USE en Hive?
64. ¿Cuál es el orden de precedencia en la configuración de Hive?
65. ¿Cómo mostrará la fila del encabezado con los resultados de una consulta de Hive?
66. ¿Podemos crear varias tablas en Hive para un archivo de datos?
67. ¿Cómo funciona la función CONCAT en Hive?
68. ¿Cómo va a cambiar la configuración de una sesión de Hive?
69. ¿Cómo cambiarás el nombre de una tabla en Hive sin usar el comando ALTER?
70. ¿Cuál es la diferencia entre SORT BY y ORDER BY en Hive?
71. ¿Para qué sirve el modo estricto en Hive?
72. ¿De qué sirve la cláusula IF EXISTS en las declaraciones de Hive?
73. ¿Cuál es el uso de PURGE en la declaración DROP de Hive?
74. ¿Cuáles son las principales limitaciones de Apache Hive?
75. ¿Cuál es la diferencia entre HBase y Hive?
76. ¿Qué es ObjectInspector en Hive?
77. ¿Cuáles son los componentes principales del procesador de consultas en Apache Hive?
78. ¿Cómo resolverá un error de falta de memoria mientras ejecuta una consulta JOIN?
79. ¿Cuáles son las diferentes implementaciones de SerDe en Hive?
80. ¿Para qué sirve HCatalog?
81. ¿Cuál es el modelo de datos de HCatalog?
82. ¿Qué es el operador RLIKE en Hive?
83. ¿Podemos usar el mismo nombre para TABLE y VIEW en Hive?
84. ¿Cómo cargará datos en un VIEW en Hive?
85. ¿Qué es Bucketing en Hive?
86. ¿Cuáles son las ventajas y desventajas de archivar una partición en Hive?
87. ¿Cuáles son las funciones generadoras de tablas en Hive?
88. ¿Cómo podemos especificar en Hive para cargar un archivo HDFS en LOAD DATA?
89. ¿Qué es una mesa sesgada en Hive?
90. ¿De qué sirve la cláusula CLUStered BY durante la creación de la tabla en Hive?
91. ¿Qué es una tabla administrada en Hive?
92. ¿Cómo evitará que se eliminen o consulten datos de una partición en Hive?
93. ¿Cuál es el uso de TOUCH en la declaración ALTER?
94. ¿Cómo funciona la cláusula OVERWRITE en la declaración CREATE TABLE en Hive?
95. ¿Cuáles son las opciones para conectar una aplicación a un servidor Hive?
96. ¿Cómo funcionan las funciones TRIM y RPAD en Hive?
97. ¿Cómo accederá recursivamente a los subdirectorios en Hive?
98. ¿Cuál es la optimización que se puede hacer en la consulta SELECT * en Hive?
99. ¿Para qué sirven las tablas de formato ORC en Hive?
100. ¿Cuáles son los principales casos de uso para usar Hive?
101. ¿Qué es STREAMTABLE en Hive?
102. ¿Cuáles son las principales características de Apache Spark?
103. ¿Qué es un conjunto de datos de distribución resiliente en Apache Spark?
104. ¿Qué es una transformación en Apache Spark?
105. ¿Cuáles son las opciones de seguridad en Apache Spark?
106. ¿Cómo va a monitorear Apache Spark?
107. ¿Cuáles son las principales bibliotecas de Apache Spark?
108. ¿Cuáles son las funciones principales de Spark Core en Apache Spark?
109. ¿Cómo va a ajustar la memoria en Spark?
110. ¿Cuáles son las dos formas de crear RDD en Spark?
111. ¿Cuáles son las principales operaciones que se pueden hacer en un RDD en Apache Spark?
112. ¿Cuáles son las transformaciones comunes en Apache Spark?
113. ¿Cuáles son las acciones comunes en Apache Spark?
114. ¿Qué es una operación aleatoria en Spark?
115. ¿Cuáles son las operaciones que pueden causar una confusión en Spark?
116. ¿Cuál es el propósito de Spark SQL?
117. ¿Qué es un DataFrame en Spark SQL?
118. ¿Qué es un archivo Parquet en Spark?
119. ¿Cuál es la diferencia entre Apache Spark y Apache Hadoop MapReduce?
120. ¿Cuáles son los principales idiomas compatibles con Apache Spark?
121. ¿Cuáles son los sistemas de archivos compatibles con Spark?
122. ¿Qué es un controlador de chispa?
123. ¿Qué es un linaje RDD?
124. ¿Cuáles son los dos tipos principales de Vector en Spark?
125. ¿Cuáles son los diferentes modos de implementación de Apache Spark?
126. ¿Qué es la evaluación perezosa en Apache Spark?
127. ¿Cuáles son los componentes principales de una aplicación distribuida en Apache Spark?
128. ¿Cuál es la diferencia en los métodos cache () y persist () en Apache Spark?
129. ¿Cómo eliminará los datos de la memoria caché en Apache Spark?
130. ¿Para qué sirve SparkContext en Apache Spark?
131. ¿Necesitamos HDFS para ejecutar la aplicación Spark?
132. ¿Qué es Spark Streaming?
133. ¿Cómo funciona internamente Spark Streaming?
134. ¿Qué es una tubería en Apache Spark?
135. ¿Cómo funciona Pipeline en Apache Spark?
136. ¿Cuál es la diferencia entre Transformer y Estimator en Apache Spark?
137. ¿Cuáles son los diferentes tipos de Cluster Managers en Apache Spark?
138. ¿Cómo minimizará la transferencia de datos mientras trabaja con Apache Spark?
139. ¿Cuál es el uso principal de MLib en Apache Spark?
140. ¿Qué es el Checkpointing en Apache Spark?
141. ¿Qué es un acumulador en Apache Spark?
142. ¿Qué es una variable de difusión en Apache Spark?
143. ¿Qué es la transmisión estructurada en Apache Spark?
144. ¿Cómo pasará funciones a Apache Spark?
145. ¿Qué es un gráfico de propiedades?
146. ¿Qué es la agregación de vecindarios en Spark?
147. ¿Cuáles son los diferentes niveles de persistencia en Apache Spark?
148. ¿Cómo seleccionará el nivel de almacenamiento en Apache Spark?
149. ¿Cuáles son las opciones en Spark para crear un gráfico?
150. ¿Cuáles son los operadores básicos de Graph en Spark?
151. ¿Cuál es el enfoque de partición utilizado en GraphX ​​de Apache Spark?
152. ¿Escribir una consulta SQL para obtener el segundo salario más alto entre todos los empleados?
153. ¿Cómo podemos recuperar registros alternativos de una tabla en Oracle?
154. Escriba una consulta SQL para encontrar el salario máximo y el nombre del departamento de cada departamento.
155. Escriba una consulta SQL para buscar registros en la Tabla A que no estén en la Tabla B sin usar el operador NOT IN.
156. ¿Cuál es el resultado de la siguiente consulta?
157. Escriba SQL Query para buscar empleados que tengan el mismo nombre y correo electrónico.
158. Escriba una consulta SQL para encontrar el salario máximo de cada departamento.
159. Escriba una consulta SQL para obtener el enésimo salario más alto entre todos los empleados.
160. ¿Cómo puede encontrar 10 empleados con número impar como ID de empleado?
161. Escriba una consulta SQL para obtener los nombres de los empleados cuya fecha de nacimiento es entre el 01/01/1990 y el 31/12/2000.
162. Escriba una consulta SQL para obtener la fecha del trimestre.
163. Escribir consulta para encontrar empleados con correo electrónico duplicado.
164. ¿Es seguro usar ROWID para ubicar un registro en consultas Oracle SQL?
165. ¿Qué es una pseudocolumna?
166. ¿Cuáles son las razones para desnormalizar los datos?
167. ¿Cuál es la característica en SQL para escribir declaraciones If / Else?
168. ¿Cuál es la diferencia entre DELETE y TRUNCATE en SQL?
169. ¿Cuál es la diferencia entre los comandos DDL y DML en SQL?
170. ¿Por qué usamos caracteres de escape en consultas SQL?
171. ¿Cuál es la diferencia entre la clave primaria y la clave única en SQL?
172. ¿Cuál es la diferencia entre INNER join y OUTER join en SQL?
173. ¿Cuál es la diferencia entre Left OUTER Join y Right OUTER Join?
174. ¿Cuál es el tipo de datos de ROWID?
175. ¿Cuál es la diferencia entre where cláusula y tener cláusula?
176. ¿Cómo calculará el número de días entre dos fechas en MySQL?
177. ¿Cuáles son los diferentes tipos de disparadores en MySQL?
178. ¿Cuáles son las diferencias entre la tabla Heap y la tabla temporal en MySQL?
179. ¿Qué es una tabla Heap en MySQL?
180. ¿Cuál es la diferencia entre el tipo de datos BLOB y TEXT en MySQL?
181. ¿Qué sucederá cuando AUTO_INCREMENT en una columna INTEGER alcance MAX_VALUE en MySQL?
182. ¿Cuáles son las ventajas de MySQL en comparación con Oracle DB?
183. ¿Cuáles son las desventajas de MySQL?
184. ¿Cuál es la diferencia entre el tipo de datos CHAR y VARCHAR en MySQL?
185. ¿Cuál es el uso de ‘i_am_a_dummy flag’ en MySQL?
186. ¿Cómo podemos obtener la fecha y hora actual en MySQL?
187. ¿Cuál es la diferencia entre la marca de tiempo en Unix y MySQL?
188. ¿Cómo limitará una consulta MySQL para mostrar solo las 10 filas principales?
189. ¿Qué es la inicialización y actualización automática de TIMESTAMP en una tabla MySQL?
190. ¿Cómo podemos obtener la lista de todos los índices en una tabla?
191. ¿Qué es SAVEPOINT en MySQL?
192. ¿Cuál es la diferencia entre ROLLBACK TO SAVEPOINT y RELEASE SAVEPOINT?
193. ¿Cómo buscará una cadena en la columna MySQL?
194. ¿Cómo podemos encontrar la versión del servidor MySQL y el nombre de la base de datos actual mediante la consulta SELECT?
195. ¿Para qué sirve el operador IFNULL () en MySQL?
196. ¿Cómo comprobará si existe una tabla en MySQL?
197. ¿Cómo verá la estructura de una tabla en MySQL?
198. ¿Cuáles son los objetos que puede crear la instrucción CREATE en MySQL?
199. ¿Cómo verá al usuario actual conectado a la conexión MySQL?
200. ¿Cómo puede copiar la estructura de una tabla en otra tabla sin copiar los datos?
201. ¿Cuál es la diferencia entre los modos Batch e Interactivo de MySQL?
202. ¿Cómo podemos obtener un número aleatorio entre 1 y 100 en MySQL?

Referencia : Preguntas y respuestas de la entrevista de los 200 principales ingenieros de datos

Sígueme en Gautam Gupta para obtener más información sobre los temas de la entrevista del ingeniero de datos.

• ¿Qué buscan en un candidato que aparece en una entrevista de IAS (Indian Administrative Services)? ¿Cuánto importan tus logros académicos?
• ¿Cuáles son algunos buenos KPI para buscar trabajo?
• Cómo manejar el rechazo laboral
• ¿Qué se debe llevar a una entrevista en Palantir?
• Como dar mi primera entrevista