¿Alguna vez ha cometido un error importante en un servidor de producción?

Mi peor error personal no fue en la producción, sino en el desarrollo. Había estado apoyando a un equipo de desarrollo, proporcionándoles copias de la base de datos de producción, donde no me había molestado en editar datos confidenciales antes de entregarlos a los desarrolladores. Era joven, no sabía nada mejor y ninguna persona sugirió que era una mala idea. De todos modos, uno de los desarrolladores estaba probando el programa de correo electrónico … Sí, un correo electrónico a la lista de clientes.

Hubo largas reuniones para discutir lo que había sucedido y cómo evitaríamos que siguiera adelante. Fue una forma difícil de aprender una lección importante, pero no me despidieron.

Estoy bastante seguro de que casi todos en el lado de la infraestructura de TI han cometido un error importante en algún momento en un sistema de producción. Por lo general, esto es más temprano en nuestra carrera. Compartiré contigo un par de historias. Uno mío y otro ex compañero de trabajo que permanecerá en el anonimato.

En los primeros días de ser un DBA, ejecuté una eliminación en una tabla que asignaba ID de sistema. Accidentalmente omití la cláusula where cuando resalté la declaración de eliminación. Esto inmediatamente causó todo tipo de estragos. Afortunadamente, los datos de la tabla eran en su mayoría estáticos. Envié un correo electrónico a las partes interesadas apropiadas y mencioné mi plan para solucionar el problema y luego me puse a trabajar.

Después de solucionar el problema, fui a mi director y nuevamente le expliqué lo que había sucedido junto con lo que iba a hacer para evitar que siguiera adelante. También tuvimos problemas de datos posteriores que tuvimos que abordar como resultado del problema. Me quedé hasta tarde con algunos equipos para ayudar a arreglar las cosas. Allí bromeé durante unos días pero no me despidieron. De hecho, muchas personas me animaron y me contaron sobre las veces que cometieron un gran error. Luego, años más tarde, le transmití mi historia al caballero cuya historia también estoy a punto de contarle.

Bob era un administrador de sistemas que tenía contratos con nosotros durante unos meses antes del incidente. Un día fue a formatear un volumen en nuestra SAN. Bueno, desafortunadamente formateó accidentalmente TODA LA SAN … No hace falta decir que fue un gran problema. Sin embargo, lo que realmente sorprendió al resto de nosotros fue que Bob admitió de inmediato su error y pidió ayuda. Una vez que nos recuperamos, tuvimos una reunión con la alta gerencia y se tomó la decisión de que si bien Bob había cometido un error MUY GRANDE, había demostrado mucha integridad. La precaución se aprende. La integridad es MUCHO más difícil de enseñar. Bob pensó que lo iban a dejar ir, en cambio lo contratamos a tiempo completo.

He tenido suerte / cuidado de no encontrarme en tal situación, pero trabajé con un compañero que fue menos afortunado. Estaba trabajando en actualizar un servidor departamental y “olvidó” hacer una copia de seguridad. Como sucede, la actualización no fue tan fácil y tuvo que formatear todos los discos y comenzar desde cero. Cuando el jefe del departamento descubrió que todos sus datos se habían perdido y que no había copias de seguridad, comenzó a llorar histéricamente y pensé que iba a comenzar a arrancarse el pelo frente a nosotros. Curiosamente, nada le sucedió al tipo que cometió el error. Esperaba completamente que lo despidieran, pero no fue así.

Hace muchos años, trunqué mi tabla de hechos principal con 100 millones de registros. Y la copia de seguridad no había funcionado. Malos recuerdos.