No recuerdo dónde (podría haber sido una publicación de blog, una entrevista o una segunda mano), pero recuerdo haber escuchado que Google investigó sus datos de contratación. Si no recuerdo mal, Peter Norvig, uno de los dioses de la comprensión de los datos, estaba contando la historia. ACTUALIZACIÓN: aparentemente esto está en Coders at Work , aunque no he leído el libro, así que debo haberlo leído de segunda mano. [1]
Google hace que cada entrevistador califique a un solicitante en una escala cuantitativa de 1-4 con interpretaciones bien definidas en la línea de la contratación estándar fuerte / débil / no contratada. Google también tiene un proceso regular de revisión de desempeño que fue capaz de servir como base de alguna medida de éxito dentro de la empresa. Creo que también analizaron cosas como los Premios del Fundador, promociones, etc. No recuerdo si se trataba solo de ingenieros o no, pero creo que podría haber sido.
Lo primero que casi cualquier científico de datos comprobaría es la media. Probablemente espere un resultado monótonamente creciente: cuanto más alto sea el puntaje, mejor será la contratación. Es posible que espere resultados cóncavos, es decir, rendimientos decrecientes, si su nivel es muy alto: todos los que está contratando son tan buenos que no importa cuán buenos sean. Es posible que espere resultados convexos si su barra fuera demasiado baja: esta es básicamente la teoría del ingeniero 10x de que la mayor parte del valor proviene de los mejores ingenieros, excepto con la afirmación mucho más audaz de que todavía se aplica incluso cuando filtra a las personas que no t pasar una entrevista de Google. Es posible que no haya correlación en absoluto si su barra es mágicamente perfecta o si simplemente está probando algo incorrecto por completo. También hay muchas otras formas de explicar la convexidad y la concavidad o los patrones que una barra alta / barra baja puede manifestar. La verdadera respuesta siempre será todo lo anterior, así que estás buscando órdenes de magnitud
- ¿Cuáles son algunos de tus algoritmos favoritos?
- ¿Cuáles son algunos buenos recursos para aprender a usar angular.js con Rails?
- ¿Cuál sería la estructura organizativa más óptima para la empresa de desarrollo de software orientada a Agile con menos de 100 personas que realizan SaaS?
- Cómo crear un software personalizado
- ¿Cómo describirías el 'panorama general' en ingeniería de software?
No vieron nada interesante al mirar el promedio de sus puntajes. (ACTUALIZACIÓN: Esto parece ser incorrecto; Norvig dijo que “los puntajes de las entrevistas en realidad se correlacionan muy bien con el desempeño en el trabajo” en el Proceso de contratación rota de Google)
En cambio, observaron el puntaje mínimo de las personas y descubrieron que era predictivo inverso. Es decir, las personas que obtuvieron al menos un “fuerte sin contratación” tenían más probabilidades de tener éxito que aquellos que no lo hicieron. La teoría aquí es que solo te contratan con un “fuerte no contratado” si alguien más lucha por ti, y una persona que realmente cree en ti es mejor que un grupo de personas que en su mayoría creen en ti. Probablemente espere que la variación de las puntuaciones de la entrevista tenga un efecto similar, y presumiblemente el máximo también fue predictivo, pero con menos fuerza, ya que obtener un 4 significa que le agradaste a alguien, pero no captura nada que ocurra fuera de la inicial clasificación. Probablemente también sea una función de tener solo una escala de 4 puntos; obtener un 10 en una escala de 10 puntos es probablemente más predictivo que un 4 en una escala de 4 puntos. Puede sospechar que estas personas por las que se pelea son referencias (y Google podría incluso tener esos datos), pero no escuché nada al respecto.
Una nota sobre este proceso: creo que estaban trabajando con una métrica fija de “éxito”. La métrica de éxito que elija no es necesariamente más fácil de elegir correctamente que contratar buenos ingenieros. Sin embargo, es razonable suponer que, básicamente, todas las métricas de éxito decentes se correlacionan positivamente entre sí y que cualquier correlación positiva con una se mostrará (si es menos clara) en la otra. Con una métrica de éxito fija, busca variar la función en los datos de su entrevista para encontrar algo predictivo. Podría cambiar eso y ver un problema diferente pero menos natural: “¿Cuál es la métrica de éxito que deberíamos usar para capturar lo que valoramos en nuestro proceso de entrevista?”
[1]: http://gawker.com/5392947/google…
[2]: Hay alguna evidencia de que algo alrededor de 4 o 5 valores es el nivel correcto de granularidad para dar a los humanos. Considere, por ejemplo, el éxito de Yelp o la escala de Shulgin: http://en.wikipedia.org/wiki/Shu…
