Procesamiento de imágenes: ¿Podemos realmente calcular el nivel de estrés de una persona que usa video en tiempo real?

Sí, es posible medir los niveles de estrés con un grado razonable de precisión utilizando solo una alimentación de video normal. Es posible decir por los ojos, la boca y otras expresiones faciales que alguien está estresado, cansado o feliz.

Mi primer enfoque para este problema sería utilizar una red de conexión con una capa de salida softmax con dos salidas, una correspondiente a estresada y la otra a no estresada . El uso de softmax hace que la salida sea un indicador probabilístico del estado de estrés.

Luego entrene este sistema con conjuntos de datos etiquetados apropiados. Obviamente, no es tan fácil poner en funcionamiento un sistema de aprendizaje profundo, pero después de varios ajustes de hiperparámetros, el sistema debería poder funcionar con un nivel aceptable de precisión.

El problema aquí es que para el estado no estresado , necesitará muchos más datos que para el estado estresado. Los dos combinados necesitarán una cantidad aún mayor de datos de entrenamiento que no es fácil de obtener.

El enfoque anterior no usa información temporal, solo toma un cuadro a la vez. Una mejora sería tomar N cuadros del video, esto significa que la entrada a la convNet sería NxWxHxI dimensiones dado que W corresponde al ancho y H a la altura del cuadro e I es 3 para RGB, 1 para monocromo y 4 para RGB + infrarrojo.

Puede trabajar con fuentes de video RGB o con una combinación de RGB e infrarrojos. Lo último funcionaría mejor porque es posible medir la cantidad de sangre que fluye en la cara en función del estrés.

Espero que esto ayude.

Si es posible. La estimación de la expresión facial es un tema de investigación que se estudió intensamente, sin embargo, creo que el estado del arte aún no es muy satisfactorio.

Para comenzar con una versión simplificada, puede consultar un conjunto de datos bastante interesante llamado JAFFE, que contiene imágenes de chicas japonesas con diferentes expresiones faciales. Puedes obtenerlo aqui:

Base de datos de expresión facial femenina japonesa (JAFFE)

Con fines de enseñanza, el año pasado extraje algunas características de este conjunto de datos. Le invitamos a echar un vistazo también.

shengshuyang / JAFFE-Feature

Respuesta corta: sí.

1. Las técnicas de reconocimiento de gestos faciales pueden medir expresiones en video en tiempo real.

2. Calibración: Todos y cada uno de los instrumentos de medición requieren calibración y el análisis de imagen de medición del nivel de estrés no es diferente. En un nivel aproximado, todos tienen expresiones visualmente similares para niveles similares de estrés, ansiedad, etc., y esto puede ser pre-entrenado. Sin embargo, las preguntas de control y la respuesta de medición (al igual que los detectores de mentiras) se pueden usar para calibrar el sistema y ajustar la medición del nivel de estrés para cada sujeto humano.

3. Análisis multiespectral: el uso de cámaras infrarrojas y otros sensores similares puede medir el flujo de sangre en los capilares faciales, que es un ejemplo de un efecto fisiológico asociado con el estrés.

4. Otros análisis de gestos y actividades: las técnicas de reconocimiento de actividades se pueden utilizar para cuantificar el movimiento de las manos, la cabeza, etc., para detectar signos de estrés, como nerviosismo nervioso.

Esta pregunta tiene ambas respuestas sí y no.

Sí, si quieres entender los cambios repentinos de expresión. Trabajamos para comprender los sentimientos de las personas mientras vemos una película en un cine. De esta manera, puede llegar a una estadística de medición de audiencia como% 85 se sintió disgustado entre los minutos 20 y 25.

Sí, si está buscando usos en varios problemas de atención médica, ya que algunas de las enfermedades mentales tienden a mostrar patrones comprensibles.

No cuando se trata de nivel de estrés. Necesita una gran observación en el dominio del tiempo. No se puede clasificar el nivel de estrés fácilmente, especialmente en tiempo real. Cada individuo tiene diferentes flujos de trabajo para el estrés y todavía necesita otro tipo de inteligencia.

Estuve en un taller en Israel para aplicaciones de videovigilancia hace 4 años. Discutimos el mismo problema que muchos profesionales de la visión por computadora y otras disciplinas se reunieron. Después de eso discutimos el mismo problema muchas veces. Existen varias soluciones para comprender el nivel de estrés del análisis de voz, pero al final del día necesita ayuda de expertos. Recuerdo haber discutido formas de encontrar pistas con los muchachos de vigilancia. La respuesta fue similar. Ningún criminal es similar, especialmente si son inteligentes o se les lava el cerebro. Tienes que mirar directamente a sus ojos, hacer preguntas cruzadas (necesita educación para hacerlas) para su verificación. Haga que se sientan seguros y de repente vuelvan a preguntas similares con diferentes significados. Observe todo el tiempo por respuestas sospechosas. Trate de visitar Israel y entienda lo que quiero decir al observar los comportamientos de los tipos de seguridad en el aeropuerto Ben Gurion 🙂

Usando Eulerian Video Magnification es posible hacer visible el ritmo cardíaco de una persona en un video: los científicos descubren un movimiento invisible en video

No sé sobre el nivel de estrés, pero el MIT ha demostrado que puede verificar otros diversos factores, como la frecuencia auditiva del cuerpo humano, utilizando una cámara genérica.

Las variaciones de color que no son visibles para el ojo humano se pueden detectar usando cámaras de teléfonos inteligentes (porque tienen una gama de colores más amplia) y se pueden usar para detectar el pulso. Consulte Google para más detalles.