En el aprendizaje automático, ¿hay alguna teoría de la ingeniería de características?

¡Existe! Aunque no en una forma que haría su visibilidad, más trivial; Su tratamiento, más hacia la integridad y su comprensión, fácil para el lector. Por lo general, se ‘omite’ intencionalmente / ‘solo se toca brevemente’ debido a su ancho y profundidad intrínsecos (diversidad). Hacer un intento honesto de incorporar toda la “ingeniería de características” en cualquier libro (y mucho menos cualquier libro de aprendizaje automático) no sería práctico desde la perspectiva del lector. Haría que el libro, adivinando, al menos 10,000 páginas, ¡nadie quisiera eso! Es como preguntar: ¿por qué no hay un solo libro para explicar toda la ciencia en este mundo? Después de alguna etapa, no es práctico.

“Las características son representaciones de información” – notación de aprendizaje profundo.
(Ver la respuesta de Sameera Bharadwaja H a ¿Qué son buenas representaciones y malas representaciones en el aprendizaje profundo?)

Existen numerosas teorías que explican qué significa la información matemáticamente: entropía, varianza, probabilidad, etc. (algunas están relacionadas, solo la forma en la que se representa es diferente), generalmente son contextuales / de dominio / subyacentes al proceso y dependen de los datos . Para hacer las cosas más difíciles, no necesariamente complementarias, esto dificulta la elección de la representación y, por lo tanto, la “ingeniería”. Se podría intentar consolidar toda la información como un manual o material de encuesta. Puede encontrar dichos recursos en cualquier material relacionado con el aprendizaje profundo. Además, la mayoría de estas representaciones (lo que significa información) todavía se están investigando activamente. Por lo tanto, todos los científicos de datos tendrían sus propias creencias: para un ingeniero de procesamiento de imágenes, la variación puede ser información (contraste) y para un ingeniero de lenguaje natural, la perplejidad puede ser información, por lo que, incluso si alguien intenta publicar tal material, sería desde su propia perspectiva. No hay una verdad fundamental sobre la que basar todo el material, ¡todavía!

Hay tres tipos de características que puede generar de la siguiente manera (aquí hablaré sobre visión artificial en particular, pero el mismo concepto es aplicable en otros campos):
– Características estándar: hay muchas características estándar que puede usar como texturas GLCM, Histograma de gradientes orientados, Transformaciones Hough, SIFT ……
– Características diseñadas: donde necesita diseñar características genuinas relacionadas con su aplicación
– Características aprendidas: en este caso, en lugar de diseñar sus filtros y estructurar elementos, algunas técnicas pueden ayudarlo a aprender las características, como los codificadores automáticos, los mapas autoorganizados y las últimas tendencias en redes profundas.

La ingeniería de características tradicional es una heurística que no está respaldada por la teoría sino por el dominio del conocimiento. Por lo tanto, sabe que las características X pueden funcionar bien en imágenes e Y en datos de series de tiempo. La otra idea es el aprendizaje de características a través del aprendizaje profundo. No estoy seguro de si existe una teoría sólida y creíble de cómo funciona, pero hay algunas intuiciones.

Deep Learning es una teoría de la ingeniería de características.

Y por qué funciona no se entiende bien:
¿Por qué funciona el aprendizaje profundo?

Creo que el objetivo de mucha investigación universitaria en este momento es construir esta teoría de la ingeniería de características, pero que el agente sea capaz de diseñar las características en sí (a menudo, a partir de muchos datos) en lugar de un ingeniero humano. El aprendizaje no supervisado es la palabra de moda general utilizada para describir esta área, siendo el aprendizaje profundo el popular.

Estoy bastante seguro de que ningún almuerzo gratis básicamente debería impedir que esa actividad se ponga en una posición disciplinada.