Cómo crear un analizador HTML de adaptación automática

Algunas cosas que puedes probar (no estoy seguro de la complejidad o la posibilidad de esto)

1. Suponiendo que todos los sitios web sigan los estándares de codificación, puede analizar fácilmente el texto para la etiqueta < artículo >. Todo su contenido requerido estará debajo de él. En el caso de un blog, la lista de todas sus publicaciones con extracto puede estar debajo de estas etiquetas.
2. Puede encontrar el elemento que ocupa la mayor parte del espacio. Todos los demás elementos, ya sea el logotipo o el encabezado completo, siempre serán más pequeños que el contenido principal. Si puede de alguna manera, al verificar el CSS encontrar el elemento que ocupa el espacio máximo, su problema se resuelve. (Debe ocuparse de las divisiones anidadas aquí o de lo contrario su algoritmo siempre apuntará hacia el html o la etiqueta del cuerpo)
3. Si sus artículos siguen una secuencia particular, puede buscar la secuencia de etiquetas html y obtener sus datos. Por ejemplo, la mayoría de los artículos tendrán primero un elemento de encabezado y luego un párrafo, tal vez una imagen intermedia. Entonces, todo lo que necesita hacer es buscar un encabezado ( H1 / H2 … ) y luego un párrafo ( p ). Y si encuentra esta secuencia en una sola división, lo más probable es que tenga su artículo.

También debe intentar averiguar cómo funciona otro rastreador, o tal vez la otra ronda, encontrar cómo crear sitios web amigables para SEO y puede obtener una pista.

Espero que esto sea de ayuda. Avísame si alguno de estos puntos te funciona.

🙂

Sinceramente, no entiendo todo lo que estás tratando de hacer. Supongo que ha buscado en 1000 sitios web potenciales de los que desea extraer algunos de los contenidos de su sitio web, ¿verdad? El contenido extraído debe tener un máximo de 3 páginas de cada sitio web rastreado, estas páginas deben estar relacionadas con el blog, necesita el texto y / o (información sobre las páginas) no las páginas completas.

Escribir un programa que haga esto es posible. Buscar, comprimir, extraer y guardar, luego exportar. Su sitio web debe tener un tema fijo para esta situación. Recuerdo que hace un tiempo, un joven de 17 años vendió un programa similar a http://yahoo.com por 30 millones.

No conozco una forma más fácil de hacer esto, creo que puede haber herramientas que puedan realizar estas tareas paso a paso.

1. Rastrear y localizar las páginas. (1er paso logrado)
2. Seleccione páginas y guarde contenido en formato .txt. (Medio hecho, puede establecer parámetros para rechazar páginas comunes o guardar solo páginas con una longitud de título de página específica)
3. Exporte nuevamente a su sitio web temático. (Encuentra el programa)

Escriba su pregunta y solicitud también en otros foros como stack-overflow y git-hub, puede encontrar a alguien que lo ayude.

Esta es una pregunta difícil, ya que no creo que haya una solución que funcione para cada uno.

Primeras ideas que me vienen a la mente:
– buscando la sección más larga

?
– mantenga una base de datos de etiquetas de identificación que contengan los artículos, verifique cada una de ellas con cada sitio web y, si encuentra una, extraiga el artículo. Si no, muéstrelo donde puede verificar manualmente cuál es la etiqueta de identificación con las herramientas de desarrollo de Chrome o algo así.

Si tiene una solución perfecta, hágamelo saber, me encantaría implementarla aquí:
http://jakemor.com/sumitup

Seguiré pensando y comentando si se me ocurre más: abordar un vuelo en este momento, así que tengo que ir \ U0001f603

¿Quizás pueda considerar esto como un problema de detección de funciones de aprendizaje automático? Por ejemplo, puede recopilar tantas características como sea posible y tener un conjunto de datos de entrenamiento que identifique las características manualmente para ejecutar un modelo. Tal vez ejecute PCA en él.

Agradable, este tipo de cosas es lo que odiamos y amamos al mismo tiempo. Lanzaré algunas ideas aquí.

¿Qué pasa con diferentes AST html? Es similar a lo que está haciendo y si existe una herramienta para crear un AST desde html, todas las partes comunes probablemente sean menús, barras de navegación, logotipos, comentarios, etc. Al menos el nodo superior no debería, aproximadamente, cambiar eso mucho.

Lo investigaré y volveré aquí.