John Mueller de Google escribió una explicación muy detallada y honesta sobre por qué Google (y las herramientas de SEO de terceros) no rastrean ni indexan cada URL o enlace en la web. Explicó que el rastreo no es objetivo, es costoso, puede ser ineficiente, la web cambia mucho, hay spam y basura y todo eso hay que tenerlo en cuenta.
John escribió esta respuesta detallada en Reddit respondiendo a la pregunta «¿Por qué las herramientas de SEO no muestran todos los backlinks?» Pero lo respondió desde la perspectiva de la Búsqueda de Google.
Él dijo:
No existe una forma objetiva de rastrear la web correctamente. En teoría, es imposible rastrearlo todo, ya que la cantidad de URL reales es infinita. Dado que nadie puede permitirse el lujo de mantener una cantidad infinita de URL en una base de datos, todos los rastreadores web hacen suposiciones, simplificaciones y conjeturas sobre lo que realmente vale la pena rastrear.
E incluso entonces, a efectos prácticos, no puede rastrear todo eso todo el tiempo, Internet no tiene suficiente conectividad y ancho de banda para eso, y cuesta mucho dinero si desea acceder a muchas páginas regularmente. (para el rastreador y para el propietario del sitio).
Más allá de eso, algunas páginas cambian rápidamente, otras no han cambiado durante 10 años, por lo que los rastreadores intentan ahorrar esfuerzo centrándose más en las páginas que esperan cambiar, en lugar de aquellas que esperan no cambiar.
Y luego, tocamos la parte en la que los rastreadores intentan descubrir qué páginas son realmente útiles. La web está llena de basura que a nadie le importa, páginas que han sido enviadas como spam hasta la inutilidad. Estas páginas aún pueden cambiar regularmente, pueden tener URL razonables, pero están destinadas al vertedero, y cualquier motor de búsqueda que se preocupe por sus usuarios las ignorará. A veces no es solo basura obvia tampoco. Cada vez más, los sitios están técnicamente bien, pero simplemente no alcanzan «la barra» desde el punto de vista de la calidad para merecer ser rastreados más.
Por lo tanto, todos los rastreadores (incluidas las herramientas de SEO) trabajan en un conjunto muy simplificado de URL, tienen que determinar con qué frecuencia rastrear, qué URL rastrear con más frecuencia y qué partes de la web ignorar. No hay reglas fijas para nada de esto, por lo que cada herramienta tendrá que tomar sus propias decisiones en el camino. Es por eso que los motores de búsqueda tienen diferentes contenidos indexados, por qué las herramientas de SEO enumeran diferentes enlaces, por qué las métricas construidas sobre estos son tan diferentes.
Sentí que sería bueno resaltar esto porque es útil para los SEO leerlo y comprenderlo.
Foro de discusión en Reddit .
