Robots.txt es un archivo de texto que permite que un sitio web proporcione instrucciones a los robots de rastreo web.
Los motores de búsqueda como Google utilizan estos rastreadores web, a veces llamados robots web, para almacenar y clasificar sitios web. La mayoría de los bots están configurados para buscar un archivo robots.txt en el servidor antes de leer cualquier otro archivo del sitio web. Hace esto para ver si el propietario de un sitio web tiene instrucciones especiales sobre cómo rastrear e indexar su sitio.
El archivo robots.txt contiene una serie de instrucciones que requieren que el bot ignore archivos o directorios específicos. Esto puede ser por motivos de privacidad o porque el propietario del sitio web cree que el contenido de esos archivos y directorios es irrelevante para la categorización del sitio web en los motores de búsqueda.
Si un sitio web tiene más de un subdominio, cada subdominio debe tener su propio archivo robots.txt. Es importante tener en cuenta que no todos los bots aceptarán un archivo robots.txt. Algunos bots malintencionados incluso leerán el archivo robots.txt para encontrar a qué archivos y directorios deberían apuntar primero. Además, incluso si un archivo robots.txt indica a los robots que ignoren páginas específicas en el sitio, esas páginas pueden seguir apareciendo en los resultados de búsqueda a los que enlazan desde otras páginas rastreadas.
Lectura adicional
- Cómo agregar su sitio de WordPress a Google Search Console
- SEO
