Robots.txt
.webp)
Qué es Robots.txt - Definición
Robots.txt - es un archivo de texto, utilizado en el contexto de SEO (Search Engine Optimisation), que proporciona orientación a los rastreadores web sobre archivos particulares y cuántas páginas deben ser indexadas y cuáles no. Forma parte del protocolo de exclusión de robots.
¿El uso del archivo robots.txt?
El archivo robots.txt se coloca en el servidor de un sitio web y está a disposición del público en www.domena.pl/robots.txt. Los rastreadores de los motores de búsqueda consultan el archivo robots.txt antes de empezar a indexar un sitio web determinado. Este archivo tiene varios usos, como:
Control de acceso: El archivo robots.txt permite a los administradores del sitio web bloquear el acceso a determinadas páginas de acceso para los robots de los motores de búsqueda. Esto puede ser útil si determinadas secciones de todo el sitio contienen datos sensibles.
Evitar el contenido duplicado: Si un sitio tiene diferentes variantes de URL que conducen al mismo contenido, el archivo robots.txt permite a los administradores excluir de la indexación las variantes no deseadas para evitar problemas de contenido duplicado.
Gestión de la frecuencia de indexación: El archivo robots.txt le permite controlar la frecuencia con la que los robots de los motores de búsqueda deben visitar su sitio.
Conviene recordar que el archivo robots.txt es sólo una recomendación para los robots de los motores de búsqueda, no un ejecutor. Algunos robots web pueden ignorar las reglas del archivo, por lo que también existen métodos adicionales para controlar la accesibilidad del contenido de las páginas web, como las cabeceras HTTP o las metaetiquetas noindex.
¿Cómo debe ser el archivo robots txt?
Un archivo robots.txt es un archivo de texto que debe colocarse en el directorio raíz de su sitio web en su servidor. He aquí un ejemplo de un archivo robots.txt sencillo:
User-agent: *
No permitir: /privado/
No permitir: /temp/
No permitir: /cgi-bin/
En el ejemplo anterior:
Agentes de usuario: * significa que estas instrucciones se aplican a todos los robots de los motores de búsqueda.
No permitir: /private/ significa que el directorio "privado" debe bloquearse y los robots de los motores de búsqueda no deben indexar las páginas.
Disallow: /temp/ significa que el directorio "temp" también debe bloquearse.
Disallow: /cgi-bin/ significa que el directorio 'cgi-bin' también debe ser bloqueado.
Al crear un archivo robots.txt, es importante hacerlo con cuidado y actuar con cautela para evitar bloquear accidentalmente el acceso a partes importantes de su sitio. A continuación encontrará algunos consejos para crear un archivo robots.txt:
Asegúrese de que el archivo robots.txt se llama exactamente como debe ser: "robots.txt".
Se recomienda que el archivo esté disponible en https://www.nazwadomeny.com/robots.txt.
Puede añadir algunas líneas con instrucciones Disallow para bloquear directorios o archivos específicos.
Puede utilizar comentarios que empiecen por el símbolo # para añadir explicaciones al archivo.
¿Cómo editar el archivo robots.txt?
Para editar su archivo robots.txt, siga estos pasos:
Inicie sesión en el servidor: Si usted es el propietario o administrador del sitio, deberá acceder a la página de inicio de sesión que aloja el archivo robots.txt. Para ello puede ser necesario acceder al panel de control del alojamiento o acceder al servidor a través del protocolo de transferencia de archivos (FTP).
Busque el archivo robots.txt: Navegue hasta el directorio en el que se encuentra el archivo robots.txt en el servidor. Suele ser el directorio raíz del sitio, pero también puede estar almacenado en un subdirectorio.
Edite el archivo robots.txt: Abra el archivo robots.txt con un editor de texto. Puede utilizar cualquier editor de texto como Notepad (para Windows) o TextEdit (para Mac).
Realice los cambios: Puede haber varias directivas en el archivo robots.txt, como User-agent, Disallow, Allow, etc. Para realizar cambios, añada o elimine las líneas pertinentes del archivo, en función del resultado esperado.
Guarde el archivo: Una vez realizados los cambios en el archivo robots.txt, guárdelo conservando el nombre original.
Suba el archivo al servidor: Si utiliza FTP, utilice un cliente FTP para cargar el archivo robots.txt actualizado en el servidor. Asegúrese de sobrescribir el archivo anterior y de guardarlo en el directorio correcto.
Compruebe la sintaxis: Una vez que el archivo robots.txt esté en el servidor, compruebe su sintaxis para asegurarse de que no hay errores. Esto puede hacerse utilizando herramientas en línea o las herramientas disponibles en las herramientas para webmasters proporcionadas por los motores de búsqueda.
Es importante tener cuidado al editar el archivo robots.txt, ya que los cambios incorrectos pueden afectar a la forma en que los robots de los motores de búsqueda indexan el sitio.
