Cómo generar un robots TXT en WordPress

El archivo robots.txt es un documento de texto que le indica a los buscadores como Google qué partes de tu sitio web pueden rastrear y cuáles no. En WordPress puedes generarlo de forma muy sencilla, ya sea con un plugin de SEO o creando el archivo manualmente en la raíz de tu hosting, para controlar mejor la indexación de tu web y aprovechar el rastreo de los buscadores.

¿Qué es el archivo robots.txt y para qué sirve?

Dentro del SEO existen muchas herramientas para optimizar una página web y ayudar a que los motores de búsqueda como Google la indexen más rápido y en una mejor posición. Una de las más importantes y, a la vez, más sencillas es el archivo robots.txt. Se trata de un archivo en formato texto, ubicado en la raíz de tu dominio (por ejemplo, tusitio.pe/robots.txt), que indica qué partes de un sitio web pueden ser revisadas y cuáles quedan bloqueadas para los bots de los buscadores. Este archivo es lo primero que consultan las “arañas” de Google y de otros buscadores antes de rastrear tu web.

No todas las páginas de un sitio necesitan aparecer en el índice de Google. Por ejemplo, las páginas de administración, los resultados de búsqueda internos o ciertas secciones duplicadas no aportan valor en los resultados. Al indicarlas en el robots.txt evitas que sean rastreadas y ayudas a que el buscador concentre su atención en el contenido que de verdad quieres posicionar. Este concepto, conocido como presupuesto de rastreo o crawl budget, es especialmente relevante en sitios grandes con cientos o miles de páginas, donde guiar a Google hacia lo importante puede acelerar la indexación de tu contenido nuevo y darte ventaja en el competitivo mercado peruano.

¿Qué puedes controlar con el robots.txt?

Con este archivo puedes bloquear el acceso de determinados bots o rastreadores, impedir que se revisen carpetas concretas, permitir el rastreo de las secciones importantes y, además, señalar la ubicación de tu sitemap XML para que Google encuentre con facilidad todas tus URL. Es, en pocas palabras, el manual de instrucciones que tu web entrega a los buscadores apenas llegan a tu sitio.

Cómo generar el robots.txt en WordPress paso a paso

Utilizar este archivo es un proceso muy simple gracias a que WordPress facilita mucho la tarea. De hecho, WordPress genera un robots.txt virtual de manera automática, pero lo ideal es personalizarlo según las necesidades de tu proyecto. Existen dos caminos principales para hacerlo, y ambos están al alcance de cualquier usuario, tenga o no experiencia técnica.

Opción 1: con un plugin de SEO

La forma más cómoda y recomendada para la mayoría de usuarios es usar un plugin de SEO como Yoast SEO o Rank Math. Estos complementos incluyen un editor de archivos donde puedes ver y modificar el robots.txt directamente desde el panel de WordPress, sin necesidad de tocar el servidor. Solo ingresas a la sección de herramientas del plugin, abres el editor, escribes tus reglas y guardas los cambios; el propio plugin se encarga de crear y servir el archivo correctamente.

Opción 2: crear el archivo manualmente

Si prefieres el control total, puedes crear un archivo de texto llamado exactamente “robots.txt” en tu computadora y subirlo a la carpeta raíz de tu hosting (normalmente public_html), ya sea mediante el administrador de archivos de tu panel de control o por FTP. Una vez subido, estará disponible en tusitio.pe/robots.txt y reemplazará al archivo virtual que genera WordPress por defecto.

Estructura y comandos básicos de un robots.txt

El robots.txt utiliza una sintaxis muy sencilla basada en pocas instrucciones. La directiva “User-agent” define a qué robot van dirigidas las reglas (un asterisco significa “todos los bots”). La directiva “Disallow” indica las rutas que no deben rastrearse, mientras que “Allow” permite el acceso a rutas específicas, incluso dentro de una carpeta bloqueada. Por último, la línea “Sitemap” señala la dirección de tu mapa del sitio. Un ejemplo típico bloquea la carpeta de administración con “Disallow: /wp-admin/” y, al mismo tiempo, permite el archivo necesario para el funcionamiento del panel. Con estas pocas órdenes ya tienes un control bastante fino sobre lo que Google ve y lo que no.

Cómo comprobar que tu robots.txt funciona

Una vez creado o modificado el archivo, es fundamental verificar que hace lo que esperas. La manera más directa es escribir en el navegador tu dominio seguido de /robots.txt; deberías ver el contenido del archivo tal como lo guardaste. Además, Google Search Console ofrece herramientas para probar si una URL concreta está bloqueada o permitida, lo que te evita sorpresas desagradables. Te recomendamos revisarlo cada vez que hagas cambios importantes en la estructura de tu web, instales un nuevo plugin o migres de servidor, porque cualquiera de esas acciones puede alterar las reglas de rastreo sin que te des cuenta.

Errores comunes, buenas prácticas y el papel del hosting

Un error frecuente es bloquear por accidente archivos CSS o JavaScript que el buscador necesita para entender el diseño de tu web; esto puede perjudicar tu posicionamiento, así que conviene evitarlo. Tampoco debes usar el robots.txt para esconder información sensible, ya que el archivo es público y cualquiera puede leerlo: para eso es mejor usar la etiqueta noindex o proteger la sección con contraseña. Después de cada cambio, revisa el resultado en Google Search Console para confirmar que todo funciona como esperas.

Para gestionar tu robots.txt con comodidad necesitas un hosting que te dé acceso real a tus archivos. En HostingPlus, el hosting N°1 del Perú, todos los planes incluyen un panel con administrador de archivos intuitivo, tecnología LiteSpeed para una carga ultrarrápida, discos SSD y NVMe, certificado SSL y migración gratuita, además de soporte técnico 24/7 que te orienta si tienes dudas con la configuración. Si buscas una base sólida para tu estrategia SEO, revisa los planes y precios en soles en nuestra página de hosting y empieza con el pie derecho. Llevamos desde 2004 acompañando a proyectos peruanos de todos los tamaños.

Preguntas frecuentes

¿Es obligatorio tener un archivo robots.txt?

No es obligatorio, pero sí muy recomendable. Sin él, los buscadores rastrearán todo tu sitio sin distinción. Con un robots.txt bien configurado guías ese rastreo hacia tu contenido más valioso y evitas que se pierda tiempo en secciones irrelevantes.

¿El robots.txt evita que una página aparezca en Google?

No del todo. El robots.txt impide el rastreo, pero una URL bloqueada todavía podría aparecer en los resultados si otros sitios la enlazan. Para evitar que aparezca por completo, lo correcto es usar la etiqueta meta noindex en esa página.

¿Puedo editar el robots.txt sin conocimientos técnicos?

Sí. Con un plugin de SEO lo haces en minutos desde el panel de WordPress. Y si te alojas en HostingPlus, nuestro soporte 24/7 puede ayudarte a dejarlo configurado correctamente para tu proyecto.