nav-left cat-right
cat-right

WordPress robots.txt SEO

En el caso de nuestro blog de wordpress, el contenido que creamos se duplica por default (ver Eliminar contenido duplicado) lo cual afecta nuestro desempeño en los buscadores.

Por que se duplica automaticamente?

Cuando publicamos un nuevo articulo, este aparece automaticamente en la pagina principal de nuestro blog. A eso sumemos las categorias y tags como lo hemos clasificado. En otras palabras, si a este post lo categorizamos en wordpress y seo, ya esta repetido en dos categorias, mas la pagina principal.

Y todos estos links internos son escaneados por los buscadores y estos encuentran que cada url es diferente, pero con el mismo contenido. El resultado; abajo nuestro ranking en los buscadores.

Google User-agents

  1. Adsbot-Google: rastrea páginas para medir la calidad de la página de destino de AdWords
  2. Googlebot: rastrea páginas de web y googles índice de noticias
  3. Googlebot-Image: rastrea páginas para el índice de imágenes
  4. Googlebot-Mobile: rastrea páginas para el índice móvil
  5. Mediapartners-Google: rastrea páginas para determinar el contenido de AdSense

Eliminar contenido Duplicado

El contenido duplicado generalmente se refiere a bloques de contenido dentro del domino los cuales son iguales o parecidos a otro contenido. Ejemplos de contenido duplicado no malicioso;

  • Foros de discusion o dominios con contenido regular y para dispositivos moviles
  • Objetos mostrados o linkeados via multiples y distintos URLS
  • Versiones para impresion de las paginas

Sin embargo, en algunos casos el contenido es duplicado a traves de diferentes dominios con la finalidad de manipular los rankings de los buscadores y ganar mas trafico.

Google trata de indexar y mostrar paginas con diferente informacion. Esto significa que si tu pagina tiene una version normal y una para impresion, y ninguna esta bloqueada en robots.txt ni con una metaetiqueta se seleccionara una de las dos para mostrar.

Asi mismo, si el rastreador de Google detecta contenido duplicado con la finalidad de maniputar sus rankings, se realizan los ajustes necesarios los cuales pueden dañar los resultados de busquedas para el sitio, incluso ser eliminado totalmente y ya no aparecer en los resultados de busqueda.

Archivo robots.txt optimizado para WordPress

Mi sugerencia para un archivo robots.txt basico que pueda ayudarnos a evitar ser penalizados por el motor de google y otros, ademas de eliminar (con el tiempo) el contenido duplicado en las bases de los buscadores. A decir verdad, google es capaz de escanear o rastrear TODO nuestro blog en 1 dia.

En otras palabras. En cuestion de dias ya veremos un aumento en el trafico a nuestro sitio. cuanto? Digamos un 20% a 50% dependiendo del contenido de nuestro sitio.

User-agent:  Googlebot
# restringimos todos los directorios y archivos dentro de
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
# no se permite indexar archivos del tipo
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
# no permitiremos rastrear feeds individuales, categorias y  trackbacks..
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*
Disallow: /tags/*

Para mas informacion | boganmarketing

3 Responses to “WordPress robots.txt SEO”

  1. Poker Sin Deposito says:

    ¡Hola! me llegó de nuevo a su blog………Se ha evolucionado mucho!felicitaciones!
    Yo me llamo Felipe,un amigo blogger Argentino…….:/

  2. drapes curtains says:

    Hello this issue is extremely interesting. Keep it going friend !

  3. Matias says:

    de un dia para otro me aparecieron en webmaster tools mas de 100 metadescripciones duplicadas.

    Disallow: /tags/*

    a ver que pasa.

    Gracias!

Danos tu opinion