firejoin68

Google aconseja eo el sitemap (por poner un ejemplo en formato xml) para
hacer un mejor rastreo de la informaciónque compone nuestros sitios. Esto teóricamente les facilita bastante la vida porque “guía” a sus
arañas o robotsrastreadores hasta el contenido relevante en un tiempo más reducido que si únicamente siguiesen links o si tuvieran que determinar de forma autónoma qué contenido no debe ser indizado. Hasta aquí todo bien.

En la práctica la verdad es que
no es extraño encontrarse con Google saltándose a la torera el contenido de un fichero robots.txt, indexando páginas y archivos en él contenidos, de igual manera que son ignoradas de forma casi azarosa las metaetiquetas robots que incluimos en el código de nuestras páginas. No siempre, mas más de forma frecuente de lo que debería (que debería ser “nunca”). Dicho esto, habrá que conformarse con las herramientas que tenemos y aprender a manejarlas mejor.

Y es que a veces
se configura incorrectamente el fichero robotsporque damos por supuestas algunas cosas, aguardamos que con este artículo se aclaren ciertos conceptos esenciales que con frecuencia afectan al tratamiento que Google hace de nuestros sitios. Empezaremos por lo más sencillo…

Configuración básica de robots.txt

El famoso “robots” es un fichero en formato .TXT que
podemos crear y editar con un simple bloc de notas o editor de textobásico (wordpad, notepad). Una vez creado habrá que darle ese nombre concreto (robots.txt) y colgarlo en el directorio raíz de nuestro sitio, en tanto que es el único sitio donde lo podrán hallar sin problemas los motores de búsqueda. La
configuración básica del ficheros robotses bastante fácil, incluye únicamente 2 parámetros: el robot al que nos dirigimos, y una instrucción dándole o quitándole permiso para indexar algo (un fichero, una carpeta, todo, nada).

En otras palabras, se trata de decirle a cada Bot (una especie de rastreadores – arañas – que Google tiene bullendo por los millones de páginas web que existen para estar al día de su contenido y poder mostrarlo apropiadamente en los resultados de búsqueda) a qué información expresamente puede (o bien NO puede) acceder para leer y también indexar dicha información. Ni que decir tiene que, por defecto, si no se le dice nada Google devorará toda la información a su paso y la incluirá en su mastodóntico índice de contenidos web.

Un
ejemplo fácil y básicodel contenido de un fichero robots.txt sería el siguiente:

Como puede apreciarse, primero se define el “user-agent” o Bot al que va dirigida la orden (bien el de Google web search, o bien Google Images, o bien Bing…) y después qué páginas deben ser ignoradas (con el comando
Disallow) o explícitamente indizadas (
Allow). En un caso así diríase que para todos y cada uno de los robots (con un asterisco) deberán ignorarse -no indexarse- todas las páginas (con la barra “del siete”, así sin nada más detrás, le hacemos ver que es una orden para todo el directorio raíz).

Con este caso le vamos a estar diciendo al robot de
Bingque no rastree nada de nuestro lugar. Por omisión, el resto de robots incluyendo el de Google podrán rastrear y también indexar todo el contenido de nuestro lugar.

Un pasito más: le hemos dicho a
Bingque no indexe la carpetita “documentos”. En este caso
Googleindexará por omisión todo el contenido del sitio, al tiempo que Bing indexará todo salvo el contenido de la carpeta “documentos”. Así está claro que, para
definir una carpeta en el robots, hay que colocar (tras la barra inicial que irá siempre y en toda circunstancia) su nombre más una barra auxiliar al final.

Con este robots.txt estamos diciéndole a todos los robots que no indexen 3
páginas en concreto: “pagina1.html”, “pagina2.php” y “pagina3.html” que se encuentra en la carpeta documentos.

Hemos introducido el comando “
Allow” cuya función es la inversa al “Disallow” pero hemos quitado la barra “/” siguiente, así que le estamos diciendo que
SÍ puede indexar NADA. A primer aspecto parece que esto debería marchar precisamente igual que un “Disallow: /” impidiendo la indexación del sitio al completo, pero en realidad no es así.

Estamos ante
uno de los errores más susceptibles de ser cometidosa la hora de configurar el archivo robots, porque hay que tener en cuenta ciertas consideraciones esenciales en relación al
comando “Allow”que es bastante puñetero:

• 
  Sólo tiene sentido cuando se acompaña de un “Disallow”: se trata de una orden no restrictiva, así que cuando va “solo” no es aplicable. Esto es, por defecto Google puede indexar todo, así que si únicamente se le dice qué SÍ puede indexar, le dará igual, seguirá indexando todo. Incluso en el caso del ejemplo anterior, donde se le afirma que SÍ puede indexar NADA, pasará de la orden y seguirá indexando todo.
  Cuidadocon esto.
• En la
  teoríalas reglas se aplican en orden, a partir de la primera, con lo que
  los “Allow”, siendo salvedades a los “Disallow”, deberían ir primero. Aunque en la práctica los principales motores de búsqueda lo interpretarán bien si bien no lo hagas así.
• El comando
  “Allow” no es parte oficial del estándar, si bien Google y el resto de “los grandes” lo aguantan de forma perfecta, para determinados robots puede llegar a ser incluso problemático.

Dudas usuales con el fichero robots: configuraciones avanzadas

Hasta aquí semeja sencillo mas con el trastear continuo en el tiempo te van haciendo falta nuevas configuraciones y comienzan a surgir las dudas,
¿qué se puede hacer con el archivo robots?. Ahí van ciertas dudas que me ha tocado experimentar, bien en primera persona o a través de preguntas frecuentes con las que me he encontrado de compañeros del marketing online:

¿Qué pasa cuando la URL de la página acaba con una barra “/”?

A menudo sucede, en especial en sitios montados sobre plataformas como
WordPress, que puede haber una página en nuestro sitio con esta estructura en su URL: “
midominio.com/servicios/“. En este caso dicha URL es una página donde se muestran los servicios de una compañía, si bien posiblemente por debajo de ella existan páginas del tipo “
midominio.com/servicios/nombre-servicio1” o bien afín. Mas ¿cómo le decimos al robots
que excluya únicamente la página superior, sin que por este motivo “cape” todas y cada una de las que están por debajo? La tentación sería:

Pero como ya hemos dicho, en este caso el robot entenderá que la orden afecta a
toda esa carpeta o bien directorio. Pero no es eso lo que queremos! Para decirle a los robots que sólo nos referimos a esa página específica, deberemos emplear el
operador dólar (“< por ciento -body() por cien >#8221;)que sirve para especificar el
final de la URL. Así:

De esta forma le afirmamos al robot que
no indexe las URLs que acaben precisamente de esa forma, siendo la única URL de ese tipo la que deseamos desindexar exactamente. Y esto nos conduce al empleo de expresiones regulares en robots.txt…

Usos de operadores en robots.txt (dólar y asterisco)

Aunque el ejemplo anterior nos sirve para explicar el empleo del “< por cien -body() por cien >#8221; en el robots, lo cierto es que para sacarle el mayor jugo ha de
emplearse al lado del asterisco“*”. Este último marcha como un
comodín, sirve para decir “sustituyo a cualquiera cosa que pueda ir en mi lugar”. Mejor verlo con un ejemplo:

Ya hemos explicado que el dólar sirve para decirle que ahí termina la URL, que no puede llevar nada más por detrás aquello que deseemos aplicarle el “allow” o el “disallow”.

En el caso del asterisco le estamos diciendo que
puede reemplazarlo por lo que quiera, siempre que vaya seguido de “.htm”. Es decir, puede haber varios niveles de carpeta por medio (por servirnos de un ejemplo “
/carpeta/subcarpeta/pagina.htm” también sería excluído).

De esta forma en el ejemplo le estamos diciendo a todos los robots que no indexen ningún fichero .
HTMsi bien les permitimos, a través del dólar, que indexen por servirnos de un ejemplo todos y cada uno de los archivos con extensión .
HTML. Esto nos conduce a otra cuestión recurrente…

¿Cómo evitar la indexación de URLs con parámetros?

A menudo nuestro Content Management System nos produce
rutas con parámetroscomo “
midominio.com/index.php?user=1” que deseamos no sean indizadas al poder incurrir en duplicidad de contenidos. Siguiendo el patrón anterior y sabiendo que los parámetros vienen antecedidos de una interrogación, habría que aplicar algo como esto:

Así le decimos que no indexe todo cuanto comience por “lo que sea” mas que entonces tenga una interrogación, seguido de lo que sea. Seguro que alguno se ha perdido en este último paso, que tendría la tentación de haber puesto “Disallow: /*?*” para asegurarse de que después de la interrogación va algo más, los parámetros. Pues no, resulta que
este género de expresiones regulares suponen por defecto que, tras lo que le afirmamos, puede ir cualquier cosa. De ahí que cuando decimos “Disallow: /servicios/” el robot comprende que todo lo que vaya por detrás (ej: /servicios/auditoria) tampoco lo indexará, pues responde al patrón definido.

Pero cuidado por el hecho de que esto es muy peligroso!! Un ejemplo lo tenemos a continuación:

¿Qué pasa cuando la URL de la página no tiene extensión (ej: no acaba en “.html”)?

Pongamos que hay una página que no deseamos indexar cuya URL es exactamente ésta: “/servicio”. Podríamos caer en el que probablemente sea
el mayor error cometido con el uso del archivo robots.txta nivel mundial! :O

Algún listo dirá:
Así no, eso sirve para capar la carpeta “servicio” entera.


Pues tampoco exactamente. En realidad, como ya hemos explicado ya antes,
el robot va a entender que detrás de eso puede ir cualquier cosa, es decir, va a excluir páginas como:

• /servicio
• /servicios
• /servicio-auditoria
• /servicio-consultoria/
• /servicio-consutoria/digital.html
• /serviciosweb/seo/yandex.php
• etc.

Entonces,
¿cómo excluyo esa página que no tiene extensión?Así:

De esta forma acotamos dónde termina la URL, evitando este
super-problema que en general se pasa por altoal elaborar los archivos robots.

¿Hay que poner una barra “/” después del nombre de la carpetita? ¿Qué pasa si no la pongo?

Esto ha quedado explicado con el punto anterior: si no se pone barra, el robots estará excluyendo todo lo que comience de esa manera, corresponda específicamente o bien no a dicho subdirectorio.

¿ agencia seo españa Disallow y Allow en exactamente el mismo robots?

Así es. De hecho su
combinaciónpuede ser una forma de definir mejor qué cosas se deben indexar y cuáles no para una determinada carpetita (o bien para todo el lugar). Un ejemplo…

De esta forma le estaríamos diciendo que
SÍ indexela página general de servicios (“midominio.com/servicios/”) mas
NO indexelas páginas sucesivas con los servicios concretos (“midominio.com/servicios/auditoria”+”midominio.com/servicios/consultoria”+etc.).

Lo ideal es
usar primero el “Allow” que no es restrictivo(por defecto se entiende como tolerado indexar todo), para más tarde incluir el “Disallow”. De esta manera se facilita el trabajo a los robots más “torpes”.

¿Cómo se tratan las mayúsculas y minúsculas?

Hay que tener en consideración que
se distingue entre mayúsculas y minúsculas, en un caso así no sirve utilizar siempre minúsculas. O sea, un comando tipo “Disallow: /pagina.html” sí permitiría que se indexase la página “
midominio.com/Pagina.html“.

¿Cómo configurar robots.txt para Wordpress?

A pesar de que
WordPress es una plataforma muy extendiday Google cada vez comprende mejor qué tiene que indexar y qué no, en la práctica siempre se cuelan cosas que “empañan” la calidad de la información indizada de nuestro lugar. Dado que la estructura de Wordpress es común a todas y cada una de las instalaciones, puede definirse un
robots tipo para WordPresscon las carpetitas donde el buscador no debería meter el hocico. Téngase en cuenta que esto son unos mínimos, a nada que tiremos de plantillas, complementos y personalizaciones, habrá otras nuevas carpetas que deberemos “capar”:

Así se excluye la posible
indexación de carpetas de sistema y archivoscon extensiones que no interesa indexar. Manéjese de forma cuidadosa. En verdad lo MUY recomendable es
que cada uno de ellos personalice su archivo robots.txten función del contenido y configuración de su sitio web, así sea bajo un CMS de código abierto como Wordpress o bien cualquier otra plataforma.

Otras consideraciones: meta robots y sitemap

Recordar que
además del robots.txtes posible precisar la conveniencia o no de indexar una página a través de la
meta-etiqueta “robots”que puede ser incluida a nivel individual para cada una de las páginas del sitio. Simplemente se trataría de incluir algo similar a esto en el
<head>para cada caso:

<meta name=”robots” content=”noindex”>

Como por defecto todo es indexable, la etiqueta tiene más sentido cuando empleamos el comando
“noindex”, a pesar de que también se puede precisar “index”.

En cuanto al
sitemap, 2 consideraciones:

• Es posible
  incluir en el archivo robots.txt la ruta donde se encuentrael/los sitemap(s) del sitio, sería cuestión de añadir una línea tal que así: “
  Sitemap: /sitemap.xml” (o bien donde quiera que se halle tu sitemap).
• Incluir un sitemap para nuestro sitio no es restrictivo, esto es,
  Google va a indexar todo cuanto pueda, independientemente de que esté en tu sitemap o bien no. Con él únicamente le asistimos a descubrir las páginas, los medios a fin de que no las indexe son los previamente expuestos.

Los bots de Google

Como ya se ha dejado entrever antes,
existen diferentes Bots/ Robots / Crawlers / Arañas que se pasan las horas muertas dando vueltas por la red de redes tragando información como locos. Por ser prácticos y puesto que
Googlese lleva como un 97 por cien de las búsquedas estatales, vamos a detallar losy para qué sirven:

• 
  Googlebot: Es el bot “general” de Google, así que servirá para restringir todos y cada uno de los demás. Es decir, si nos limitamos a restringir a Googlebot estaremos limitando a Googlebot-News, Googlebot-Image, Googlebot-Vídeo y Googlebot-Mobile.
• 
  Googlebot-News: Ayuda a limitar el acceso a las páginas o posts para su indexación en Google News. A colación de lo precedente, restringir a Googlebot supone no aparecer ni en la búsqueda de Google ni en Google News. Si sólo deseamos aparecer en Google News habría que definir algo tal que así:
  

  User-agent: GooglebotDisallow: /User-agent: Googlebot-NewsDisallow:

  
  
• 
  Googlebot-Image: Servirá para delimitar el acceso a carpetitas donde se contengan imágenes que no deseamos sean indizadas. estrategia de social media baleares :
  

  User-agent: Googlebot-ImageDisallow: /fotos-verano/

  
  
• 
  Googlebot-Video: Lo mismo que lo anterior mas aplicado a la restricción para indexar vídeos.
• 
  Googlebot-Mobile: Si bien hay bastante controversia y misticismo, se supone que gestiona el contenido indexable para mostrar en búsquedas desde dispositivos móviles. Se supone.
• 
  Mediapartners-Google: Detalla las páginas que han de ser tenidas en cuenta por la parte de Google en el momento de enseñar publicidad de su red, mas sin afectar a su indexabilidad. Por servirnos de un ejemplo con este robots.txt se podrían mostrar anuncios de Adsense en nuestro sitio web, a pesar de que éste no estaría indizado por Google:
  

  User-agent: GooglebotDisallow: /User-agent: Mediapartners-GoogleDisallow:

  
  
• 
  Adsbot-Google: Gestiona el acceso para el robot de Google Adwords encargado de valorar la calidad de la página de destino.

Tan agencias marketing promocional como conseguir un alto ritmo de indexación, con los robots de Google visitando recurrentemente nuestros sitios más actualizados, será procurar que no se indexe información privada o contenido que pueda considerarse duplicado, entre otros muchos casos. Así que habrá que preocuparse en configurar el fichero robots.txt, las “meta robots” si fuera necesario, comunicarse con Google a través de Google Webmaster Tools, y todo cuanto está en nuestras manos. Desde ahí toca rezar! XD