Tuto : débloquer l'accès à vos ressources Joomla! pour Googlebot

Vous le savez, peut-être, Google a annoncé une mise à jour importante de son algorithme de classement pour les recherches sur les terminaux mobiles.

Starting April 21, we will be expanding our use of mobile-friendliness as a ranking signal. This change will affect mobile searches in all languages worldwide and will have a significant impact in our search results. Consequently, users will find it easier to get relevant, high quality search results that are optimized for their devices.

Google Webmaster Central Blog - 26 février 2015

Si votre site n'est pas classé comme "mobile-friendly", vous serez rétrogradés dans les résultats de recherche sur les mobiles. Le trafic depuis un ordinateur de bureau ou un portable ne devrait pas être affecté, mais vous pourriez perdre celui provenant des smartphones et des tablettes.

Qu'est-ce que cela représente pour votre site ? Il y a quelques mois, nous avons écrit un article sur la proportion de visites provenant d'appareils mobiles. Si vous n'avez pas encore installé Google Analytics, c'est certainement le moment de le faire pour connaître l'origine du trafic sur votre site. C'est un logiciel gratuit. N'hésitez pas à nous contacter pour une configuration optimale.

Testez votre site

Google a mis en ligne un outil de test gratuit pour la compatibilité avec les appareils mobiles. Un outil similaire existe aussi pour le moteur de recherche Bing à cette adresse. Après analyse, le verdict tombe : la page testée est adaptée (ou non) aux mobiles. Néanmoins, ce résultat est parfois incorrect parce que certains ressources sont bloquées par le fichier robots.txt.

De quoi s'agit-il ?

robots.txt est un petit fichier présent à la racine de tout site, inclu avec les distributions Joomla! depuis les origines. Il sert à indiquer aux différents robots, appelés "user agents", quels sont les dossiers dont l'accès leur est interdit ("Disallow").

Jusqu'il y a peu, l'accès accordé aux robots était très limité, comme en témoigne le fichier robots.txt de Joomla! 2.5 :

User-agent:
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Cependant, depuis des années, Google indexe aussi les images. Donc, il était conseillé de supprimer la ligne Disallow: /images/ pour lui donner accès aux images du site. En 2014, Google a ajouté la compatibilité avec les appareils mobiles à ses critères d'évaluation du classement des sites dans les résultats de recherche. Pour évaluer au mieux cette donnée, Googlebot (le robot d'indexation de Google) doit maintenant avoir accès à des "ressources" (en clair, des fichiers) qui lui étaient auparavant refusés. S'il n'y parvient pas, la "miniature" de votre site risque de ressembler à l'image ci-contre.

Quelles sont les ressources bloquées ?

En dehors des images, cela concerne les fichiers CSS (les feuilles de styles qui contrôlent la mise en page) et les fichiers JS (JavaScript).

Ilsi se trouvent principalement dans les dossiers /templates/ et /media/. C'est pourquoi le fichier robots.txt de la dernière version de Joomla! (3.4.1) a supprimé les lignes correspondantes :

User-agent:
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Pourtant cela ne suffit pas ! Si vous faites le test de comptabilité, même avec le fichier robots.txt modifié, vous pouvez encore avoir des erreurs. Pourquoi ?

Les sources de blocages

La raison est la suivante : plusieurs extensions utilisent des fichiers CSS et JS situés à plusieurs endroits :

• dans le dossier /cache/, si vous avez activé la fonction "cache" de Joomla! (ce que nous recommandons)
• dans le dossier /plugins/ car certains plugins d'optimisation des performances y placent les fichiers qu'ils générent 
• dans le dossier /components/, avec les composants qui n'utilisent pas le standard MVC préconisé par Joomla! et y conservent leurs fichiers CSS et JS
• dans le dossier /components/, avec des composants comme Fabrik, qui suivent ce standard mais ont leur propre système de templates

Faut-il pour autant donner l'accès à Googlebot  sans restrictions ? Ce ne serait pas une bonne idée car  /components/ contient des milliers de fichiers dont seuls quelques uns intéressent le robot. Ce serait une perte de temps considérable de lui faire indexer la totalité de ce dossier.

Le mieux est donc de vérifier quelles sont les ressources du site réellement bloquées et de modifier robots.txt en conséquence.

En pratique

1. Comment modifier le fichier robots.txt

Il y a plusieurs possibilités :

• Si vous utilisez l'excellente extension JSitemap PRO, vous disposez d'un éditeur de fichier dans le "tableau de bord" général : Composants > JSitemap PRO. Cliquez sur l'icône Robots.txt Editor et faites les modifications directement depuis le back-end de votre site Joomla!.

   Nous mettons cette extension gratuitement à la disposition de nos clients dont nous assurons l'hébergement.

• Avec un logiciel FTP (Cyberduck, par exemple, disponible pour Mac ou Windows), vous pouvez accéder au fichier directement sur le serveur et le télécharger sur votre ordinateur. Faites les modifications avec un simple éditeur de texte, comme Notepad (Windows) ou TextEdit (Mac). N'utilisez pas de logiciel de traitement de texte (comme Word). Une fois les modifications effectuées, rechargez le fichier modifié sur le serveur via FTP.

2. Comment connaître la liste des ressources bloquées

Ici aussi, voici deux possibilités présentant chacune des avantages et des inconvénients :

• L'outil gratuit de Google : les Outils pour Webmasters (Webmasters Tools). Pour l'utiliser, vous devez avoir un compte Google, être le propriétaire du site et l'enregistrer dans ce service.
  
  
   Nous enregistrons votre site dans les Outils pour Webmasters de Google dans le cadre de notre offre d'hébergement.
  
• Une fois les conditions énumérées plus haut remplies, vous pouvez voir la liste des ressources bloquées en allant dans Index Google > Ressources bloquées. Si leur nombre (parfois plusieurs centaines) vous impressionne, sachez que beaucoup d'entre elles se trouvent dans le même dossier et que la suppression d'une seule ligne dans le fichier robots.txt peut en débloquer des dizaines. En cliquant sur le lien dans la colonne "Hôte", vous accédez au détail des ressources bloquées. Utilisez ces données pour modifier le fichier robots.txt.
  L'avantage de cette méthode est l'obtention de la liste complète des pages du site.
  
  Les inconvénients sont de devoir s'enregistrer, d'attendre quelques jours que Google rassemble des données sur le site, puis, après les corrections, d'attendre à nouveau, plus longtemps encore, que ces données soient mises à jour et que la liste se résorbe.
  
  
• L'autre possibilité est d'utiliser l'outil de test pour la compatibilité avec les appareils mobiles. Il fournit aussi la liste des ressources bloquées, mais uniquement pour la page testée. Vous devrez donc tester plusieurs pages différentes du site pour avoir une liste complète.
  Mais si vous faites les corrections au fur et à mesure, vous verrez cette liste se résorber à chaque nouveau test.
• Enfin, il existe aussi un validateur de robots.txt en ligne et gratuit qui, outre la détection d'erreurs de syntaxe, vous donnera des conseils sur l'optimisation de ce fichier.

Retenez cependant que, quel que soit l'outil que vous utilisez, le seul but à atteindre est de ne plus avoir de ressources bloquées pour les robots de Google et de Bing, les deux moteurs de recherche principaux. En principe, si ça passe pour eux, ça passe pour les autres.

3. Comment débloquer les ressources ?

Voici les étapes à effectuer lors de la modification du fichier robots.txt :

1. Tout d'abord, si ce n'est pas encore fait, supprimez les lignes Disallow: /images/, Disallow: /templates/ et Disallow: /media/
2. Si vous constatez que beaucoup de fichiers du cache sont bloqués, supprimez la ligne Disallow: /cache/
3. Une fois ces lignes mises à jour, copiez l'ensemble obtenu et collez-le à la fin du fichier.
4. Dans la partie que vous venez de coller, remplacez User-agent:  par User-agent: googlebot
5. A la fin du fichier, ajoutez des lignes avec les dossiers dont vous autorisez l'accès. Par exemple pour donner accès à la ressource /components/com_fabrik/views/form/tmpl/bootstrap_module/template_css.php?c=2&rowid=&view=form&rowid= , ajoutez la ligne Allow: /components/com_fabrik/views/ en bas du fichier.
6. Une fois les modifications achevées, le contenu de votre fichier robots.txt devrait ressembler à ceci (vos composants peuvent évidement être différents des nôtres) :

User-agent:
Disallow: /administrator/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /modules/
Disallow: /tmp/

User-agent: googlebot
Disallow: /administrator/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /modules/
Disallow: /tmp/
Allow: /components/com_fabrik/views/
Allow: /components/com_jcomments/js/
Allow: /components/com_jcomments/tpl/
Allow: /components/com_jcomments/libraries/joomlatune/
Allow: /components/com_jmap/js/

Remarques importantes

1. Il est nécessaire de répéter les lignes "Disallow" pour le robot Googlebot, sinon vous ne bloquerez plus l'accès aux dossiers du début du fichier. Vous pouvez vérifier l'efficacité du blocage - ou son absence - avec l'outil de test des Outils Webmasters.
2. N'oubliez pas le "/" à la fin des lignes que vous ajoutez. Le résultat du filtrage de /components/ et de /components sont différents. Vous pouvez en savoir plus sur la syntaxe de ces fichiers sur le site officiel.

Si tout s'est bien passé, vous devriez passer le test Google, pour autant bien sûr que votre site soit conçu pour les sites mobiles, c'est-à-dire qu'il utilise de préférence la version 3 de Joomla! avec un template en "Responsive Design".

Envie de migrer votre ancien site Joomla! 1.5 ou 2.5 vers la dernière version ? Vous trouvez ce qui précède trop compliqué pour vous ? Nous nous chargerons de ces tâches avec plaisir. Contactez-nous.