[SPIP Zone] Métas+ et robots.txt

Salut,

Pour fournir les images à la « bonne taille », Métas+ les redimensionne (cf ).

De fait, les images se retrouvent dans /local/. Le soucis, c’est que /local/ est interdits aux robots par robots.txt (pour des questions de perf), donc Twitter chouinne (cf log ci-dessous).

Le log du validator ( ) :

Quelqu’un rencontre ce souci ? Et comment faire ?

jean marie

Yop !

Marrant, moi il s'affiche carrément pas les images...

J'ai tester avec :

https://p.henix.be/Des-packs-d-icones-pour-vos-projets-de-developpement-Korben
https://p.henix.be/Performance-Calendar-3-Tips-for-Faster-Font-Loading
https://p.henix.be/A-la-decouverte-de-Trust-Icon-street-artiste-londonien-GOLEM13-FR-GOLEM13-FR

La card n'affiche pas d'images et la console n'affiche pas le warning.
:confused:

Super étrange...

Jean Marie Grall <jeanmarie.listes@cousumain.info> writes:

Salut,

Pour fournir les images à la "bonne taille", Métas+ les redimensionne (cf Connexion · GitLab ).

De fait, les images se retrouvent dans /local/. Le soucis, c'est que /local/ est interdits aux robots par robots.txt (pour des questions de perf), donc Twitter chouinne (cf log ci-dessous).

Le log du validator ( x.com ) :
INFO: Page fetched successfully
INFO: 35 metatags were found
INFO: twitter:card = summary_large_image tag found
INFO: Card loaded successfully
WARN: The image URL https://www.brestculture.fr/local/cache-gd2/6b/8d4f9ad77b1817e55de4ff171d8565.png?1515680421 specified by the 'twitter:image' metatag may be restricted by the site's robots.txt file, which will prevent Twitter from fetching it.

Quelqu'un rencontre ce souci ? Et comment faire ?

      jean marie

----
spip-zone@rezo.net - http://listes.rezo.net/mailman/listinfo/spip-zone

Salut,

je viens de tester tes 3 liens et j'ai le warning aujourd'hui.

De mon côté, j'ai ajouté cette règle à mon robots.txt et ça résout le problème :
User-agent: Twitterbot
Allow: /local/

Donc, la question à 100 balles, maintenant, c'est quelle est la solution pour rendre ça pérenne ? Car, si le but est de fournir des images mais que ces images là ne sont pas accessibles, ça n'a pas de sens...
Métas+ doit surcharger robots.txt ? Ça obligerait à suivre les changements de celui de la dist, pas pratique...

         jean marie

Le 09/02/2018 à 13:22, Debondt Didier a écrit :

Yop !

Marrant, moi il s'affiche carrément pas les images...

J'ai tester avec :

https://p.henix.be/Des-packs-d-icones-pour-vos-projets-de-developpement-Korben

https://p.henix.be/Performance-Calendar-3-Tips-for-Faster-Font-Loading
https://p.henix.be/A-la-decouverte-de-Trust-Icon-street-artiste-londonien-GOLEM13-FR-GOLEM13-FR

La card n'affiche pas d'images et la console n'affiche pas le warning.
:confused:

Super étrange...

Jean Marie Grall <jeanmarie.listes@cousumain.info> writes:

Salut,

Pour fournir les images à la "bonne taille", Métas+ les redimensionne (cf Connexion · GitLab ).

De fait, les images se retrouvent dans /local/. Le soucis, c'est que /local/ est interdits aux robots par robots.txt (pour des questions de perf), donc Twitter chouinne (cf log ci-dessous).

Le log du validator ( x.com ) :
INFO: Page fetched successfully
INFO: 35 metatags were found
INFO: twitter:card = summary_large_image tag found
INFO: Card loaded successfully
WARN: The image URL https://www.brestculture.fr/local/cache-gd2/6b/8d4f9ad77b1817e55de4ff171d8565.png?1515680421 specified by the 'twitter:image' metatag may be restricted by the site's robots.txt file, which will prevent Twitter from fetching it.

Quelqu'un rencontre ce souci ? Et comment faire ?

  jean marie

Précision : ils ont un cache de 24h, il faut donc attendre que le nouveau robots.txt soit pris en compte.
(une 10aine d'heure en fait pour moi hier)

Et c'est peut être pour ça que tu n'avais pas d'image ni de warning ?

                     jean marie

Le 25/02/2018 à 21:53, Jean Marie Grall a écrit :

Salut,

je viens de tester tes 3 liens et j'ai le warning aujourd'hui.

De mon côté, j'ai ajouté cette règle à mon robots.txt et ça résout le problème :
User-agent: Twitterbot
Allow: /local/

Donc, la question à 100 balles, maintenant, c'est quelle est la solution pour rendre ça pérenne ? Car, si le but est de fournir des images mais que ces images là ne sont pas accessibles, ça n'a pas de sens...
Métas+ doit surcharger robots.txt ? Ça obligerait à suivre les changements de celui de la dist, pas pratique...

        jean marie

Le 09/02/2018 à 13:22, Debondt Didier a écrit :

Yop !

Marrant, moi il s'affiche carrément pas les images...

J'ai tester avec :

https://p.henix.be/Des-packs-d-icones-pour-vos-projets-de-developpement-Korben

https://p.henix.be/Performance-Calendar-3-Tips-for-Faster-Font-Loading
https://p.henix.be/A-la-decouverte-de-Trust-Icon-street-artiste-londonien-GOLEM13-FR-GOLEM13-FR

La card n'affiche pas d'images et la console n'affiche pas le warning.
:confused:

Super étrange...

Jean Marie Grall <jeanmarie.listes@cousumain.info> writes:

Salut,

Pour fournir les images à la "bonne taille", Métas+ les redimensionne (cf Connexion · GitLab ).

De fait, les images se retrouvent dans /local/. Le soucis, c'est que /local/ est interdits aux robots par robots.txt (pour des questions de perf), donc Twitter chouinne (cf log ci-dessous).

Le log du validator ( x.com ) :
INFO: Page fetched successfully
INFO: 35 metatags were found
INFO: twitter:card = summary_large_image tag found
INFO: Card loaded successfully
WARN: The image URL https://www.brestculture.fr/local/cache-gd2/6b/8d4f9ad77b1817e55de4ff171d8565.png?1515680421 specified by the 'twitter:image' metatag may be restricted by the site's robots.txt file, which will prevent Twitter from fetching it.

Quelqu'un rencontre ce souci ? Et comment faire ?

  jean marie

----
spip-zone@rezo.net - http://listes.rezo.net/mailman/listinfo/spip-zone

Le 25/02/2018 à 21:53, Jean Marie Grall a écrit :

De mon côté, j'ai ajouté cette règle à mon robots.txt et ça résout le problème :
User-agent: Twitterbot
Allow: /local/

Donc, la question à 100 balles, maintenant, c'est quelle est la solution pour rendre ça pérenne ? Car, si le but est de fournir des images mais que ces images là ne sont pas accessibles, ça n'a pas de sens...
Métas+ doit surcharger robots.txt ? Ça obligerait à suivre les changements de celui de la dist, pas pratique...

Peut être ça doit aller dans la dist ?

JLuc

Hello,

c’est déjà dans la dist en partie vu que l’on a ici

https://zone.spip.org/trac/spip-zone/browser/core/branches/spip-3.2/plugins/dist/robots.txt.html


Allow:    /local/cache-css/
Allow:    /local/cache-js/

il manque juste cache-vignette dans ce cas present

Parcontre, je ne vois pas pourquoi juste twitterBot , ça sera pareil pour facebook, google, ou autre …

Sachant que y’a que les “gentils robots” qui en on quelque chose a faire de ce fichier ^^ les autres ils scan tout. Le robots.txt c’est pas une sécurité , c’est un outil pour leur faire gagner du temps pour qu’ils indexe plus vite le choses intéressante, sans perdre de temps sur des ressources inutiles.

Un chose est sur c’est que ça ne concerne pas uniquement meta+ car si on autorise pas les images/vignettes, la console de webmastertools le signal, donc sur un site d’images ou de contenus visuels c’est dommage…

après autoriser tout le repertoire local, je sais pas si c’est bon dans tout les cas de figure, en générale j’autorise css, js, vignettes

Dans le cas de Métas+, c’est /local/cache-gd2/ qu’il faudrait autoriser. D’ailleurs, pourquoi est-ce gd2 et pas vignettes ? Pour facebook, il ne semble pas tenir compte de la règle. jean marie

Le 26/02/2018 à 12:31, Jean Marie Grall a écrit :

Dans le cas de Métas+, c'est /local/cache-gd2/ qu'il faudrait autoriser.

Exactement, c'est justement ce que j'ai fait il y a quelques jours sur un site.
Facebook trouvait bien les images (comme quoi, le robots.txt, il s'en tape le coquillard), mais Twitter était bloqué.

J'ai juste ajouté un Allow /local/cache-gd2/

Et oui, ça devrait sûrement être dans la dist.

Tu fais un ticket pour pas oublier ?

--
nicod_

Hello,

Le 26/02/2018 à 17:06, nicod_ a écrit :

Et oui, ça devrait sûrement être dans la dist.

Tu fais un ticket pour pas oublier ?

hop : https://core.spip.net/issues/4103