[SPIP Zone] Mailshot, limite Sparkpost et mauvaises désinscriptions automatiques

Yo, Cédric et les autres

J'ai le cas d'une organisation qui utilisait Sparkpost comme service en mode gratuit, et la limite suffisait à l'époque. Ces derniers ont changé leurs conditions, et désormais c'est 500 par mois max. L'association a reçu un message et nous-mêmes leur avons envoyé fait un rappel mais c'est passé dans les spams ou je sais pas : ils n'ont rien fait.

La conséquence : tout envoi APRÈS 500 est alors en échec.

La conséquence : les gens sont désinscrits automatiquement, alors que ce n'est pas un échec d'erreur destinataire inconnu mais un échec du service.

Et pire que ça : au bout d'un moment, l'adresse est chiffrée en plus, et il a est impossible de réinscrire la personne même si on a fini par s'abonner au service payant ou à Mailjet.

Est-ce que Sparkpost ou Mailshot fait une différence entre les RAISONS des échecs ? Car un échec pour la raison "vous avez atteint votre limite d'envoi" ce n'est pas du tout pareil que la raison "l'adresse du destinataire n'existe pas". Et dans le premier cas Mailshot ne devrait PAS désinscrire de la liste !

On se retrouve donc avec une assoc qui avait ~900 abonnés à la lettre, et qui se retrouve avec 170 inscrits désormais, et dont toute une partie ne peut à priori plus être ré-activée par les admins, c'est l'horreur !

À aucun moment il ne s'agit de mauvais emails qui n'existent plus, pour la plupart des désinscriptions qu'il y a eu, donc à aucun moment Mailshot n'aurait dû les désinscrire et encore moins chiffrer à jamais. :frowning:

Est-ce que j'ai bien compris ce qui s'est passé ? Est-ce qu'il y a une solution ?p

--
RastaPopoulos

Hop,

Le 02/12/2019 à 13:51, RastaPopoulos a écrit :

Yo, Cédric et les autres

J'ai le cas d'une organisation qui utilisait Sparkpost comme service en mode gratuit, et la limite suffisait à l'époque. Ces derniers ont changé leurs conditions, et désormais c'est 500 par mois max. L'association a reçu un message et nous-mêmes leur avons envoyé fait un rappel mais c'est passé dans les spams ou je sais pas : ils n'ont rien fait.

La conséquence : tout envoi APRÈS 500 est alors en échec.

La conséquence : les gens sont désinscrits automatiquement, alors que ce n'est pas un échec d'erreur destinataire inconnu mais un échec du service.

Et pire que ça : au bout d'un moment, l'adresse est chiffrée en plus, et il a est impossible de réinscrire la personne même si on a fini par s'abonner au service payant ou à Mailjet.

J'ai eu le cas dernièrement à cause d'un serveur SMTP down et surtout du fait que mes plugins n'étaient pas à jour et ne comportaient pas le correctif suivant :

https://zone.spip.org/trac/spip-zone/changeset/109686/spip-zone/plugins/mailshot

(pas certain que ça soit ton cas)

Dans mon cas, j'ai réussi à récupérer les abonnées perdues en affichant la page du dernier envoi mailshot comportant encore toutes les adresses, pour y copier la liste des emails (à l'aide du lien tout afficher) et les réinscrire en masse.

++
b_b

Le 02/12/2019 à 13:51, RastaPopoulos a écrit :

À aucun moment il ne s'agit de mauvais emails qui n'existent plus, pour la plupart des désinscriptions qu'il y a eu, donc à aucun moment Mailshot n'aurait dû les désinscrire et encore moins chiffrer à jamais. :frowning:

Est-ce que j'ai bien compris ce qui s'est passé ? Est-ce qu'il y a une solution ?p

Oui c'est tout à fait ça. J'ai le même problème avec une asso. La bonne nouvelle c'est que tu as la liste des e-mails dans une des tables, mailshot_destinataires je crois, à la date du dernier envoi valide (fin septembre).

MM.

Le 02/12/2019 à 14:05, Bruno Bergot a écrit :

J'ai eu le cas dernièrement à cause d'un serveur SMTP down et surtout du fait que mes plugins n'étaient pas à jour et ne comportaient pas le correctif suivant :

https://zone.spip.org/trac/spip-zone/changeset/109686/spip-zone/plugins/mailshot

(pas certain que ça soit ton cas)

Je ne crois pas. J'avais la version 1.27.4 de janvier 2019.

MM.

Le 02/12/2019 à 14:05, Bruno Bergot a écrit :

J'ai eu le cas dernièrement à cause d'un serveur SMTP down et surtout du fait que mes plugins n'étaient pas à jour et ne comportaient pas le correctif suivant :

Merci pour la piste, par contre sur le site le plugin est bien en version 1.26 donc largement après ce correctif.

À priori on va devoir aller récupérer les emails à la main dans les derniers envois quand même, comme tu le dis et marcimat aussi :frowning:

Mais donc c'est fâcheux, ça veut dire que même là en 1.26, ça continue de désinscrire ET de hasher les emails (encore pire), même lorsque ça ne devrait pas. Ça ne doit faire cette action que quand il s'agit d'erreurs d'emails inexistants (destinataire inconnu) ou que les gens se sont enlevés d'eux-mêmes. Mais absolument jamais lorsqu'il s'agit d'une simple erreur de limite d'envoi : ok on n'arrive pas à envoyer à tout le monde, tant pis, mais on ne désinscrit pas les gens ! :frowning:

--
RastaPopoulos

Hello,

alors, comment dire…

T’es un spammeur régulier (oui si tu envoies 900 emails régulièrement, je te mets dans la catégorie des spammeurs), et tu surveilles pas tes envois comme le lait sur le feu en pensant que ben oui de toute façon ça rentre comme dans du beurre.
Ben tant pis pour toi.

Plus prosaïquement je veux dire : l’envoi propre d’email c’est assez la merde comme ça pour qu’en plus on se fasse pas des cheveux blancs pour absolument simplifier la vie des spammeurs qui font pas le moindre effort (ici donc s’assurer que son service mail fonctionne toujours).

La bonne nouvelle c’est en effet que tu as les mails dans la table des destinataires (si c’est pas archivé), et sans doute dans les logs.
Donc avec un peu d’astuce, d’espièglerie, c’est la vie de Candy !

Bises

--
Cédric
Le 2 déc. 2019 à 13:52 +0100, RastaPopoulos <rastapopoulos@spip.org>, a écrit :

Yo, Cédric et les autres

J'ai le cas d'une organisation qui utilisait Sparkpost comme service en mode gratuit, et la limite suffisait à l'époque. Ces derniers ont changé leurs conditions, et désormais c'est 500 par mois max. L'association a reçu un message et nous-mêmes leur avons envoyé fait un rappel mais c'est passé dans les spams ou je sais pas : ils n'ont rien fait.

La conséquence : tout envoi APRÈS 500 est alors en échec.

La conséquence : les gens sont désinscrits automatiquement, alors que ce n'est pas un échec d'erreur destinataire inconnu mais un échec du service.

Et pire que ça : au bout d'un moment, l'adresse est chiffrée en plus, et il a est impossible de réinscrire la personne même si on a fini par s'abonner au service payant ou à Mailjet.

Est-ce que Sparkpost ou Mailshot fait une différence entre les RAISONS des échecs ? Car un échec pour la raison "vous avez atteint votre limite d'envoi" ce n'est pas du tout pareil que la raison "l'adresse du destinataire n'existe pas". Et dans le premier cas Mailshot ne devrait PAS désinscrire de la liste !

On se retrouve donc avec une assoc qui avait ~900 abonnés à la lettre, et qui se retrouve avec 170 inscrits désormais, et dont toute une partie ne peut à priori plus être ré-activée par les admins, c'est l'horreur !

À aucun moment il ne s'agit de mauvais emails qui n'existent plus, pour la plupart des désinscriptions qu'il y a eu, donc à aucun moment Mailshot n'aurait dû les désinscrire et encore moins chiffrer à jamais. :frowning:

Est-ce que j'ai bien compris ce qui s'est passé ? Est-ce qu'il y a une solution ?p

--
RastaPopoulos

----
spip-zone@rezo.net - https://listes.rezo.net/mailman/listinfo/spip-zone

Le 02/12/2019 à 14:52, Cerdic a écrit :

Plus prosaïquement je veux dire : l’envoi propre d’email c’est assez la merde comme ça pour qu’en plus on se fasse pas des cheveux blancs pour absolument simplifier la vie des spammeurs qui font pas le moindre effort (ici donc s’assurer que son service mail fonctionne toujours).

Mmmh : on parle de gens qui, un par un, ont CHOISI de s'inscrire, pour recevoir un email par semaine avec dedans des informations d'une assoc, dont ils sont membres ou qui les intéresse. Je vois donc mal à quel moment on peut appeler ça du spam, faut pas abuser. (D'autant plus que 900 c'est tellement que dalle, la limite la plus basse de Mailjet payant est 30000… on en est tellement loin…)

Il me semble que les prestataires d'envoi ont bien l'information, et ne disent pas la même chose quand il s'agit d'un email qui n'existe pas, qui est erroné, et quand il s'agit simplement qu'on a atteint la limite d'envoi et que le prestataire refuse d'envoyer plus. Ça n'a vraiment strictement rien à voir.

Et donc, non, je vois pas pourquoi des échecs qui sont dus à la limite d'envoi du prestataire devrait désinscrire les gens, ya aucun rapport.

On va essayer de les aider à récupérer à la main, ok, je ne vois que ça. Mais c'est clairement un bug du plugin, pour les prochaines fois ou les autres gens qui atteignent une limite d'envoi (par exemple quand on est une assoc sans beaucoup d'argent et qu'on avait pas encore souscrit à un truc payant), aucune raison de pénaliser artificiellement ces gens.

--
RastaPopoulos

+1 pour la réponse de RASTA.

Merci Cédric pour le camouflet (au départ, je voulais écrire "insulte"), je
suis donc un GROS VILAIN SPAMMEUR avec mes petites associations qui n'ont
pas, par moment, les moyens financiers qu'elles souhaiteraient et envers
lesquelles je lutte régulièrement pour que la RGPD s'applique à la Lettre...
Merci, c'est super cool !

Ne pourrait-on pas "simplement" être averti qu'il y a eu un problème
"technik" avant de sortir la pelleteuse pour enterrer tout le monde ?

Cordialement,
Pascual

-----Message d'origine-----
De : RastaPopoulos <rastapopoulos@spip.org>
Envoyé : lundi 2 décembre 2019 15:23
À : spip-zone@rezo.net
Objet : Re: [SPIP Zone] Mailshot, limite Sparkpost et mauvaises
désinscriptions automatiques

Le 02/12/2019 à 14:52, Cerdic a écrit :

Plus prosaïquement je veux dire : l’envoi propre d’email c’est assez la

merde comme ça pour qu’en plus on se fasse pas des cheveux blancs pour
absolument simplifier la vie des spammeurs qui font pas le moindre effort
(ici donc s’assurer que son service mail fonctionne toujours).

Mmmh : on parle de gens qui, un par un, ont CHOISI de s'inscrire, pour
recevoir un email par semaine avec dedans des informations d'une assoc, dont
ils sont membres ou qui les intéresse. Je vois donc mal à quel moment on
peut appeler ça du spam, faut pas abuser. (D'autant plus que 900 c'est
tellement que dalle, la limite la plus basse de Mailjet payant est 30000… on
en est tellement loin…)

Il me semble que les prestataires d'envoi ont bien l'information, et ne
disent pas la même chose quand il s'agit d'un email qui n'existe pas, qui
est erroné, et quand il s'agit simplement qu'on a atteint la limite d'envoi
et que le prestataire refuse d'envoyer plus. Ça n'a vraiment strictement
rien à voir.

Et donc, non, je vois pas pourquoi des échecs qui sont dus à la limite
d'envoi du prestataire devrait désinscrire les gens, ya aucun rapport.

On va essayer de les aider à récupérer à la main, ok, je ne vois que ça.
Mais c'est clairement un bug du plugin, pour les prochaines fois ou les
autres gens qui atteignent une limite d'envoi (par exemple quand on est une
assoc sans beaucoup d'argent et qu'on avait pas encore souscrit à un truc
payant), aucune raison de pénaliser artificiellement ces gens.

--
RastaPopoulos

----
spip-zone@rezo.net - https://listes.rezo.net/mailman/listinfo/spip-zone

Hé les gens !

Je vous signale quand même qu’avant de désinscrire un subscriber, on attends 3 échecs consécutifs.

Ça signifie donc qu’ici pendant 3 semaines de suite une nouvelle newsletter a été envoyée sans s’inquiéter le moins du monde que les semaines précédentes tous les envois avaient été en echec (100% fail).

On a donc déjà un feedback dans l’interface, le temps de voir et de réagir, et si on arrive à ce genre de « catastrophe » c’est bien parce que des utilisateurs ont continué à pousser sur le bouton « envoyer » sans se poser la moindre question.

Moi je dis vous devriez être content : sans la disparition des inscriptions les utilisateurs n’auraient pas réagis et continueraient à envoyer dans un trou noir leur newsletter toutes les semaines :slight_smile:

Cela dit, et pour être plus constructif :

- les erreurs documentées en cas d’erreur d’envoi ne sont pas exhaustives, et ne contiennent pas forcément tous les cas d’erreur. Du coup difficile de gérer ces cas là sans risquer d’ignorer des erreurs gênantes. D’autant plus quand il s’agit du changement de politique commerciale d’un opérateur, pas sur qu’ils aient utilisé une erreur standard
- mais on pourrait au moins prévoir un 3ème type de réponse type « hors quota » qui ne serait pas pris en compte pour les désinscription, avec la possibilité de compléter la gestion d’erreur des prestataire au fur et à mesure. Pour info vos logs doivent contenir la réponse des prestataire, donc n’hésitez pas à faire un feedback constructif avec des exemples d’erreur non gérés :slight_smile:
Cela dit c’est non trivial, ça suppose aussi l’ajout d’un statut du type « envoi impossible » qui n’est pas un fail, dans la table de suivi des envois

- plus prosaiquement et facilement, on pourrait, quand un envoi se finit avec 100% en echec
- lever un flag qui dit « envois suspendus » et bloc tout nouvel envoi automatique
- envoyer un mail au webmestre pour l’avertir
- Afficher un gros message d’erreur qui dit « 100% du dernier envoi a échoué, résolvez le problème » et demande une validation si jamais on veut faire un nouvel envoi

Donc comme tout logiciel on peut améliorer, mais de là à protester que le plugin vous a perdu vos inscriptions, je dis non. Il a pris un certain nombre de précautions avant de faire ça et l’inattention totale des utilisateurs en est la raison principale.

Et donc oui, je pense que c’est rendre service que de faire comprendre aux gens que l’envoi en masse d’emails ne va pas de soi.

Et pousser sur le bouton « envoyer » automatiquement, sans se préoccuper de savoir si les mails arrivent ni de la qualité du listing, est aussi mauvais et nuisible a long terme que de remplir sa poubelle de déchets et la mettre toutes les semaines devant sa porte sans réfléchir en se disant que tout ça disparait magiquement :slight_smile:

Spammeurs, pollueurs, même combat et c’est trop facile de se défausser sur le fait qu’il y a des plus gros qui font pire à côté pour ne pas faire d’effort.
(et si ça peut vous rassurer je tiens le même discours aux utilisateurs finaux du plugin que je gère en direct)

Des bises renouvelables,

--
Cédric
Le 3 déc. 2019 à 00:23 +0100, Pascal JPM <pascal@editions-jpm.fr>, a écrit :

+1 pour la réponse de RASTA.

Merci Cédric pour le camouflet (au départ, je voulais écrire "insulte"), je
suis donc un GROS VILAIN SPAMMEUR avec mes petites associations qui n'ont
pas, par moment, les moyens financiers qu'elles souhaiteraient et envers
lesquelles je lutte régulièrement pour que la RGPD s'applique à la Lettre...
Merci, c'est super cool !

Ne pourrait-on pas "simplement" être averti qu'il y a eu un problème
"technik" avant de sortir la pelleteuse pour enterrer tout le monde ?

Cordialement,
Pascual

-----Message d'origine-----
De : RastaPopoulos <rastapopoulos@spip.org>
Envoyé : lundi 2 décembre 2019 15:23
À : spip-zone@rezo.net
Objet : Re: [SPIP Zone] Mailshot, limite Sparkpost et mauvaises
désinscriptions automatiques

Le 02/12/2019 à 14:52, Cerdic a écrit :
> Plus prosaïquement je veux dire : l�envoi propre d�email c�est assez la
merde comme ça pour qu�en plus on se fasse pas des cheveux blancs pour
absolument simplifier la vie des spammeurs qui font pas le moindre effort
(ici donc s�assurer que son service mail fonctionne toujours).

Mmmh : on parle de gens qui, un par un, ont CHOISI de s'inscrire, pour
recevoir un email par semaine avec dedans des informations d'une assoc, dont
ils sont membres ou qui les intéresse. Je vois donc mal à quel moment on
peut appeler ça du spam, faut pas abuser. (D'autant plus que 900 c'est
tellement que dalle, la limite la plus basse de Mailjet payant est 30000
on
en est tellement loin
)

Il me semble que les prestataires d'envoi ont bien l'information, et ne
disent pas la même chose quand il s'agit d'un email qui n'existe pas, qui
est erroné, et quand il s'agit simplement qu'on a atteint la limite d'envoi
et que le prestataire refuse d'envoyer plus. Ça n'a vraiment strictement
rien à voir.

Et donc, non, je vois pas pourquoi des échecs qui sont dus à la limite
d'envoi du prestataire devrait désinscrire les gens, ya aucun rapport.

On va essayer de les aider à récupérer à la main, ok, je ne vois que ça.
Mais c'est clairement un bug du plugin, pour les prochaines fois ou les
autres gens qui atteignent une limite d'envoi (par exemple quand on est une
assoc sans beaucoup d'argent et qu'on avait pas encore souscrit à un truc
payant), aucune raison de pénaliser artificiellement ces gens.

--
RastaPopoulos

----
spip-zone@rezo.net - https://listes.rezo.net/mailman/listinfo/spip-zone

----
spip-zone@rezo.net - https://listes.rezo.net/mailman/listinfo/spip-zone

Le 03/12/2019 à 08:29, Cerdic a écrit :

Ça signifie donc qu’ici pendant 3 semaines de suite une nouvelle newsletter a été envoyée sans s’inquiéter le moins du monde que les semaines précédentes tous les envois avaient été en echec (100% fail).

...

- plus prosaiquement et facilement, on pourrait, quand un envoi se finit avec 100% en echec

C'est pas 100% les echecs pour le coup parce que y'a une partie des envois qui fonctionnent, ceux acceptés dans le quota.

MM.

Le 03/12/2019 à 08:29, Cerdic a écrit :

Ça signifie donc qu’ici pendant 3 semaines de suite une nouvelle newsletter a été envoyée sans s’inquiéter le moins du monde que les semaines précédentes tous les envois avaient été en echec (100% fail).

En fait je crois qu'elles ne sont jamais allées dans le suivi des envois, juste dans Édition => Newsletters, et donc à moins de retourner en permanence dans les anciennes, elles ne voient rien spécialement.

Moi je dis vous devriez être content : sans la disparition des inscriptions les utilisateurs n’auraient pas réagis et continueraient à envoyer dans un trou noir leur newsletter toutes les semaines :slight_smile:

En fait elles ne l'ont jamais remarqué justement, c'est juste que là hier elles m'ont posé une question sur les lettres et du coup c'est moi en allant voir, et seulement parce que moi je connais et que je fouille, j'ai remarqué qu'il y avait eu bien plus de désinscription que juste des gens qui parfois s'en vont d'eux-mêmes. Et que donc j'ai fait "oups olalalaaa alerte alerte" :smiley:

Mais sinon elles n'auraient jamais rien vu je pense. Donc ouais il y a sûrement une amélioration possible d'ergonomie à faire pour que ça soit bien plus visible. (Mais je crois qu'elles n'ont aucun envoi à 100% fail, non à chaque fois ça réussissait à en envoyer un peu, et tout le reste en fail.)

- mais on pourrait au moins prévoir un 3ème type de réponse type « hors quota » qui ne serait pas pris en compte pour les désinscription, avec la possibilité de compléter la gestion d’erreur des prestataire au fur et à mesure. Pour info vos logs doivent contenir la réponse des prestataire, donc n’hésitez pas à faire un feedback constructif avec des exemples d’erreur non gérés :slight_smile:

Tous les prestataires ont des quotas, donc ça me parait assez logique oui.

Dans mailshot.log, venant de sparkpost_api_call(), voilà l'erreur (des centaines) :

Erreur 2102 Exceed Sending Limit (daily)

Et voici la page de doc contenant la liste des erreurs possibles (erreurs directes donc, pas les bounces) :
https://www.sparkpost.com/docs/tech-resources/extended-error-codes/

L'info est donc bien là, ya moyen techniquement de discriminer quoi. (Mais c'est marrant ils disent que cette erreur est deprecated alors que non, eux-mêmes la renvoie tous les jours.)

Et donc oui, je pense que c’est rendre service que de faire comprendre aux gens que l’envoi en masse d’emails ne va pas de soi.

Voui mais ya une différence entre leur montrer des "attention", et leur virer leurs inscrits volontaires (qui veulent toujours recevoir) parce qu'on n'a pas payé assez le prestataire. Car du coup ça veut dire que les gens "super pro" qui sont riches et qui payent direct un gros truc, ils n'ont pas de problème, et ceux qui ont un quota plus bas (et qui généralement envoient beaucoup moins), eux on leur vire leurs utilisateurs. C'est un peu brutal comme service à rendre. :smiley:

--
RastaPopoulos

Le 03/12/2019 à 08:29, Cerdic a écrit :

- plus prosaiquement et facilement, on pourrait, quand un envoi se finit avec 100% en echec
- lever un flag qui dit « envois suspendus » et bloc tout nouvel envoi automatique
- envoyer un mail au webmestre pour l’avertir

Attention ça sera peu opérationnel d'envoyer un mail au webmaster pour lui signaler le problème,
si c'est fait en envoyant le même service ... puisque ce service est bloqué.

JL