Comment éviter que le répertoire « tmp » explose le quota de fichiers chez l’hébergeur ?

Bonjour,

Pour l’un des sites en Spip 3.2 dont je m’occupe, l’hébergeur m’envoie, environ une fois par mois, des alertes de dépassement du quota autorisé de nombre de fichiers.

J’ai donc 2 questions :

  1. J’ai remarqué que le dépassement de quota venait d’une inflation régulière du nombre de fichiers du dossier « tmp » de Spip :
  • Je n’ai pas remarqué une inflation des fichiers temporaires sur d’autres sites Spip 3.2 chez le même hébergeur.
  • Comment en analyser l’origine ?1. Peut-on créer une notification automatique en amont du dépassement de quota ?

Merci d’avance,

Cordialement,

Hervé

Bonjour,

Un gros site avec beaucoup de visiteurs ?

Le ven. 11 mai 2018 à 10:53, Hervé Le Dantec <herve.ledantec@gmail.com> a écrit :

Bonjour,

Un gros site avec beaucoup de visiteurs ?

Google Analytics indique une moyenne de 450 à 500 visiteurs actifs par mois

Est-ce que ça fait beaucoup?

Hervé

Petit site alors.
Faut voir quel hébergeur tu as ? Une adresse de site pour voir ?

Le ven. 11 mai 2018 à 12:37, Hervé Le Dantec <herve.ledantec@gmail.com> a écrit :

Le 11/05/2018 à 12:37, Hervé Le Dantec a écrit :

Google Analytics indique une moyenne de 450 à 500 visiteurs actifs par mois

Est-ce que ça fait beaucoup?

Ce n'est pas suffisant pour expliquer l'inflation du dossier.
Quelle sous-dossier contient le plus de fichiers ? tmp/cache, tmp/sessions, autre ?

Bonjour,

Même constat pour pas mal de mes sites en 3.x, ça grimpe, ça grimpe.

En SPiP 2.1, je mettais ça sur le compte de Mini-calendrier.
Je ne l'utilise plus, mais ça gonfle encore.

Le 11/05/2018 à 10:51, Hervé Le Dantec a écrit :

Bonjour,

Pour l’un des sites en Spip 3.2 dont je m’occupe, l’hébergeur m’envoie, environ une fois par mois, des alertes de dépassement du quota autorisé de nombre de fichiers.

J’ai donc 2 questions :

1. J’ai remarqué que le dépassement de quota venait d’une inflation
    régulière du nombre de fichiers du dossier « tmp » de Spip :
      * Je n’ai pas remarqué une inflation des fichiers temporaires sur
        d’autres sites Spip 3.2 chez le même hébergeur.
      * Comment en analyser l’origine ?
2. Peut-on créer une notification automatique en amont du dépassement
    de quota ?

Merci d’avance,

Cordialement,

Hervé

--
Stéphane

Les Voisins Spipeurs : http://www.voisins-spipeurs.net

Le 11/05/2018 à 22:04, Stéphane Santon a écrit :

Bonjour,

Même constat pour pas mal de mes sites en 3.x, ça grimpe, ça grimpe.

Même constat.

Le 12/05/2018 à 13:39, Maïeul a écrit :

Même constat.

faut peut être un cron quotidien qui vide les caches ?
JLuc

E penssais a cela aussi. Via une taxhe cron chez lhebergeur.

Le sam. 12 mai 2018 17:40, JLuc <jluc@no-log.org> a écrit :

Le 12/05/2018 à 13:39, Maïeul a écrit :

Même constat.

faut peut être un cron quotidien qui vide les caches ?
JLuc


liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Archives : https://www.mail-archive.com/spip@rezo.net/maillist.html

Infos : http://listes.rezo.net/mailman/listinfo/spip

Documentation de SPIP : http://www.spip.net/

Irc : de l’aide à toute heure : http://spip.net/irc

Le 12/05/2018 à 17:37, JLuc a écrit :

Le 12/05/2018 à 13:39, Maïeul a écrit :

Même constat.

faut peut être un cron quotidien qui vide les caches ?
JLuc

Pas du tout rassuré par la réponse de Maîeul...
Et en bridant la taille du cache ?
Configurer le cache - Programmer avec SPIP 4 ?
$GLOBALS['quota_cache'] = 100;
Pour un éventuel cron, du meilleur effet (lancé à chacune de mes maintenances sur mes 130 sites, remplacer l'arborescence):
rm -r -- /chemin_vers_mes_sites/*/tmp/* /chemin_vers_mes_sites/*/local/*

Le 12/05/2018 à 17:37, JLuc a écrit :

Le 12/05/2018 à 13:39, Maïeul a écrit :

Même constat.

faut peut être un cron quotidien qui vide les caches ?
JLuc

mouais, enfin bon c'est pas normale que ca explose comme cela

Le 12/05/2018 à 19:42, 6ril a écrit :

Pas du tout rassuré par la réponse de Maîeul...
Et en bridant la taille du cache ?
Configurer le cache - Programmer avec SPIP 4 ?
$GLOBALS['quota_cache'] = 100;

Pour info, cette globale (comme la config associée) n'est plus du tout prise en compte, rien ne limite plus la taille du cache.
Il y a un ticket à ce sujet avec une discussion/explication mais je ne remets pas la main dessus...

--
nicod_

Le 12/05/2018 à 19:50, Maïeul a écrit :

Le 12/05/2018 à 17:37, JLuc a écrit :

Le 12/05/2018 à 13:39, Maïeul a écrit :

Même constat.

faut peut être un cron quotidien qui vide les caches ?
JLuc

mouais, enfin bon c'est pas normale que ca explose comme cela

Désolé de faire mon dév/tech de base, mais il faudrait peut être des données, des chiffres, plus que des verbes ou des impressions :slight_smile:

"Explose", ça veut dire quoi ?

Par exemple : quelle taille (en Ko/Mo) fait le répertoire tmp ? tmp/cache ? les autres ?
Et quelles tailles faisaient ils avant ?

--
nicod_

Le dimanche 13 mai 2018 à 00:29 +0200, nicod_ a écrit :

Le 12/05/2018 à 19:50, Maïeul a écrit :
> Le 12/05/2018 à 17:37, JLuc a écrit :
> > Le 12/05/2018 à 13:39, Maïeul a écrit :
> > > Même constat.
> >
> > faut peut être un cron quotidien qui vide les caches ?
> > JLuc
> >
> >
>
> mouais, enfin bon c'est pas normale que ca explose comme cela

Désolé de faire mon dév/tech de base, mais il faudrait peut être des
données, des chiffres, plus que des verbes ou des impressions :slight_smile:

"Explose", ça veut dire quoi ?

Par exemple : quelle taille (en Ko/Mo) fait le répertoire tmp ?
tmp/cache ? les autres ?
Et quelles tailles faisaient ils avant ?

C'est cache qui explose.

Sur ce Planète Sciences — Astronomie — Une aventure pour les jeunes

avant : 150 Mo environ (j'ai plus les chiffres)
aujourd'hui 623 Mo

180 evenements env
105 articles env

Des squelettes inclus mais uniquement avec les paramètres de nécessaire
(pas de env)
pas d'inclusion en cascade à la z ou autre

Le 13/05/2018 à 00:25, nicod_ a écrit :

Le 12/05/2018 à 19:42, 6ril a écrit :

Pas du tout rassuré par la réponse de Maîeul...
Et en bridant la taille du cache ?
Configurer le cache - Programmer avec SPIP 4 ?
$GLOBALS['quota_cache'] = 100;

Pour info, cette globale (comme la config associée) n'est plus du tout prise en compte, rien ne limite plus la taille du cache.
Il y a un ticket à ce sujet avec une discussion/explication mais je ne remets pas la main dessus...

OK, merci pour l'info.
De mon côté aucun pb de cache sur aucun de mes sites, tous en 3.2.1. J'ai un max à 30M.

Le 13/05/2018 à 00:25, nicod_ a écrit :

Le 12/05/2018 à 19:42, 6ril a écrit :

Pas du tout rassuré par la réponse de Maîeul...
Et en bridant la taille du cache ?
Configurer le cache - Programmer avec SPIP 4 ?
$GLOBALS['quota_cache'] = 100;

Pour info, cette globale (comme la config associée) n'est plus du tout prise en compte, rien ne limite plus la taille du cache.
Il y a un ticket à ce sujet avec une discussion/explication mais je ne remets pas la main dessus...

Vu dans le changelog de la 3.2.1:
r23894 | erational | (jeu. 18 janv. 2018) | Début de résolution de #3996 . Ne plus afficher quota_cache qui est obsolète et qui n'est plus utilisé dans SPIP

"Explose", ça veut dire quoi ?

Par exemple : quelle taille (en Ko/Mo) fait le répertoire tmp ?
tmp/cache ? les autres ?
Et quelles tailles faisaient ils avant ?

Il y a qqs mois, mon hébergeur (alwaysdata) m'avait signalé un pb à ce propos :

"----------
Votre compte a un trop grand nombre de fichiers pour un compte en serveurs mutualisés (plus de 959000). Voici un extrait du nombre de fichiers sur certains de vos répertoires les plus importants :

www/glop/tmp/cache 67063
www/glip/tmp/cache/ 67055
www/glap/tmp/cache/ 42986
www/glup/tmp/cache/ 46971
www/glapi/public_html/tmp/cache/ 68271
www/glopa/public_html/tmp/cache/ 67167
www/groumpf/tmp/cache/ 26105
Pouvez-vous redescendre sous les 100 000 fichiers (pallier raisonnable de nombre de fichiers) ?

-------------"

C'est du SPIP 3.1 et du SPIP 3.2.

On en avait discuté vite fait avec b_b sur IRC et effectivement, il constatait aussi chez lui un cache un peu trop survitaminé.
Mais impossible de mettre la main sur la cause du problème à l'époque.

P

De mon côté, voici les chiffres :

Le quota autorisé est de 50 000 fichiers.

Après avoir vidé le dossier « /tmp » par FTP le 10/05/2018, aujourd’hui, 13/05/2018, le nombre de fichiers est de 15 224 fichiers.

Ci-dessous, les dépassements de quota de nombre de fichiers signalé par l’hébergeur (Nuxit) depuis octobre 2017 :
15/10/2017 -> 50 489
18/01/2018 -> 50 411
17/02/2018 -> 51 558
08/03/2018 -> 55 221
10/05/2018 -> 50 603

Est-ce que ces chiffres vous semblent normaux ?

Merci d’avance,

Cordialement,

Hervé

Le 13 mai 2018 à 11:23, Peetdu <peetdu@gmail.com> a écrit :

"Explose", ça veut dire quoi ?

Par exemple : quelle taille (en Ko/Mo) fait le répertoire tmp ?
tmp/cache ? les autres ?
Et quelles tailles faisaient ils avant ?

Il y a qqs mois, mon hébergeur (alwaysdata) m'avait signalé un pb à ce propos :

"----------
Votre compte a un trop grand nombre de fichiers pour un compte en serveurs mutualisés (plus de 959000). Voici un extrait du nombre de fichiers sur certains de vos répertoires les plus importants :

www/glop/tmp/cache 67063
www/glip/tmp/cache/ 67055
www/glap/tmp/cache/ 42986
www/glup/tmp/cache/ 46971
www/glapi/public_html/tmp/cache/ 68271
www/glopa/public_html/tmp/cache/ 67167
www/groumpf/tmp/cache/ 26105
Pouvez-vous redescendre sous les 100 000 fichiers (pallier raisonnable de nombre de fichiers) ?

-------------"

C'est du SPIP 3.1 et du SPIP 3.2.

On en avait discuté vite fait avec b_b sur IRC et effectivement, il constatait aussi chez lui un cache un peu trop survitaminé.
Mais impossible de mettre la main sur la cause du problème à l'époque.

P

_______________________________________________
liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Archives : https://www.mail-archive.com/spip@rezo.net/maillist.html

Infos : http://listes.rezo.net/mailman/listinfo/spip

Documentation de SPIP : http://www.spip.net/

Irc : de l'aide à toute heure : http://spip.net/irc

Le 11/05/2018 à 10:51, Hervé Le Dantec a écrit :

Bonjour,

Pour l’un des sites en Spip 3.2 dont je m’occupe, l’hébergeur m’envoie, environ une fois par mois, des alertes de dépassement du quota autorisé de nombre de fichiers.

La méthode de gestion des fichiers de tmp/cache a changé en 3.x effectivement. Il n’y a plus d’invalidation en fonction de quota en Mo (qui est coûteux à calculer), mais une taille maximum en nombre de fichiers possibles (16^4 soit ~65000 fichiers donc). Le répertoire tmp/cache peut donc se remplir jusqu’à ce nombre de fichier au maximum (hors tmp/cache/skel et autres spécificités je crois).

https://core.spip.net/projects/spip/repository/entry/spip/ecrire/public/cacher.php#L17

MM.

La méthode de gestion des fichiers de tmp/cache a changé en 3.x effectivement. Il n’y a plus d’invalidation en fonction de quota en Mo (qui est coûteux à calculer), mais une taille maximum en nombre de fichiers possibles (16^4 soit ~65000 fichiers donc). Le répertoire tmp/cache peut donc se remplir jusqu’à ce nombre de fichier au maximum (hors tmp/cache/skel et autres spécificités je crois).

Merci Matthieu pour ces explications.

La limite du nombre de fichiers étant de 50 000 chez l’hébergeur, comment dois-je procéder pour éviter ces mails de relance pour dépassement ?
Une limitation automatique à 45 000, par exemple, est-elle possible ? Et si oui, comment ?
Un fichier de Spip à modifier ?
Quelque chose à ajouter dans /config/mes_fonctions.php ?

Une précision : sur cet hébergement, je ne peux créer de tâche Cron depuis l’espace client, cela ne peut donc se faire que par les fichiers du site.

Merci d’avance,

Cordialement,

Hervé

Le 13 mai 2018 à 23:10, Matthieu Marcillaud <marcimat@rezo.net> a écrit :

Le 11/05/2018 à 10:51, Hervé Le Dantec a écrit :

Bonjour,
Pour l’un des sites en Spip 3.2 dont je m’occupe, l’hébergeur m’envoie, environ une fois par mois, des alertes de dépassement du quota autorisé de nombre de fichiers.

La méthode de gestion des fichiers de tmp/cache a changé en 3.x effectivement. Il n’y a plus d’invalidation en fonction de quota en Mo (qui est coûteux à calculer), mais une taille maximum en nombre de fichiers possibles (16^4 soit ~65000 fichiers donc). Le répertoire tmp/cache peut donc se remplir jusqu’à ce nombre de fichier au maximum (hors tmp/cache/skel et autres spécificités je crois).

https://core.spip.net/projects/spip/repository/entry/spip/ecrire/public/cacher.php#L17

Implementation du cache analogue au filecache de memoization qui a prouve sa... (48402c27) · Validations · spip / spip · GitLab

MM.
_______________________________________________
liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Archives : https://www.mail-archive.com/spip@rezo.net/maillist.html

Infos : http://listes.rezo.net/mailman/listinfo/spip

Documentation de SPIP : http://www.spip.net/

Irc : de l'aide à toute heure : http://spip.net/irc