Pb grave de surcharge sur base (surnombre de requêtes SELECT...), hébergement 1&1 mutualisé

Bonjour à tous,

C'est un problème très sérieux qui m'amène à demander une aide urgente à la
communauté Spip car je ne sais vraiment plus du tout quoi faire...

Mon hébergeur 1&1 (en mutualisé) me met une grosse pression (risque imminent de
suspension du compte) au sujet d'une prétendue surcharge sur le serveur Mysql
qui serait due à un nombre anormalement élevé de requêtes SELECT venant de notre
site Spip (toute dernière version 1.9.2b)

D'après leurs logs, les requêtes concernées sont :
SELECT url_propre, statut, titre, DATE_FORMAT(date,'%Y%m%d') (...)
SELECT rubriques.lang (...)

Il y aurait des dizaines de milliers de requêtes anormales chaque jour, alors
que mon site ne dépasse par le millier de visites...
Bizarrement, je ne constate aucun ralentissement sur le site, mais selon 1and1
c'est bien le cas d'après leurs logs serveurs !

D'après ma recherche, le code SELECT url_propre, statut, titre,
DATE_FORMAT(date,'%Y%m%d') se trouve seulement dans le fichier
inc-urls-propre.php3 à la racine du site, fichier que nous avons modifié pour
avoir la date dans les URL des articles (URL-rewriting personnalisé !)
J'ai pensé que ce fichier pouvait se trouver en conflit avec le fichier
ecrire/urls/propres.php avec la nouvelle architecture Spip, mais visiblement
c'est une fausse piste car 1and1 me dit que la surcharge continue même quand je
supprime inc-urls-propre.php3 de la racine du site.

Si vous avez une idée quelconque de l'origine de ces requêtes et/ou du problème,
surtout faites-moi signe SVP !!! Parceque moi je n'ai rien trouvé d'autre dans
les fichiers de Spip et je suis complètement perdu...

MERCI,
Régis

* Regis tapuscrivait, le 12/09/2007 17:18:

Bonjour à tous,

C'est un problème très sérieux qui m'amène à demander une aide urgente à la
communauté Spip car je ne sais vraiment plus du tout quoi faire...

Mon hébergeur 1&1 (en mutualisé) me met une grosse pression (risque imminent de
suspension du compte) au sujet d'une prétendue surcharge sur le serveur Mysql
qui serait due à un nombre anormalement élevé de requêtes SELECT venant de notre
site Spip (toute dernière version 1.9.2b)

D'après leurs logs, les requêtes concernées sont :
SELECT url_propre, statut, titre, DATE_FORMAT(date,'%Y%m%d') (...)
SELECT rubriques.lang (...)

D'après ce que je vois, tu fais un traitement côté MySQL de transformation d'une date.
Essaye de le reporter dans php.

Il y aurait des dizaines de milliers de requêtes anormales chaque jour, alors
que mon site ne dépasse par le millier de visites...
Bizarrement, je ne constate aucun ralentissement sur le site, mais selon 1and1
c'est bien le cas d'après leurs logs serveurs !

D'après mon expérience (qui m'a fait quitter 1and1 en courant), 1and1 a dimensionné son offre de manière abérante :
- trop d'espace disque
- trop de bande passante
- pas du tout assez de mysql

En pratique, une site SPIP de plus de 600 visiteurs par jour se fait éjecté de 1and1.

--
RealET

Regis a écrit :

Bonjour à tous,

C'est un problème très sérieux qui m'amène à demander une aide urgente à la
communauté Spip car je ne sais vraiment plus du tout quoi faire...

Mon hébergeur 1&1 (en mutualisé) me met une grosse pression (risque imminent de
suspension du compte) au sujet d'une prétendue surcharge sur le serveur Mysql
qui serait due à un nombre anormalement élevé de requêtes SELECT venant de notre
site Spip (toute dernière version 1.9.2b)

nombre trop élevé ou surcharge du serveur à cause de quelques requetes trop longues ?

Tes rédacteurs utilises-ils depuis l'espace privé les pages brouteur ou article_tous ?

si oui, c'est peut etre ca :
http://trac.rezo.net/trac/spip/changeset/9528

et donc, en mettant à jour avec la version de maintenance :
http://files.spip.org/spip/SPIP-v1-9-2.zip

ca règlera le problème

maintenant, si c'est trop de requêtes, tu peux essayer d'augmenter un peu les caches, mais si tu as des forums actifs, ca ne servira pas à grand chose.

tu as des plugins actifs ?

@++

Stephane a écrit :

Regis a écrit :
  

Bonjour à tous,

C'est un problème très sérieux qui m'amène à demander une aide urgente à la
communauté Spip car je ne sais vraiment plus du tout quoi faire...

Mon hébergeur 1&1 (en mutualisé) me met une grosse pression (risque imminent de
suspension du compte) au sujet d'une prétendue surcharge sur le serveur Mysql
qui serait due à un nombre anormalement élevé de requêtes SELECT venant de notre
site Spip (toute dernière version 1.9.2b)
    
nombre trop élevé ou surcharge du serveur à cause de quelques requetes trop longues ?

Tes rédacteurs utilises-ils depuis l'espace privé les pages brouteur ou article_tous ?

si oui, c'est peut etre ca :
http://trac.rezo.net/trac/spip/changeset/9528

et donc, en mettant à jour avec la version de maintenance :
http://files.spip.org/spip/SPIP-v1-9-2.zip

ca règlera le problème

maintenant, si c'est trop de requêtes, tu peux essayer d'augmenter un peu les caches, mais si tu as des forums actifs, ca ne servira pas à grand chose.

tu as des plugins actifs ?

@++

_______________________________________________
liste spip
spip@rezo.net - désabonnement : spip-off@rezo.net
Infos et archives : http://listes.rezo.net/mailman/listinfo/spip
Documentation de SPIP : http://www.spip.net/
irc://irc.freenode.net/spip
FAQ : FAQ webmestre - SPIP

Regarde coté plugins, et puis aussi dans tes pages de squelettes! As tu des requetes en php bien entendu dans certaines pages? Ou des InClude et/ou Inclure? Verification également des caches des pages.. Il faut mettre une valeur de cache en haut avant le <head> et eviter les caches 0!
Mais l'hebergeur broutille un peu tout de même! Qu'est-ce que cela peut bien faire, sinon te faire tomber ta bande passante?
A moins que ton site soit un grand centre de telechargements? :wink:

QL

Merci à tous pour vos réponses.
Je vais clarifier certaines choses.

Tout d'abord, le traffic du site n'est pas énorme, entre 500 et 1000 visites par
jour. Le vitesse de chargement des pages est très bonne, aucun ralentissement.
D'où notre étonnement...

Voici un extrait des logs d'après le mail reçu de 1and1 :
34616 Queries: 34148 Selects, 257 Ins, 21 Upd, 190 Del, 127 Connects
SELECT url_propre, statut, titre, DATE_FORMAT(date,'%Y%m%d') as date_objet
SELECT rubriques.id_rubrique, rubriques.titre, rubriques.lang

Déjà, nous n'arrivons pas à savoir quelle est la fréquence de ces 34148 Selects
(quotidienne ou autre ???)
Le code "SELECT url_propre, statut, titre, DATE_FORMAT(date,'%Y%m%d') as
date_objet" n'existe que dans inc-urls-propre.php3 à la racine, mais comme je
disais la surcharge est tj présente d'après 1and1 même quand ce fichier n'existe
plus sur le serveur (allez comprendre...) !!!
Par contre, je ne trouve nul part le code "SELECT rubriques.id_rubrique,
rubriques.titre, rubriques.lang" sur le site...

Enfin je précise que suite au 1er mail-avertissement de 1and1, nous avons tout
réinstallé : base neuve, site neuf.
Il s'agit donc d'une install parfaitement clean et la plus récente de Spip.
Hélas le problème perdure d'après 1and1...

Réponses :

"D'après ce que je vois, tu fais un traitement côté MySQL de transformation
d'une date. Essaye de le reporter dans php."

-> Effectivement, le code de la 1ere requête correspond à une modif dans
l'URL-rewriting faite au niveau du fichier inc-urls-propre.php3.
Que veux-tu dire par "Essaye de le reporter dans php" ?

"D'après mon expérience (qui m'a fait quitter 1and1 en courant), 1and1 a
dimensionné son offre de manière abérante :
- trop d'espace disque
- trop de bande passante
- pas du tout assez de mysql
En pratique, une site SPIP de plus de 600 visiteurs par jour se fait éjecté de
1and1."

-> Tout à fait d'accord, sans compter un support nul à chier.
Si notre site est trop gros pour du mutualisé 1and1, qu'ils nous le disent
clairement... soit on prendra un serveur privé virtuel (pour le même prix...),
soit on ira voir ailleurs.

"nombre trop élevé ou surcharge du serveur à cause de quelques requetes trop
longues ?

-> nombre trop élevé, comme indiqué plus haut.

"Tes rédacteurs utilises-ils depuis l'espace privé les pages brouteur ou
article_tous ?"
(...)

-> Le problème est ailleurs.

"maintenant, si c'est trop de requêtes, tu peux essayer d'augmenter un peu les
caches, mais si tu as des forums actifs, ca ne servira pas à
grand chose. Il faut mettre une valeur de cache en haut avant le <head> et
eviter les caches 0!"

-> Bonne idée, d'autant plus que nous n'avons pas de forums actifs.
Il faut mettre des valeurs de caches dans chaque squelette désormais... ? Et
comment on fait çà sVP ?

"tu as des plugins actifs ?"

-> Non, aucun.

"As tu des requetes en php bien entendu dans certaines pages? Ou des InClude
et/ou Inclure?

-> Non, pas de requêtes en Php. Oui, il y a des Include mais sans Select aussi,
pourquoi ?

"Mais l'hebergeur broutille un peu tout de même! Qu'est-ce que cela peut bien
faire, sinon te faire tomber ta bande passante?
A moins que ton site soit un grand centre de telechargements ?"

-> Selon 1and1, d'autres utilisateurs se plaindraient de lenteurs et notre base
se trouverait parmi les bases responsables de ces lenteurs !
Nous, en tout cas, on ne constate aucune lenteur...