Dédipix de Friedrich en mode photo de fille surexposée.

Et si je dis ça c’est bien sûr uniquement parce que Friedrich, le plus beau chat de la Terre, a maintenant l’honneur d’être mentionné sur son blog. Avant d’être dessiné ? Si c’est le cas, Lily, fais gaffe, on l’a déjà dessiné gros une fois, il a eu du mal à s’en remettre.

Ces quelques dessins résument très bien ce qu’on appelle communément le « Friedrich effect », cet effet qui rend gaga n’importe quel être humain après avoir eu un contact visuel avec mon chat ! Admirez. Merci Lily.

Voir Friedrich part 1 sur Lily Poulp’

L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Aujourd’hui, parlons de Memcache.

Présentation de memcached

Comme nous l’avons vu la semaine dernière, les serveurs de données sont bien remplis en données diverses et variées, que ce soit des votes, des anecdotes, les informations de connexion. Beaucoup de données, dont une partie est redondante. Mais pas la totalité de la page puisque chaque anecdote est votée, impossible donc de cacher toute la page.

Un serveur memcached (d pour daemon) est un serveur léger qui permet de stocker temporairement des données en RAM. Si léger qu’il ne dispose d’aucun système d’identification pour accéder ou modifier ces données, donc faites bien attention à ne faire écouter le serveur qu’en local si vous installez un jour une telle solution pour votre serveur.

Son utilisation sur VDM

La technologie memcached permet donc de stocker n’importe quel type de données. Il sert souvent par exemple sur des clusters de serveurs Web pour centraliser les sessions PHP. On peut donc facilement en tirer profit pour mettre en cache plusieurs informations du site, et ainsi soulager de manière significative les serveurs MySQL.

One server to rule them all.

La problématique est maintenant la mise en place de cette solution sur le code PHP existant de VDM. PHP possède une extension Memcache qui permet d’implémenter facilement une solution de cache.

La solution que j’ai retenue est résumée dans le code suivant. Les requêtes SQL sont transformées en hash MD5 pour le nom de la clé, et l’objet du résultat de la requête est stockée en cache, avec un cache par défaut d’une heure (3600 secondes). De cette manière, si la clé n’existe pas sur le serveur memcached, la requête est automatiquement exécutée et le résultat stocké.

<?php

$memcache = new Memcache();
$memcache->pconnect("127.0.0.1","9000");

function mcache($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$result = mysql_query($query);
		$value = mysql_fetch_object($result);
		$memcache->set($hash,$value,NULL,$timeout);

	}

	return $value;

}

function mcache_set($query,$value,$timeout=3600) {

	global $memcache;

	$hash = md5($query);

	$value = $memcache->set($hash,$value,NULL,$timeout);

	return $value;

}

function mcache_delete($query) {

	global $memcache;

	$hash = md5($query);
	$value = $memcache->delete($hash);

	return $value;

}

?>

Grâce à ces fonctions nous avons conservé toutes nos requêtes, et pouvons utiliser de manière transparente soit Memcache soit MySQL. Plus pratique pour pouvoir synchroniser rapidement les données entre les deux serveurs, en plus d’avoir facilité la migration vers Memcache.

Exemple d’utilisation :

<?php

/* Je suis un nul alors je mets pas de mot de passe en root */
mysql_connect("localhost","root","");
mysql_select_db("base");

/* La requête MySQL normale sans cache */
$result = mysql_query("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");
$row = mysql_fetch_object($result);

/* La requête avec le cache Memcache */
$row = mcache("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");

?>

Grâce aux fonctions mcache() et consorts, on peut donc sans trop de difficultés alléger le travail des serveurs de bases de données. Si vous avez besoin de mettre en cache un tableau de résultats, vous pouvez utiliser la fonction suivante :

<?php

function mcache_array($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$memcache->delete($hash);

		$result = mysql_query($query);
		while ($row = mysql_fetch_object($result)) {
			$value[] = $row;
		}

		$memcache->set($hash,$value,NULL,$timeout);

	}

	if (!is_array($value)) $value = array();
	return $value;

}

?>

Ainsi, sur VDM et FML, nous mettons en cache principalement les données suivantes :

• Les données « statiques » des anecdotes (texte, auteur, etc.)
• Les totaux des votes sur les anecdotes (mis à jour à chaque vote sans appel à MySQL)
• Les ID des dernières anecdotes lues par les utilisateurs, pour afficher les « NEW »
• Certains rendus XML de l’API pour les applications mobiles

Au niveau des chiffres, voici des statistiques sur les 3 dernières semaines d’utilisation du serveur memcached :

• 900 connexions simultanées en permanence
• 90 000 connexions par jour
• 14,4 Mo écrits par seconde (via 622 requêtes en moyenne)
• 1,8 Go de données stockées en ce moment
• 6,9 millions de données stockées en ce moment
• 1,3 milliard de données stockées en tout

Comme d’habitude, n’hésitez pas à commenter pour plus d’informations, j’ai sûrement oublié beaucoup de choses. La semaine prochaine nous parlerons de serveurs Web.

Contrairement à ce que certains laissent penser, je fais quelque chose de mes journées. Je suis développeur Web, mais aussi administrateur système. Créer puis s’occuper de l’hébergement de sites comme VDM et FML n’arrive pas tous les jours, et j’ai gagné beaucoup d’expérience ces 12 derniers mois en montant une infrastructure qui accueille chaque jour plus de 3 millions de visiteurs.

L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Passons au premier sujet : Les serveurs MySQL.

Réplication circulaire

Mes sept petits bouts de chou.

Comme le montre le schéma, mes sept serveurs sont configurés en réplication circulaire. C’est à dire que chacun est maître et esclave à la fois (pas de connotations sexuelles ici, merci !). s1 est donc maître sur s2, mais il est esclave de s7.

Cette configuration a l’avantage de bien fonctionner derrière un load balancer puisque chaque serveur a le droit d’écriture. C’est donc transparent pour le développeur qui n’a qu’à renseigner l’IP du load balancer dans sa connexion à MySQL et travailler comme s’il n’avait qu’un seul serveur.

L’inconvénient est un inconvénient de taille. Comme les requêtes s’exécutent comme dans une ronde, si un serveur plante, toute la ronde est cassée et plus rien ne se réplique. Il faut donc avoir du bon matériel, et au cas où ça arrive quand même, agir très vite pour éviter que les utilisateurs ne râlent :)

Une petite astuce pour éviter que votre réplication ne s’arrête pour des raisons connes : Je fais ignorer par mes serveurs systématiquement les erreurs 1062 (nouvelle entrée avec le même ID) et 1053 (déclenchée quand le serveur maître s’éteint ou redémarre) :

slave-skip-errors=1062,1053

Pour diminuer les latences de réplication il est aussi important d’avoir un bon réseau…

Réseau VLAN

Au delà de l’onomatopée, un VLAN est l’abréviation de Réseau Local Virtuel (RLV ça le faisait pas, hein ?). Il permet de créer un réseau indépendant du reste des machines du réseau où est hébergée l’infrastructure. Concrètement chaque serveur possède deux interfaces physiques :

# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e2
          inet addr:91.191.146.199  Bcast:91.191.146.255  Mask:255.255.255.192

eth1      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e3
          inet addr:10.191.146.199  Bcast:10.191.146.255  Mask:255.255.255.0

eth0 a l’adresse IP 91.191.146.199 qui est atteignable de l’extérieur du réseau, alors que eth1 a l’adresse IP 10.191.146.199 qui est interne au VLAN et qui par conséquent ne peut communiquer qu’avec ses copines du même VLAN qu’elle.

Avoir ses serveurs en VLAN diminue donc la latence entre les serveurs, la réplication se fait plus rapidement et avec plus de sécurité puisqu’aucun paquet ne sort de votre réseau local. Deux avantages indéniables qui devraient vous faire quitter OVH choisir un hébergeur qui fait du VLAN ! En effet les réseaux virtuels se configurent au niveau des routeurs/switches, il faut donc choisir un hébergeur qui puisse le prendre en charge.

Disques SSD

Pour économiser un certain nombre de machines dans ma réplication circulaire et ainsi réduire le nombre de défaillances matérielles, j’ai très vite décidé d’utiliser du SSD pour héberger les données de mes bases. Au début j’ai eu des X25-M chez OVH (mon ancien hébergeur), qui est le moyen de gamme du SSD, puis je suis passé récemment au X25-E, la version haut de gamme, comme le montre ce benchmark par SD-France, mon gentil hébergeur :

Le X25-E dépasse largement tous ses concurrents en terme d’écriture et de lecture de disque. Cela assure évidemment un meilleur temps de réponse sur les requêtes, différence qui se ressent lorsque l’on traite 15 000 requêtes par seconde…

Les deux inconvénients de cette méthode :

• La capacité. La plus grande taille disponible est 64 Go, ce qui peut paraître beaucoup pour de simples bases de données, mais qui se remplit vite quand le site repose sur beaucoup d’anecdotes / commentaires et surtout votes.
• Le prix. Les disques SSD X25-E sont encore très chers, même s’ils économisent parfois de nouvelles machines, je me fais taper quand j’en demande des nouveaux :D

Optimisations

Comme le disque SSD est déjà pas mal occupé à traiter les requêtes SQL, la copie des résultats de SELECT sur les bases temporaires dans /tmp (configuration par défaut) est fortement ralentie. En parallèle la RAM n’est en général pas utilisée à fond. Il est donc judicieux d’utiliser la RAM restante comme espace pour les fichiers temporaires, grâce au système de fichier tmpfs :

mkdir /tmpfs
mount tmpfs /tmpfs -t tmpfs

Vérifiez que votre nouveau répertoire fonctionne correctement, puis modifiez la configuration de votre my.cnf pour la valeur suivante :

tmpdir = /tmpfs

Ne pas oublier de rajouter le montage du tmpfs dans votre /etc/fstab, pour éviter les problèmes au reboot :)

Avec tout ceci, nous arrivons à traiter vaguement ces quelques données :

• 2 millions d’anecdotes, 8000 nouvelles par jour
• 1,7 million de commentaires, 5000 nouveaux par jour
• 630 millions de votes, 850 000 nouveaux par jour

Voilà mes petits pandas, je pense avoir couvert pas mal des aspects principaux « caractéristiques » de l’infrastructure au niveau de MySQL. Mais j’ai sûrement oublié beaucoup de choses, alors n’hésitez pas si vous avez des questions.

Pas de date pour le prochain article mais j’espère la semaine prochaine.

Ce billet est en forme d’une note de service, j’ai fait quelques améliorations hier, listées ci-dessous :

• Amélioration de la rapidité lors du marquage d’un épisode.
• Amélioration de la notation (même s’il y a toujours des bugs d’affichage à résoudre).
• Alertes par mail lorsqu’une nouvelle saison d’une série suivie démarre.
• Les icônes des sous-titres varient en fonction des sources (vert = Seriessub, bleu = Sous-titres.eu, marron = TVSubtitles ;)).
• Ajout des dernières séries mises à jour sur la page d’accueil.

J’aimerais aussi revoir un peu l’ergonomie générale du site, même si c’est une chose difficile, considérant tout le JavaScript qui s’y promène. Si vous êtes un utilisateur de BetaSeries et que vous lisez ceci, faites-moi part de vos suggestions en commentaires, je verrai si je peux y faire quelque chose :)

PS : Pour ceux qui attendaient un cinquième volet du pot très pourri, je suis désolé, la série s’arrêtera sur l’Epic Win de la semaine dernière. Je ne pourrai jamais reproduire un tel phénomène, il faut savoir s’arrêter en pleine gloire.

J’ai fait une capture d’écran pour pouvoir travailler
plus facilement dessus, au cas où il soit supprimé Internet soit coupé

Les liens qui vont bien :

• L’article sur le blog Presse-Citron
• L’article sur le cache Google
• L’article sur le cache archive.org

Le seul problème réside dans le fait que je n’ai pas eu le temps de relire son oeuvre avant la parution, et celle-ci comporte plusieurs inexactitudes. Je me permets donc de recopier une version corrigée par mes soins de mon autobiographie ci-dessous.

Mise à jour : Réponses audio d’Eric à mes commentaires ! Merci l’ami !

Bonjour,

Je m’appelle Maxime Valette et je suis une star du web.

Jusque là, ça va, c’est à peu près correct, même si j’aime bien mettre mon nom de famille en majuscules comme les titres de blogs geek et high tech.

Réponse d’Eric

Avant, je n’avais pas une vie très passionnante, et comme je m’ennuyais j’ai eu une idée : faire un site autobiographique. J’ai donc créé « VDM » (Vie De Merde), qui est un peu l’histoire de ma vie.

Bon pour ce côté-là, je t’avais demandé de t’inspirer de la FAQ du site car tout le truc « comment ça vous est venu » on me le demande souvent. Cependant le site était autobiographique au début, maintenant tout le monde tente de copier mon style et ma vie pour pouvoir être publié !

Réponse d’Eric

Ce site a rencontré tout de suite un grand succès. Le vécu y a que ça de vrai. Certaines mauvaises langues disent que je n’ai que « vaguement participé » à VDM et ça me met dans une colère noire car c’est rien que des mensonges.

Eric, roh, t’es un sacré déconneur ! Se traiter soi-même de mauvaise langue c’est mignon, j’aurais plutôt écrit « stars des blogs » pour remettre dans le contexte. Cependant faire une négation pour en oublier une autre, t’as abusé sur la syntaxe.

Réponse d’Eric

Cela dit, depuis ma vie n’a pas beaucoup changé. Je m’ennuie autant qu’avant, mais maintenant je suis payé pour le faire (par Vie De Merde, qui est fortement sponsorisé par la publicité). C’est génial car ça me permet de m’acheter plein de Biactol.

J’étais déjà payé pour m’ennuyer avant en fait, ça s’appelle le travail efficace, et l’ennui c’est ma passion. Pour le Biactol, je t’avais dit, j’ai changé depuis qu’ils ont augmenté le prix, je suis passé à Eau Précieuse.

Réponse d’Eric

Je suis même passé à la télévision, et les plus grands blogs m’ont fait l’honneur de publier plusieurs articles où ils disent plein de choses gentilles sur VDM. Je leur dois une bonne partie du succès du site, mais comme je déteste les blogueurs (enfin surtout ceux qui sont plus connus que moi) j’évite de le dire trop fort. D’ailleurs cracher dans la soupe est un de mes passe-temps favoris, ça me donne l’impression d’exister.

Tu peux laisser le « mauvaise langue » finalement, car tu t’es bien rattrapé sur le « fait l’honneur », au temps pour moi, j’aurais dû tout lire avant. C’est vrai que d’avoir écrit « le meilleur concept depuis Digg », tu le regrettes maintenant, non ? Le blog c’est comme Twitter, rien ne se perd !

L’article original

Et puis je ne suis pas blogueur, et si je pouvais disparaître ça serait pas mal, je ne vis pas de mes followers ou de mon nombre de tweets, t’as dû déconner en reprenant un bout de ta propre autobiographie.

Réponse d’Eric

On me dit que j’ai un pris la grosse tête et que le succès interplanétaire de Vie De Merde est juste un coup de chance. Les gens qui disent ça sont des méchants (ou des adultes, ou les deux parce-que ça va souvent ensemble), et j’ai décidé de m’auto-investir d’une mission : purifier le web de tous les mécréants. Chez moi à Reims on m’appelle le Milosevic de la Marne.

T’en as trop dit là, je t’avais précisé de ne pas l’écrire quand on s’est parlé… Le problème c’est que moi aussi je suis un adulte, bon je n’ai pas 44 ans mais on n’accélère pas le temps, donc je travaille / m’ennuie jusqu’à ce jour où j’aurai enfin de la crédibilité grâce à ma date de naissance. Ce jour là j’aurai ma photo en favicon de mon blog, et je pourrai mettre des pubs pour des sites pornos à droite.

Pour mon surnom à Reims c’est plutôt Richard Cœur de Lion, en raison de ma grande bravoure sur un ordinateur.

Réponse d’Eric

Pour cela, comme j’ai beaucoup de temps, je le passe à visiter les sites des autres, à scruter leur code-source, puis à en dire du mal. J’ai même créé un site exprès rien que pour ça, et j’espère bien figurer rapidement en tête du classement Wikio des hate-blogs.

Hmm t’as pas bien compris non plus ! Je visite tous les sites en code source, les réinterpréter dans ma tête ça me fait passer le temps entre deux clashes Twitter. Et puis je n’ai jamais trop aimé Wikio, mais être dans le top 10 me permettrait de me faire payer un avocat si j’ai des soucis, j’avoue.

Réponse d’Eric

C’est vous dire comment mes journées sont longues. Bien sûr je ne fais cela que derrière mon écran car dans la vraie vie j’ai un peu du mal à assumer, mais ça plait beaucoup à mes fans, comme mon ami Gonzague ou mon idôle Soymalau qui me font plein de RT sur Twitter.

Gonzague et Soymalau sont mes amis, et je suis leur idole (pas de circonflexe, Ricky !), c’est important de préciser. Et je n’assume pas que derrière mon écran, j’assume derrière mes 5 écrans, voire l’écran de mon iPhone aussi, et celui de mon Macbook Pro. C’est dire si j’assume à mort.

Réponse d’Eric

Sinon, de temps en temps je pratique la délation, je tiens aussi des propos racistes sur les réseaux sociaux, et je monte des vidéos super marrantes avec Hitler dans le rôle principal, un autre grand Purificateur.

Au moins je n’ai rien à redire sur l’introduction et la conclusion, elles sont parfaites. Ça fait un peu Godwin quand même par moments, faudrait revoir le vocabulaire. Voir de la propagande Nazi dans la reprise d’un mème Internet qui a fait le tour du monde, à part se sentir concerné par les sous-titres je ne comprends pas bien !

Pour ceux qui ne connaissent pas bien mon collègue Eric Dupin, vous pourrez retrouver son autobiographie complète et exacte chez Gonzague.

L’aventure VDM ayant commencé sur l’ancêtre de ce blog deux ans auparavant, ce n’est qu’un juste retour des choses de vous délivrer aujourd’hui, en remerciement, quelques histoires sur les débuts du site.

1. Je n’ai jamais acheté viedemerde.fr. Il y avait une opération « .fr gratuits » chez OVH pour promouvoir l’ouverture aux particuliers. J’en ai pris un paquet à l’époque, dont celui-là, en référence à notre channel IRC #viedemerde. L’article de présentation est d’ailleurs toujours lisible dans les archives de mon blog.

2. Le slogan de VDM « Ma vie c’est de la merde et je vous emmerde » est une contraction de mes deux principales influences Canal + : Les robins des bois (« Ma vie c’est de la merde et je l’échangerais bien avec celle du roi du Maroc »), et la chanson « Je vous emmerde » de Katerine qui était le générique d’une émission d’Edouard Baer si je ne m’abuse.

3. Au début il n’y avait qu’un vote « Je valide, tu as une vie de merde ». Le terme « je valide » est une expression en référence au jeu La Cible, où quand tu zappais le midi tu tombais sur un mec devant un pupitre qui te dit « Avion, Chouette, Alain Madelin, Cheeseburger… Je valide ».

4. Le deuxième vote « Tu l’as bien mérité » ne s’appelait à l’origine pas comme ça… Pendant une semaine je l’avais nommé « Bien fait pour sa gueule ». Puis on m’a dit que c’était peut-être un peu trop violent, alors on a vite trouvé un remplaçant un peu plus corporate.

5. La première version était basée sur un outil de micro-blogging open source. Par conséquence les sources de cette version sont toujours disponibles, avec énormément de bugs corrigés et le mode soumission / multi-auteurs. En revanche j’ai laissé les fautes d’orthographe dans le CSS, pour le fun !

6. Otto, le créateur du site Chauffeurdebuzz.com m’a appelé en Avril 2008 pour me convaincre pendant 45 minutes que ce buzz ne durerait encore que quelques semaines. Evidemment il voulait quand même racheter le site, pour une somme avoisinant le chiffre d’affaires d’un mois… Il m’a bloqué sur Twitter depuis que j’ai refusé, en divulguant des infos « qu’il ne répètera à personne » :)

« C’est affreux ton site !!! »
— Notre régie publicitaire, le 4 mars 2008.

7. J’ai mis un mois et demi à convaincre la régie avec qui je travaillais depuis des années que le site pourrait rapporter un peu d’argent, en insistant sur le fait qu’on ne changerait pas la forme du site pour mettre des carrés ou des pop-ups. Maintenant nous sommes leur plus gros client.

8. Mettre ou non des commentaires était le plus gros débat interne aux débuts de VDM. On croulait déjà sous les anecdotes à modérer (il n’y avait pas l’auto-modération à l’époque). On a fini par tenter le coup à l’arrache. Maintenant on s’en fout il y a Julien pour tout lire !

9. Le jour où nous sommes passés sur Canal +, la préparation de l’émission était complètement en retard car ils avaient passé leur après-midi à lire le site, et à en inventer pour les passer le soir après notre passage.

10. Après notre passage au grand journal nous avons reçu nos plus beaux mails d’insultes. Je vous les copie en intégralité. Sur le premier vous verrez comment il compense son manque de style intellectuel par du style artificiel, ça relève du traumatisme typique du 21è siècle :)

Le second est nettement plus drôle, enfin, on n’a jamais eu le fin mot de l’histoire.

J’espère que maintenant vous serez content de délivrer du VDM fun fact pour briller en société. En ce qui concerne la mienne, de société, j’espère que l’on pourra fournir autant de travail ces 12 prochains mois que ce qu’on a fait en 24, l’objectif est osé mais toujours réalisable. Merci encore !

J’avais fait partie des early adopters de Remember The Milk, à l’époque où Loïc Le Meur en parlait sur son blog (maintenant il n’a plus de blog, pauvre de nous). A l’époque, RTM était loin de faire l’unanimité dans mon cerveau, puisque toute sa puissance réside bien ailleurs que sur le service lui-même.

Autant l’interface Web est aguichante, autant sur le concept je ne trouve pas ça pratique d’avoir tout le temps une fenêtre ouverte sur ses tâches. Après tout, mon client mail est déjà ouvert en permanence, il y aurait une redondance évidente. Seulement depuis quelques temps, RTM a développé sa vraie force : Une API et de vraies applications crées autour d’elle.

J’ai ainsi organisé ma todo-list RTM de la manière suivante :

• Sur mon bureau : J’ai installé le gadget Gmail Labs ce qui me permet de garder un oeil sur les mails en même temps que sur mes listes en permanence, sans perdre de place pour une fenêtre supplémentaire.
• Sur mon iPhone : J’ai téléchargé l’application RTM for iPhone, elle est aussi disponible en version Web. Elle a gagné un Apple Design Award en 2008 ce qui me dispense de disserter sur son ergonomie.

Grâce à ces deux services mes listes sont synchronisées en permanence.

Au final, la beauté de Remember The Milk réside dans le fait que je n’utilise jamais leur interface Web (sauf pour renouveler mon abonnement), mais tous les services autour de son API. Petit bémol si vous souhaitez utiliser la version iPhone ou Android, elle est réservée aux abonnés Pro, ce qui vous en coûtera $25 par an. Si vous ne voulez pas utiliser ces services mobiles, RTM est gratuit pour la vie !

Lien : Remember The Milk (Inscription)

Il est aux alentours de 14h30, je travaillais comme à l’accoutumée sur mon bureau de geek, lorsque soudain, coupure de courant. Mon côté parano étant assez exacerbé, j’avais prévu le coup avec un onduleur qui m’a permis de sauver mon travail avant d’éteindre la machine. Ce qui m’a intrigué au premier abord était le fait que le modem continuait à fonctionner, alors qu’en général une coupure temporaire ferait au moins couper la ligne téléphonique dans le même temps.

Prenant au début cette coupure pour une coupure globale temporaire, je décide de prendre mon mal en patience et de faire les quelques courses de Noël qu’il me restait à effectuer. La foule aidant, je reviens une bonne demi-heure plus tard chez moi, avec ce même constat : L’électricité n’est toujours pas revenue. Cela commençait un peu à m’inquiéter ; sachant que la nuit tombera dans l’heure qui suit, il a fallu que je prenne les choses en main.

Je ressors rapidement de mes classeurs ma dernière facture EDF pour avoir la référence client que je ne manquerai pas de mentionner à moultes reprises. Je commence par appeler ERDF qui me fait faire les bons tests de base sur le disjoncteur afin d’éviter toute intervention inutile, ce qui est donc plutôt normal, bien que dans mon cas je savais que le disjoncteur n’avait aucun problème, d’où mon inquiétude grandissant avec la nuit. Le technicien, très cordial, finit par regarder le numéro de mon appartement pour énoncer un laconique : « Votre fournisseur vous a coupé l’électricité volontairement ». Gasp.

EDF vous souhaite un joyeux Noël.
(Cette photo a été réalisée grâce à l’éclairage d’un Macbook Pro en fin de batterie)

Il est donc temps pour moi d’appeler la redoutable et redoutée d’entre tous les services clients : La conseillère aigrie des coupures d’électricité injustifiées. Préparant mon coup, je tente l’approche psychologique en commençant par dire que quoiqu’il arrive ça ne sera pas de sa faute, que l’énervement ne résoudra rien et qu’il est dans notre intérêt commun de trouver une solution rapidement. Note pour plus tard : Ça marche.

Après vérifications auprès de ma fameuse référence client, le constat est sans appel : Je paie depuis 4 mois l’électricité de mon ancien appartement. Je ne pouvais pas le savoir, puisque le prélèvement était inchangé jusqu’à la fin de l’année. J’arrive à la conclusion que le conseiller EDF qui s’est occupé de mon déménagement n’a jamais fini la procédure, et ne m’en a jamais averti. Ayant reçu un e-mail de confirmation pour le changement de contrat, il aurait été compliqué pour moi de le deviner.

La conseillère m’aide à résoudre ces différents problèmes administratifs en antidatant le déménagement au 1er septembre, comme il était prévu sur le contrat désormais fantôme. Je vous passerai les détails des questions ironiques sur mon équipement électroménager alors qu’il commençait sérieusement à faire froid dans mon appartement. Une fois ces détails réglés, il ne restait plus qu’à prendre un rendez-vous de rétablissement de ligne… Pour dans 6 jours ! Congés des techniciens obligent.

C’est à ce moment-là que j’ai pu jovialement réutiliser le social engineering mis en place dès le début de mon appel. La conseillère avait un affect sur mon problème, il fallait que je m’en serve. Après avoir vu avec sa supérieure, elle finit par me proposer un rendez-vous express dans les prochaines 48 heures. Conditions cependant : l’intervention sera payante, et ne se fera peut-être pas, si les techniciens ont trop de travail pour daigner s’occuper de ma ligne, le rendez-vous reste fixé au lundi 28 décembre, soit 6 jours après la coupure volontaire.

Une question demeure : Pourquoi la trêve hivernale ne s’applique pas aux besoins de base comme l’électricité ? Couper la lumière et le chauffage, deux jours avant les vacances des techniciens, ça relève du vice pur et simple. Même mon agence pensait que c’était impossible.

Et quand bien même la coupure puisse-t-elle être légitime, il reste choquant de se voir couper l’électricité sans aucune lettre de rappel, que ce soit à la porte de l’appartement, sur la boîte aux lettres, ou même directement au propriétaire qui est censé savoir ce qui se passe dans son bien.

Les prochains jours nous diront si je passerai Noël dans le froid et dans le noir.

L’hébergement des différents sites de ma société (en somme, VDM et ses déclinaisons linguistiques) est entièrement géré par SD France au niveau matériel, et par votre serviteur au niveau logiciel / administration système. La question qui s’est donc rapidement posée une fois que tout était mis en place fut celle de la surveillance de toutes ces machines, autrement appelée le monitoring.

Les premiers termes qui viennent à l’esprit lorsque l’on parle de monitoring sont Nagios, MRTG, et autres RRDTool, qui sont les outils les plus populaires dans la surveillance en réseau. Pour ma part je les ai trouvés bien trop complexes pour les quelques données dont j’avais besoin au quotidien, c’est pour cela que je me suis orienté sur une solution maison que je vais vous décrire ci-dessous.

Côté serveur

Même si tout un écran peut sembler important niveau espace, lorsque l’on parle de 27 serveurs à monitorer individuellement, il faut se montrer efficace. Il a donc fallu identifier les points-clés à surveiller. J’ai choisi les suivants :

• Etat de la réplication MySQL : Point névralgique évident lorsque l’on parle de réplication circulaire master-master. Si un des serveurs ne réplique plus, toute la boucle est endommagée immédiatement.
• Secondes de retard MySQL : Ce n’est pas précisément le temps de retard d’une réplication par rapport à son maître, il s’agit plus précisément de la différence entre le temps actuel et l’heure indiquée sur le log que l’esclave est en train de répliquer. Cela reste cependant un bon indicateur de l’état de santé de la réplication.
• Connexions Apache : Permet de savoir en permanence les connexions à un instant t sur le cluster Web, ainsi que les types de connexions (lecture, écriture, slot inactif).
• Statut du serveur Memcache : Le serveur memcache est assez sollicité pour stocker de manière centralisée les sessions PHP du cluster, ainsi que certaines données des sites.
• Modifications sur le FTP : Plusieurs personnes travaillant sur le FTP, il est parfois utile de savoir quels ont été les derniers fichiers modifiés lorsque survient un problème inexplicable par le simple état des machines. J’ai codé un script qui établit automatiquement un diff du fichier uploadé versus le fichier original, pour plus de lisibilité.

Une fois ces points identifiés avec succès, il a fallu coder les agents qui enverront les données à un serveur central (j’ai dédié un serveur au monitoring). Ces agents envoient actuellement les informations toutes les 5 secondes via le réseau local sur une interface VLAN. Je les ai codés en PHP ou en Perl selon l’inspiration du moment. C’est un serveur Web qui récolte les données et peuple une base MySQL, mais peu importe le langage du moment que les variables sont renseignées dans la base de données.

Côté client

Ma base se peuple maintenant à la vitesse de la lumière (ou du cuivre, selon le degré de poésie). Il faut maintenant développer l’interface qui affichera les données en temps réel sur mon écran de droite.

Par pure déformation professionnelle, j’ai encore tâté de l’HTML. Les connexions à Apache que vous voyez ci-dessus ainsi que les secondes de retard MySQL plus bas ont été réalisées via l’excellente librairie Flash Amcharts que j’avais déjà utilisée auparavant. Cette librairie crée des graphiques en Flash à la volée, au moyen de fichiers XML ou CSV, et permet aussi de rafraîchir ses données à intervalles de temps réguliers.

Concernant les données qui ne nécessitent pas de vision en fonction du temps, j’ai tout simplement utilisé de l’AJAX (avec jQuery) qui permet par exemple de rafraîchir l’état de la réplication MySQL et d’afficher l’erreur explicite en cas de panne. J’ai aussi utilisé cette technique pour afficher les dernières modifications du serveur FTP.

Enfin, comme le résultat donne une page Web, j’avais besoin qu’elle se comporte comme une véritable application, afin d’éviter qu’elle se ferme lorsque je devais redémarrer Safari, ou tout simplement pour pouvoir placer la fenêtre de manière permanente en plein écran sur la droite. J’ai utilisé comme à chaque fois Fluid qui permet tout cela, et même bien plus avec ses librairies Javascript intégrées (vous pouvez par exemple mettre des badges ou des notifications Growl très simplement).

Et quand t’es dehors ?

Avoir un smartphone est forcément indispensable, dans mon cas c’est un iPhone. Vous n’êtes pas sans savoir qu’il ne gère pas le Flash, et quand bien même il le gérerait, ce serait trop lourd pour vérifier d’un coup d’oeil l’état de mes serveurs en Edge ou en Wap. J’ai donc codé une page HTML avec les entêtes HTML qui vont bien pour que l’iPhone considère ça comme une application à part entière :

<meta name="robots" content="noindex" />
<meta name="viewport" content="width=device-width; initial-scale=1.0; maximum-scale=1.0; user-scalable=no;"/>
<meta http-equiv="cache-control" content="no-cache"/>
<meta name="format-detection" content="telephone=no" />
<meta content="yes" name="apple-mobile-web-app-capable" />
<META http-equiv="Content-Type" content="text/html; charset=UTF-8">
<link rel="apple-touch-icon" href="/mgmt.png"/>
<script type="text/javascript">
	addEventListener(
		"load",
		function() {
		setTimeout(hideURLbar, 0);
		setTimeout('window.location.reload(true)', 5000);
		}, false
	);
	function hideURLbar() { window.scrollTo(0, 1); }
</script>

La page se rafraichit automatiquement toutes les 5 secondes pour me permettre de supprimer totalement la barre d’adresse de l’écran de contrôle.

J’ajoute à côté du screen une autre application qui s’appelle HostMonitor [iTunes], très pratique pour simplement tester des ports sur des machines distantes, le tout sous forme de groupes. Utile si vous voulez juste jeter un oeil sur l’état de santé de votre réseau.

       
Le monitoring version iPhone, et HostMonitor.

Un autre outil que j’utilise (mais moins souvent), c’est iStat. Cette application se présente sous la forme d’un client iPhone et de serveur à installer sur tous les ordinateurs que vous souhaitez monitorer. L’avantage est qu’il marche sur Linux aussi bien que sur Mac, avec seulement un port TCP à ouvrir sur chaque serveur. Le détail des paramètres système est paramétrable.

       
iStat en action.

Concernant l’installation sur des serveurs Linux, le code source est disponible sur Google Code. Une bonne âme a créé un paquet Debian à partir de ces sources, elle s’appelle Marius (iStat My Linux on My Phone) et le lien se trouve en bas de son article. Un coup de dpkg -i plus tard et vous avez un serveur iStat sur votre Debian (pensez aussi à éditer le /etc/istat.conf si vous ne souhaitez pas que tout le monde connaisse vos stats).

Voilà pour le billet promis, désolé si j’ai mis un peu de temps à le rédiger, et pour la consistance finale de l’article, mais j’ai eu du mal à trouver une meilleure présentation. Comme d’habitude, si vous avez des questions, je tenterai d’y répondre avec mon humble expérience.

Le contenu des écrans n’est pas représentatif !

On m’a accusé de temps à autres d’avoir cette configuration uniquement pour la frime, et n’en avoir aucune utilité dans la réalité. Voici donc un « petit » article pour expliquer comment avoir 5 écrans augmente ma productivité.

Le matériel

Seuls les deux LaCie ont été achetés pour l’occasion, les trois autres écrans étaient déjà en ma possession. Leur choix n’est pas spécialement primordial, les miens sont assez grands, ce qui au final est plutôt agréable si vous avez la place.

• Au centre : Acer P244W (24″ 16:9)
• A gauche et à droite : LaCie 324 (24″ 16:10)
• Aux extrémités : Acer AL2216W (22″ 16:10)

Vous aurez judicieusement remarqué que les deux écrans aux extrémités n’avaient pas la place pour reposer sur la table, j’ai donc utilisé deux bras Ergotron pour les accrocher en l’air. Ce sont des bras assez chers mais qui valent vraiment le coup, pour avoir essayé leur équivalent « noname » auparavant, ça n’a rien à voir niveau qualité de fabrication.

L’ordinateur qui supporte tout cela peut aussi être n’importe quelle tour bien configurée, dans mon cas c’est un Mac Pro, avec trois cartes graphiques évidemment, pour pouvoir supporter les 5 sorties vidéo.

Le logiciel

La première réflexion qui vient souvent à l’esprit lorsque je parle de ma configuration c’est : « Ça ne t’arrive pas de perdre ta souris ? ». La réponse est si, bien sûr ! Mais il y a quelques astuces pour naviguer efficacement dans un espace aussi grand.

C’est là où les raccourcis clavier viennent à la rescousse de votre productivité :-) J’ai choisi d’utiliser Keyboard Maestro après en avoir testé quelques autres, je ne sais pas si celui-là est le meilleur mais il m’a pleinement satisfait depuis un peu plus d’un an. Ce logiciel me sert à deux choses : reconfigurer certaines touches de mon Mac pour qu’elles réagissent comme un clavier Windows (un an et demi après avoir switché, je suis toujours persuadé que le clavier AZERTY est mieux pour coder), et ajouter des raccourcis pour accéder rapidement à n’importe quelle application située sur mes écrans.

Ces raccourcis clavier sont dits globaux, c’est à dire qu’ils fonctionnent peu importe l’application où vous vous trouvez sur votre ordinateur.

Au-delà de ça, j’ai aussi pris l’habitude de remettre ma souris au centre de l’écran principal avant d’éteindre mes écrans. :D

Passons maintenant au contenu des écrans à proprement parler.

Au centre

Certainement la partie la moins intéressante, l’écran du milieu me sert à coder (il vaut mieux le faire au centre, ça évite les torticolis), et à naviguer sur le Web, quelques terminaux SSH de temps en temps, rien d’autre.

A gauche

J’utilise l’écran de gauche pour iTunes (que j’utilise en permanence en travaillant), Adium (messagerie instantanée sous Mac), Gmail (via Mailplane).

A droite

La télécommande EyeTV de l’écran tout à gauche (voir paragraphe ci-dessous), quelques bidouilles faites avec GeekTool, Tweetie, et Google Wave, mais vu l’inutilité grandissante de ce dernier, je pense le remplacer par un autre logiciel encore à déterminer. J’utilise l’espace quand j’ai des SSH à monitorer ponctuellement.

Les extrémités

De part leurs emplacements dans mon champ de vision, il était impossible d’envisager des écrans où je serais actif dessus. Les deux écrans me servent d’écran de « contrôle ». A droite, j’ai le monitoring de mes serveurs (qui est néanmoins primordial puisque c’est mon métier), quant à l’écran de gauche il me sert pour la télévision, souvent les infos mais aussi les reportages qu’on peut regarder d’un oeil tout en travaillant :-)

Mon monitoring, qui fera sans doute l’objet d’un autre article.

J’ai essayé de ne pas trop vous encombrer de détails sur la description de ma configuration de travail. Je concluerai en disant qu’il ne faut pas croire que c’est parce que vous avez 5 écrans que vous multiplierez votre productivité par 5, mais en s’habituant un peu, les avantages s’en font vite sentir. Si vous avez des questions (ou des conseils), laissez-moi un commentaire !