L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Aujourd’hui, parlons de Memcache.

Présentation de memcached

Comme nous l’avons vu la semaine dernière, les serveurs de données sont bien remplis en données diverses et variées, que ce soit des votes, des anecdotes, les informations de connexion. Beaucoup de données, dont une partie est redondante. Mais pas la totalité de la page puisque chaque anecdote est votée, impossible donc de cacher toute la page.

Un serveur memcached (d pour daemon) est un serveur léger qui permet de stocker temporairement des données en RAM. Si léger qu’il ne dispose d’aucun système d’identification pour accéder ou modifier ces données, donc faites bien attention à ne faire écouter le serveur qu’en local si vous installez un jour une telle solution pour votre serveur.

Son utilisation sur VDM

La technologie memcached permet donc de stocker n’importe quel type de données. Il sert souvent par exemple sur des clusters de serveurs Web pour centraliser les sessions PHP. On peut donc facilement en tirer profit pour mettre en cache plusieurs informations du site, et ainsi soulager de manière significative les serveurs MySQL.

One server to rule them all.

La problématique est maintenant la mise en place de cette solution sur le code PHP existant de VDM. PHP possède une extension Memcache qui permet d’implémenter facilement une solution de cache.

La solution que j’ai retenue est résumée dans le code suivant. Les requêtes SQL sont transformées en hash MD5 pour le nom de la clé, et l’objet du résultat de la requête est stockée en cache, avec un cache par défaut d’une heure (3600 secondes). De cette manière, si la clé n’existe pas sur le serveur memcached, la requête est automatiquement exécutée et le résultat stocké.

<?php

$memcache = new Memcache();
$memcache->pconnect("127.0.0.1","9000");

function mcache($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$result = mysql_query($query);
		$value = mysql_fetch_object($result);
		$memcache->set($hash,$value,NULL,$timeout);

	}

	return $value;

}

function mcache_set($query,$value,$timeout=3600) {

	global $memcache;

	$hash = md5($query);

	$value = $memcache->set($hash,$value,NULL,$timeout);

	return $value;

}

function mcache_delete($query) {

	global $memcache;

	$hash = md5($query);
	$value = $memcache->delete($hash);

	return $value;

}

?>

Grâce à ces fonctions nous avons conservé toutes nos requêtes, et pouvons utiliser de manière transparente soit Memcache soit MySQL. Plus pratique pour pouvoir synchroniser rapidement les données entre les deux serveurs, en plus d’avoir facilité la migration vers Memcache.

Exemple d’utilisation :

<?php

/* Je suis un nul alors je mets pas de mot de passe en root */
mysql_connect("localhost","root","");
mysql_select_db("base");

/* La requête MySQL normale sans cache */
$result = mysql_query("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");
$row = mysql_fetch_object($result);

/* La requête avec le cache Memcache */
$row = mcache("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");

?>

Grâce aux fonctions mcache() et consorts, on peut donc sans trop de difficultés alléger le travail des serveurs de bases de données. Si vous avez besoin de mettre en cache un tableau de résultats, vous pouvez utiliser la fonction suivante :

<?php

function mcache_array($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$memcache->delete($hash);

		$result = mysql_query($query);
		while ($row = mysql_fetch_object($result)) {
			$value[] = $row;
		}

		$memcache->set($hash,$value,NULL,$timeout);

	}

	if (!is_array($value)) $value = array();
	return $value;

}

?>

Ainsi, sur VDM et FML, nous mettons en cache principalement les données suivantes :

• Les données « statiques » des anecdotes (texte, auteur, etc.)
• Les totaux des votes sur les anecdotes (mis à jour à chaque vote sans appel à MySQL)
• Les ID des dernières anecdotes lues par les utilisateurs, pour afficher les « NEW »
• Certains rendus XML de l’API pour les applications mobiles

Au niveau des chiffres, voici des statistiques sur les 3 dernières semaines d’utilisation du serveur memcached :

• 900 connexions simultanées en permanence
• 90 000 connexions par jour
• 14,4 Mo écrits par seconde (via 622 requêtes en moyenne)
• 1,8 Go de données stockées en ce moment
• 6,9 millions de données stockées en ce moment
• 1,3 milliard de données stockées en tout

Comme d’habitude, n’hésitez pas à commenter pour plus d’informations, j’ai sûrement oublié beaucoup de choses. La semaine prochaine nous parlerons de serveurs Web.

Contrairement à ce que certains laissent penser, je fais quelque chose de mes journées. Je suis développeur Web, mais aussi administrateur système. Créer puis s’occuper de l’hébergement de sites comme VDM et FML n’arrive pas tous les jours, et j’ai gagné beaucoup d’expérience ces 12 derniers mois en montant une infrastructure qui accueille chaque jour plus de 3 millions de visiteurs.

L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Passons au premier sujet : Les serveurs MySQL.

Réplication circulaire

Mes sept petits bouts de chou.

Comme le montre le schéma, mes sept serveurs sont configurés en réplication circulaire. C’est à dire que chacun est maître et esclave à la fois (pas de connotations sexuelles ici, merci !). s1 est donc maître sur s2, mais il est esclave de s7.

Cette configuration a l’avantage de bien fonctionner derrière un load balancer puisque chaque serveur a le droit d’écriture. C’est donc transparent pour le développeur qui n’a qu’à renseigner l’IP du load balancer dans sa connexion à MySQL et travailler comme s’il n’avait qu’un seul serveur.

L’inconvénient est un inconvénient de taille. Comme les requêtes s’exécutent comme dans une ronde, si un serveur plante, toute la ronde est cassée et plus rien ne se réplique. Il faut donc avoir du bon matériel, et au cas où ça arrive quand même, agir très vite pour éviter que les utilisateurs ne râlent :)

Une petite astuce pour éviter que votre réplication ne s’arrête pour des raisons connes : Je fais ignorer par mes serveurs systématiquement les erreurs 1062 (nouvelle entrée avec le même ID) et 1053 (déclenchée quand le serveur maître s’éteint ou redémarre) :

slave-skip-errors=1062,1053

Pour diminuer les latences de réplication il est aussi important d’avoir un bon réseau…

Réseau VLAN

Au delà de l’onomatopée, un VLAN est l’abréviation de Réseau Local Virtuel (RLV ça le faisait pas, hein ?). Il permet de créer un réseau indépendant du reste des machines du réseau où est hébergée l’infrastructure. Concrètement chaque serveur possède deux interfaces physiques :

# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e2
          inet addr:91.191.146.199  Bcast:91.191.146.255  Mask:255.255.255.192

eth1      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e3
          inet addr:10.191.146.199  Bcast:10.191.146.255  Mask:255.255.255.0

eth0 a l’adresse IP 91.191.146.199 qui est atteignable de l’extérieur du réseau, alors que eth1 a l’adresse IP 10.191.146.199 qui est interne au VLAN et qui par conséquent ne peut communiquer qu’avec ses copines du même VLAN qu’elle.

Avoir ses serveurs en VLAN diminue donc la latence entre les serveurs, la réplication se fait plus rapidement et avec plus de sécurité puisqu’aucun paquet ne sort de votre réseau local. Deux avantages indéniables qui devraient vous faire quitter OVH choisir un hébergeur qui fait du VLAN ! En effet les réseaux virtuels se configurent au niveau des routeurs/switches, il faut donc choisir un hébergeur qui puisse le prendre en charge.

Disques SSD

Pour économiser un certain nombre de machines dans ma réplication circulaire et ainsi réduire le nombre de défaillances matérielles, j’ai très vite décidé d’utiliser du SSD pour héberger les données de mes bases. Au début j’ai eu des X25-M chez OVH (mon ancien hébergeur), qui est le moyen de gamme du SSD, puis je suis passé récemment au X25-E, la version haut de gamme, comme le montre ce benchmark par SD-France, mon gentil hébergeur :

Le X25-E dépasse largement tous ses concurrents en terme d’écriture et de lecture de disque. Cela assure évidemment un meilleur temps de réponse sur les requêtes, différence qui se ressent lorsque l’on traite 15 000 requêtes par seconde…

Les deux inconvénients de cette méthode :

• La capacité. La plus grande taille disponible est 64 Go, ce qui peut paraître beaucoup pour de simples bases de données, mais qui se remplit vite quand le site repose sur beaucoup d’anecdotes / commentaires et surtout votes.
• Le prix. Les disques SSD X25-E sont encore très chers, même s’ils économisent parfois de nouvelles machines, je me fais taper quand j’en demande des nouveaux :D

Optimisations

Comme le disque SSD est déjà pas mal occupé à traiter les requêtes SQL, la copie des résultats de SELECT sur les bases temporaires dans /tmp (configuration par défaut) est fortement ralentie. En parallèle la RAM n’est en général pas utilisée à fond. Il est donc judicieux d’utiliser la RAM restante comme espace pour les fichiers temporaires, grâce au système de fichier tmpfs :

mkdir /tmpfs
mount tmpfs /tmpfs -t tmpfs

Vérifiez que votre nouveau répertoire fonctionne correctement, puis modifiez la configuration de votre my.cnf pour la valeur suivante :

tmpdir = /tmpfs

Ne pas oublier de rajouter le montage du tmpfs dans votre /etc/fstab, pour éviter les problèmes au reboot :)

Avec tout ceci, nous arrivons à traiter vaguement ces quelques données :

• 2 millions d’anecdotes, 8000 nouvelles par jour
• 1,7 million de commentaires, 5000 nouveaux par jour
• 630 millions de votes, 850 000 nouveaux par jour

Voilà mes petits pandas, je pense avoir couvert pas mal des aspects principaux « caractéristiques » de l’infrastructure au niveau de MySQL. Mais j’ai sûrement oublié beaucoup de choses, alors n’hésitez pas si vous avez des questions.

Pas de date pour le prochain article mais j’espère la semaine prochaine.

C’est un travail gigantesque qui a été accompli par cette équipe de Facebook. Même si dans l’absolu peu de gens en auront réellement besoin pour leurs sites PHP ; la plupart du temps l’exécution des scripts en eux-même est assez rapide depuis PHP 4 et son Zend Engine. Même pour WordPress, ce qui ralentit l’affichage relève en général des requêtes à la base de données ou du serveur Web (HipHop n’utilise pas Apache, Facebook l’utilisait auparavant), puisque très peu de sites peuvent se targuer d’avoir comme Facebook des pages qui sont uniques pour chaque utilisateur.

Un autre indicateur qui montre que le développeur PHP lambda n’utilisera jamais HipHop réside dans son incompréhension complète de l’utilité voire même de la définition d’HipHop en elle-même… Morceaux choisis, pour le fun :

« I think the HipHop compiler should be great for WordPress users. » — Patrick Musgrave

Le script WordPress en lui-même utilise beaucoup la fonction eval(), qui a été explicitement sacrifiée par HipHop. Impossible donc.

« il semblerait que Facebook se soit amusé à reécrire tout ou une bonne partie de PHP. [...] un compilateur de PHP ne serait pas une idée si farfelue que ça… » — Korben.info

Deux billets associant « Facebook » avec le terme « compilateur PHP ». Cela n’a rien d’un compilateur PHP, il en existe déjà plusieurs depuis des années, le plus connu étant phc. C’est dommage qu’un blog qui se veut vulgarisateur emploie des termes erronés à longueur de journée.

« @Korben: hum, je me disais surtout que vu que Java est plus proche de C++ que Php, pourquoi il n’ont pas écrit Facebook en Java directement. Enfin je me trompe peut-être. » — Tux-planet

Tu te trompes effectivement. En réfléchissant une minute il paraît évident que Facebook ne peut se permettre de re-coder tout son site, d’autant qu’un bon développeur Java se trouve plus difficilement qu’un bon développeur PHP.

Pour ceux qui se posent la question : Oui j’en ai un chez moi <3

« mais si on code avec un framework genre cakePHP, est-ce que l’on va pouvoir quand même le compiler ? » — crevette d’@cier

Faux problème : Avant d’en arriver au stade d’avoir besoin de compiler du PHP transformé en C++, il faudrait déjà penser à s’affranchir de son framework qui ne peut que ralentir l’exécution de son site.

« There’s this distinction in coding between a scripted language and a compiled language. PHP is an example of a scripted language. The computer or browser reads the program like a script, from top to bottom, and executes it in that order: anything you declare at the bottom cannot be referenced at the top. » — Une employée de Facebook

Je ne sais pas où l’auteur a récupéré cette employée de Facebook, mais je parie qu’elle s’occupe de la cantine, de la salle Guitar Hero, ou alors du ménage ; en tout cas elle ne peut pas avoir un lien avec les développeurs pour déclarer que PHP est un langage one-pass. Qu’elle demande à ses collègues, ou qu’elle se taise !

« Cela me parait étonnant tout de meme, je vois mal des .exe tourné pour une site web, http://truk.com/hu.exe?var=prout ??? loool » — krg

J’ai gardé le meilleur pour la fin… :) Ça se passe de commentaire. A noter que deux lignes plus loin, krg nous dit qu’il est un hacker. Au moins il ne se fera pas bloquer chez Korben.

Pour en revenir au titre de cet article, les gens qui me connaissent un petit peu savent que je n’ai pas Facebook en particulière adoration, je pense même que plus ça va et plus ça se transforme en un Skyblog mondialisé. Mais tout comme Facebook, Skyblog participe activement à la communauté open-source. Si leurs projets ne sont pas mis en avant de la même manière médiatique, Frank Denis fournit un travail remarquable pour la communauté PHP et open-source depuis des années.

Evidemment, tout comme HipHop, dans l’absolu ça ne servira qu’à peu de gens, mais allez dire à un administrateur système que sans Skyblog, son serveur FTP n’existerait pas, et qu’il aurait sûrement plus de mal à faire du cache Web efficace, et il va vous rire au nez :) Et peut-être vous frapper. Donc ne le faites pas.

HipHop for PHP sera disponible sur GitHub dans les heures qui viennent.

Afin de créer vous aussi vos miniatures iPhone, vous aurez besoin de remplir les conditions suivantes :

• Posséder un blog WordPress (sans déc’ ?)
• Avoir la librairie PHP Imagick
• Disposer d’un accès FTP sur votre blog

J’ai commencé par récupérer une image d’iPhone « vide », que j’ai réduite de moitié pour adapter à la taille de mon blog. Vous pouvez récupérer l’image en cliquant ci-dessous. Elle est à mettre dans le dossier /wp-vcon :

La technique que j’ai adoptée pour la génération d’images à la volée est de passer par un fichier .htaccess dans /wp-content/uploads. Il sert à rediriger toutes les requêtes vers des fichiers inexistants sur un script spécifique, en l’occurrence le script pour les miniatures :

Options -Indexes

RewriteEngine On

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^(.*)$ /wp-content/uploads/check.php?route=$1 [L,QSA]

L’image à l’intérieur de l’iPhone est la moitié d’une capture d’écran faite via l’iPhone (en appuyant simultanément sur la touche Home et la touche Power).

<?php

$destination = $_GET['route'];

if (eregi("^(.+)-iphone\.(.+)$",$destination,$r)) {

	header("Content-type: image/".$r[2]);

	$original = $r[1].".".$r[2];

	if (file_exists($original)) {

		$or = new Imagick($original);
		$or->setCompression(Imagick::FILTER_LANCZOS);
		$or->ThumbnailImage(160,240,true);

		$im = new Imagick(dirname(__FILE__).'/iphone-gui.png');
		$im->compositeImage($or,Imagick::COMPOSITE_DEFAULT,18,60);

		$im->writeImage($destination);

		echo file_get_contents($destination);

	}

}

header("HTTP/1.0 404 Not Found"); 

?>

Exemple concret après installation du script : Si vous avez uploadé une image nommée application.png, il vous suffit de rajouter « -iphone » juste avant l’extension du fichier pour avoir un aperçu iPhone, ce qui donnera application-iphone.png.

Et voilà, grâce à ces quelques fichiers, ma flemme d’ouvrir Photoshop pour avoir de jolies miniatures est entièrement comblée, j’espère que ça pourra servir à quelques personnes. Le script est très facilement adaptable sur d’autres plate-formes que WordPress, j’ai donné cette intégration pour l’exemple.