Les fichiers mis à disposition sur un CDN sont en général les images d’un site, ses fichiers JavaScript, ses feuilles de style. L’avantage est double : D’une part ça soulage le serveur qui préfère occuper son temps à générer des pages dynamiques plus rapidement, d’autre part les CDN sont souvent géolocalisés et l’utilisateur récupère les fichiers sur le serveur le plus proche de chez lui, diminuant le temps de réponse global du site.

L’inconvénient est unique : Ça coûte cher. Mais une solution gratuite existe.

CoralCDN se veut être la solution de CDN pour tous les gens qui ont envie de réduire leur trafic (très limité dans le cas d’un hébergement mutualisé par exemple) et d’accélérer le chargement de leurs pages, mais qui n’en ont pas les moyens.

Le système CoralCDN est on ne peut plus simple : Il suffit d’ajouter .nyud.net au nom de domaine dans l’adresse du fichier que l’on souhaite mettre en cache sur CoralCDN, et le tour est joué.

Exemple :

http://ootweet.com/images/ootweet.png

devenant…

http://ootweet.com.nyud.net/images/ootweet.png

… le fichier est automatiquement répliqué sur tous les serveurs de CoralCDN.

260 serveurs à travers le monde. C’est mieux qu’une Dédibox à Bezons.

Vous l’aurez compris, pour l’utiliser sur votre site vous n’avez vraiment pas grand chose à modifier, alors autant en profiter si vous avez des problèmes pour boucler votre bande passante en fin de mois. Encore mieux, si vous êtes sur WordPress, vous n’avez qu’un plugin à installer pour profiter de CoralCDN dès maintenant :)

A noter que selon la FAQ, la taille des fichiers transférés sur le CDN est limitée à 50 Mo, pas besoin de tenter de mettre vos DivX en cache.

Une utilisation détournée mais néanmoins intéressante pour tous ceux qui travaillent derrière un proxy : Les domaines créés grâce à CoralCDN et son .nyud.net échappent la plupart du temps aux filtres de contrôle. Ainsi, si VDM est bloqué à votre boulot par exemple, vous pouvez vous y rendre en tapant l’URL suivante :

http://www.viedemerde.fr.nyud.net

A noter que ce proxy de fortune fonctionne sur les ports 80, 8080 et 8090.

Si vous tombez souvent sur des filtrages en visitant vos sites préférés, vous pouvez installer le bookmarklet Coralize (glissez-le dans votre barre personnelle) et cliquez dessus dès que le monstre proxy tentera une attaque sur votre humble personne.

Voilà pour l’astuce du jour mes petits pandas, je vais maintenant me plonger dans un bain de glaçons pendant que Friedrich joue avec le ventilateur.

Alors, c’est très bien de pouvoir aimer plein de choses, j’ai tant d’amour à donner. Mais si peu de temps pour une tâche répétitive ! Attendez… Un être humain, faire une tâche répétitive ? Autant laisser le Javascript s’en occuper pour moi.

C’est pourquoi j’ai créé ces bookmarklets dont l’unique fonction est de tout aimer sur Facebook. Trêve de blablas, la sauce est ici :

• Facebook en Français : J’aime – Je n’aime plus
• Facebook en Anglais : Like – Unlike

Pour installer ces bookmarklets, il suffit de les glisser dans votre barre de signets. Une fois sur une page de Facebook, cliquez dessus et vous aimerez tout en quelques secondes (il y a une sorte d’anti-flood Javascript sur Facebook à détourner).

L’énorme avantage quand vous aimez quelque chose est que votre nom ainsi qu’un lien vers votre profil apparaissent en dessous des éléments. Un excellent moyen d’améliorer son personal branding et de gagner beaucoup d’amis !

A vous la gloire. On dit merci qui mes petits pandas ?

Pour mes e-mails, j’ai pendant très longtemps utilisé gmail-backup, qui faisait tout ce qu’on lui demandait de faire en voyant son nom. Seulement Gmail a mis à jour ses serveurs IMAP il y a peu de temps, rendant inutilisable gmail-backup.

Les serveurs IMAP de Gmail possédaient un bug depuis leur lancement. En récupérant les e-mails via IMAP par la méthode traditionnelle (RFC822), les e-mails n’étaient pas marqués comme lus. Cependant la RFC précise qu’ils devraient l’être. Ce bug a été corrigé il y a quelques semaines, et j’ai eu le bonheur de voir mes nouveaux e-mails marqués comme lus du jour au lendemain :)

Le script n’étant pas open-source et la dernière version datant d’il y a environ un an, je pense qu’il est raisonnable de penser que le développement de gmail-backup est mort. J’ai donc dû trouver un remplaçant.

Ce remplaçant s’appelle getmail. Au premier abord, drôle de remplaçant, puisqu’il est connu pour utiliser la RFC822. Son créateur maintient cependant que c’est lui qui a raison et non Google dans cette histoire d’e-mails marqués comme lus. Qu’à cela ne tienne, contrairement à gmail-backup, getmail est open-source, il suffit de modifier la récupération des e-mails et le problème est résolu.

Voici donc une longue introduction pour un petit tutorial sur comment sauvegarder votre Gmail sous Linux.

Télécharger et modifier getmail

A la main

A vrai dire c’est assez simple. Téléchargez tout d’abord les sources de getmail. Il faut jeter ensuite un oeil dans getmailcore/_retrieverbases.py pour y faire une modification. Trouvez la ligne suivante :

return self._getmsgpartbyid(msgid, '(RFC822)')

C’est cette fameuse RFC822 qui nous fait chier et qui met les e-mails téléchargés comme lus automatiquement. Remplacez-la par une commande PEEK :

return self._getmsgpartbyid(msgid, '(BODY.PEEK[])')

Vous vivrez ainsi heureux.

Paresseux

Vous vivrez tout aussi heureux en prenant ma version déjà modifiée.

• Télécharger getmail-4.17.0-peek.tar.gz
• getmail 4.17.0 avec PEEK — Taille : 168 Ko

Installer getmail

L’installation se fait ensuite comme à peu près tous les logiciels Python, à savoir avec deux lignes de commande dans la racine des sources getmail :

python setup.py build
python setup.py install

Configurer getmail

Maintenant que getmail est modifié et installé, il faut créer le fichier de configuration qui va indiquer à getmail quoi prendre et où prendre. Commencez par créer un dossier .getmail dans votre répertoire utilisateur, ainsi qu’un répertoire gmail et son fichier mbox pour stocker la sauvegarde.

mkdir ~/.getmail
mkdir ~/gmail
touch ~/gmail/gmail-backup.mbox

Dans ce répertoire, créons un fichier de configuration, appelé au hasard getmail.gmail, qui contiendra les informations suivantes :

[retriever]
type = SimpleIMAPSSLRetriever
server = imap.gmail.com
username = /* Votre e-mail Gmail */
password = /* Votre mot de passe Gmail */
mailboxes = ("[Gmail]/All Mail",)

[destination]
type = Mboxrd
path = ~/gmail/gmail-backup.mbox

[options]
read_all = false
verbose = 2
message_log = ~/.getmail/gmail.log

Remplacez évidemment username et password (je le dis quand même, on ne sait jamais).

Sauvegarder !

L’utilisation de l’IMAP permet de tout télécharger en une fois lors de la première synchronisation. Avec du POP Gmail permet de ne récupérer que 500 e-mails à la fois environ.

Pour faire une première sauvegarde intégrale, tapez la commande suivante (prévoyez un café si vous avez beaucoup d’e-mails) :

/usr/bin/getmail -la -r getmail.gmail

Si cette première récupération s’est déroulée sans accrocs, vous pouvez mettre la commande suivante dans un crontab, qui va récupérer uniquement les nouveaux mails sur votre compte :

/usr/bin/getmail -ln -r getmail.gmail

Et voilà, vous n’aurez plus à craindre un tremblement de terre qui ferait imploser tous les datacenters de Google. Vos e-mails sont tous chez vous, et vous pouvez continuer à utiliser l’interface si pratique de Gmail en toute sécurité.

PS : Evidemment cela peut s’adapter à à peu près n’importe quel fournisseur de courrier électronique. J’ai titré Gmail car le patch de getmail était nécessaire pour que ça fonctionne en particulier avec le service de Google.

Si la nouvelle pouvait se faire attendre, suite au développement d’un premier client officiel pour BlackBerry, elle va sûrement choquer beaucoup de développeurs de clients Twitter autour du monde, et nous n’avons pas fini d’en entendre parler. Pourtant, mes petits pandas, il va falloir vous y habituer : La fête est finie :)

A dire vrai, Echofon, Tweetdeck et consorts n’ont pas de soucis à se faire. S’ils sont intelligents ils devaient se douter que ça arriverait tôt ou tard. On ne lève pas 100 millions de dollars en laissant s’échapper 70 % de son trafic monétisable. Nous avons eu le problème de notre côté avec FML, la version anglaise de VDM, c’est pourquoi j’ai décidé d’en parler un peu aujourd’hui.

En effet, FMyLife est particulièrement populaire aux Etats-Unis comme vous le savez. Mais il l’est spécialement sur appareils mobiles, et a fortiori sur iPhone où nous comptabilisons près de la moitié de notre trafic global. C’est donc bien beau de paraître utopiste et de laisser tout le monde gagner de l’argent en faisant des applications payantes ou financées par la publicité, mais on ne pouvait pas se permettre d’en perdre pour que les autres en gagnent, à un moment on n’est pas Mère Térésa SARL.

C’est pourquoi en Décembre dernier nous étions passés sur une API fermée (cf. TechCrunch) où seulement les applications que nous choisissons ont un accès à notre contenu et à l’API en général. De cette manière nous avons sorti des clients officiels gratuits, financés par la publicité, tout comme le site Internet, et avons pu garder la main sur notre trafic et notre monétisation, tout en laissant libre cours aux développeurs la création d’applications non-concurrentes.

En conclusion, les applications Twitter existantes se devront d’innover et de créer de la valeur ajoutée au lieu de réinventer la roue du client Twitter.

Ainsi je pense que dans les prochains mois, nous allons assister à l’ajout de nouvelles conditions dans l’API de Twitter. Elle ne deviendra sûrement jamais une API fermée, cependant l’apparition d’applications officielles (et de leur monétisation qui va avec, le marché de la publicité mobile étant très juteux) va couper l’herbe sous le pied aux applications qui n’auront aucune valeur ajoutée par rapport à l’application officielle.

Twitter pourra conserver son avance dans le monde des applications grâce à des fonctionnalités API utilisables uniquement par leurs applications officielles, ainsi que le fait de savoir d’avance les prochaines évolutions du service de microblogging et d’adapter leurs développements en conséquence (les comptes payants me viennent tout de suite à l’esprit).

Enfin, concernant Tweetie 2 for Mac (qui n’est pas concernée par le rachat, contrairement à ce qu’on peut lire sur le NY Times ou dans certains autres blogs — lisez le vrai communiqué), Loren Brichter nous annonce que le développement est toujours « en cours ». Je sens qu’on va avoir du mal à avoir une version non-bêta rapidement (cf. N’achetez pas Tweetie).

Bienvenue sur mon site, je suis LoL Guru ®, né le 21 décembre 1891, je suis considéré comme le Gourou du Divertissement !!! Je blogue, mets à jour ce site depuis le début du XXe siècle pour partager avec vous les news, photos, vidéos, sites Internet, jeux et coloriages en ligne, prochaines et dernières sorties de DVD, jeux vidéo, logiciels, applications, …

Amusez-vous bien LOL

Moi quand on me propose de m’amuser, je dis jamais non.

Mais… J’ai des loisirs un peu différents.

En tant que développeur, le backoffice d’un site si énorme m’intriguait. Je l’imaginais déjà rempli d’algorithmes, une interface à la Minority Report pour taper plus vite que son ombre, de l’autocompletion en AJAX en veux-tu en voilà…

Paie ta déception.

Ouais bon, on repassera. Je vous reprends encore quelques minutes de votre temps, mes petits pandas, pour vous expliquer comment j’en suis arrivé là.

Il ne faut pas très longtemps, même pour un con comme moi, pour trouver l’adresse de l’administration du site. En effet, un aller simple sur http://fr.lolguru.com/admin/connexion.asp nous laissait apparaître un joli formulaire d’identification.

Ayant peu d’espoir mais ne pouvant repartir sans avoir testé, je me lance et écris une apostrophe comme identifiant, ainsi qu’en mot de passe. Je m’attendais à me faire rejeter bien comme il faut, avec une alerte automatique au GIGN. Quand je vois simplement l’erreur suivante :

[Microsoft][Pilote ODBC Microsoft Access] Erreur de syntaxe dans la chaîne dans l’expression "login like ’’’ and password like ’’’".

Je n’ai donc pas pu accéder à l’administration du site. Cependant deux points m’intriguent :

• L’utilisation de la syntaxe SQL LIKE pour l’identification autorise le wildcard %. Très dangereux pour un système d’identification.
• Mes apostrophes n’ont en plus pas été échappées par un antislash, ce qui a provoqué l’erreur SQL. Très très dangereux…

L’idée de mettre le wildcard % comme identifiant ainsi que mot de passe rendrait donc la requête SQL suivante : login like ‘%’ and password like ‘%’, ce qui sélectionnerait donc n’importe quel identifiant stocké dans la base. Et effectivement, j’ai été identifié comme administrateur (voir capture d’écran ci-dessus).

Faut toujours deux preuves.

Ne cherchez plus à aller sur cette page, elle a été supprimée / renommée depuis. Encore mes talents de prestidigitateur.

Pour résumer, voici 4 erreurs à ne pas reproduire sur votre site :

• Ne pas utiliser la syntaxe SQL LIKE en dehors de cas très particuliers (comme la recherche dans une table).
• Ne pas afficher les erreurs SQL lorsque son site est en production (ou au moins, pas les requêtes complètes…).
• Ne pas oublier d’échapper les données injectées dans une requêtes.
• Eviter d’avoir un répertoire administration avec un nom évident si on n’est pas sûr de sa sécurité.

Si vous ne savez pas protéger correctement votre administration et que vous êtes sur Apache, vous pouvez tout aussi bien utiliser la méthode de la protection par .htaccess/.htpasswd.

Au-delà de cette faille, j’ai été surpris par l’austérité de ce backoffice. Rempli de cases austères tel un formulaire de l’administration pénitencière, avec des couleurs hasardeuses et des fautes d’orthographe, ça ne donne pas vraiment envie de travailler et produire du contenu.

Et vous, est-ce que l’administration de votre blog/site est agréable ? Est-ce que ça a de l’importance pour vous ?

L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Aujourd’hui, parlons de Memcache.

Présentation de memcached

Comme nous l’avons vu la semaine dernière, les serveurs de données sont bien remplis en données diverses et variées, que ce soit des votes, des anecdotes, les informations de connexion. Beaucoup de données, dont une partie est redondante. Mais pas la totalité de la page puisque chaque anecdote est votée, impossible donc de cacher toute la page.

Un serveur memcached (d pour daemon) est un serveur léger qui permet de stocker temporairement des données en RAM. Si léger qu’il ne dispose d’aucun système d’identification pour accéder ou modifier ces données, donc faites bien attention à ne faire écouter le serveur qu’en local si vous installez un jour une telle solution pour votre serveur.

Son utilisation sur VDM

La technologie memcached permet donc de stocker n’importe quel type de données. Il sert souvent par exemple sur des clusters de serveurs Web pour centraliser les sessions PHP. On peut donc facilement en tirer profit pour mettre en cache plusieurs informations du site, et ainsi soulager de manière significative les serveurs MySQL.

One server to rule them all.

La problématique est maintenant la mise en place de cette solution sur le code PHP existant de VDM. PHP possède une extension Memcache qui permet d’implémenter facilement une solution de cache.

La solution que j’ai retenue est résumée dans le code suivant. Les requêtes SQL sont transformées en hash MD5 pour le nom de la clé, et l’objet du résultat de la requête est stockée en cache, avec un cache par défaut d’une heure (3600 secondes). De cette manière, si la clé n’existe pas sur le serveur memcached, la requête est automatiquement exécutée et le résultat stocké.

<?php

$memcache = new Memcache();
$memcache->pconnect("127.0.0.1","9000");

function mcache($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$result = mysql_query($query);
		$value = mysql_fetch_object($result);
		$memcache->set($hash,$value,NULL,$timeout);

	}

	return $value;

}

function mcache_set($query,$value,$timeout=3600) {

	global $memcache;

	$hash = md5($query);

	$value = $memcache->set($hash,$value,NULL,$timeout);

	return $value;

}

function mcache_delete($query) {

	global $memcache;

	$hash = md5($query);
	$value = $memcache->delete($hash);

	return $value;

}

?>

Grâce à ces fonctions nous avons conservé toutes nos requêtes, et pouvons utiliser de manière transparente soit Memcache soit MySQL. Plus pratique pour pouvoir synchroniser rapidement les données entre les deux serveurs, en plus d’avoir facilité la migration vers Memcache.

Exemple d’utilisation :

<?php

/* Je suis un nul alors je mets pas de mot de passe en root */
mysql_connect("localhost","root","");
mysql_select_db("base");

/* La requête MySQL normale sans cache */
$result = mysql_query("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");
$row = mysql_fetch_object($result);

/* La requête avec le cache Memcache */
$row = mcache("SELECT texte FROM articles WHERE id = '1337' LIMIT 1");

?>

Grâce aux fonctions mcache() et consorts, on peut donc sans trop de difficultés alléger le travail des serveurs de bases de données. Si vous avez besoin de mettre en cache un tableau de résultats, vous pouvez utiliser la fonction suivante :

<?php

function mcache_array($query,$timeout=3600,$force=false) {

	global $memcache;

	$hash = md5($query);

	if (!$force) {

		$value = $memcache->get($hash);

	}

	if ($force || $value === FALSE) {

		$memcache->delete($hash);

		$result = mysql_query($query);
		while ($row = mysql_fetch_object($result)) {
			$value[] = $row;
		}

		$memcache->set($hash,$value,NULL,$timeout);

	}

	if (!is_array($value)) $value = array();
	return $value;

}

?>

Ainsi, sur VDM et FML, nous mettons en cache principalement les données suivantes :

• Les données « statiques » des anecdotes (texte, auteur, etc.)
• Les totaux des votes sur les anecdotes (mis à jour à chaque vote sans appel à MySQL)
• Les ID des dernières anecdotes lues par les utilisateurs, pour afficher les « NEW »
• Certains rendus XML de l’API pour les applications mobiles

Au niveau des chiffres, voici des statistiques sur les 3 dernières semaines d’utilisation du serveur memcached :

• 900 connexions simultanées en permanence
• 90 000 connexions par jour
• 14,4 Mo écrits par seconde (via 622 requêtes en moyenne)
• 1,8 Go de données stockées en ce moment
• 6,9 millions de données stockées en ce moment
• 1,3 milliard de données stockées en tout

Comme d’habitude, n’hésitez pas à commenter pour plus d’informations, j’ai sûrement oublié beaucoup de choses. La semaine prochaine nous parlerons de serveurs Web.

Laissez-moi vous présenter PD.TC, le raccourcisseur d’URL le plus LOL. Grâce à son acronyme équivoque, vos soirées Twitter n’en seront que plus gaies. Ô la joie de balancer à son prochain « C’est où que t’as trouvé machin ? PDTC ». Oui, c’est aujourd’hui à votre portée.

Mais pour bien l’utiliser au quotidien, quelle idée d’utiliser un simple formulaire ! Toi la star de Twitter, tu as besoin de l’intégrer directement dans les outils que tu utilises quotidiennement.

Voici trois tutoriaux qui couvriront toutes tes attentes pour utiliser PD.TC dans les meilleures conditions possibles, et ainsi diffuser l’esprit du LOL partout autour de toi.

Utiliser PD.TC avec n’importe quel client Twitter

Pour pouvoir utiliser mon service sur la plupart des clients Twitter Mac/Windows/Linux, mes petits pandas, il va falloir utiliser une méthode de sioux.

Sous Mac/Linux : Ouvrez une fenêtre de Terminal pour modifier le fichier hosts en tapant ces deux lignes :

echo '91.191.146.209 tinyurl.com' | sudo tee -a /etc/hosts

Sous Windows : Ajoutez la ligne 91.191.146.209 tinyurl.com dans votre fichier hosts, dont l’emplacement varie selon les versions. En général dans C:\Windows\system32\drivers\etc\hosts.

De cette manière, toutes les URL TinyURL passeront par mes serveurs qui simuleront son comportement. En contrepartie vous ne pourrez plus raccourcir d’URL sur TinyURL (en même temps le site est tout moche, c’est pas une perte), mais les URL raccourcies de TinyURL marcheront toujours !

Modifiez ensuite dans votre client Twitter votre URL Shortening Service en indiquant TinyURL, et vous pourrez utiliser PD.TC facilement et rapidement.

Je pense que la technique marche à peu près avec n’importe quel client Twitter, à partir du moment que vous modifiez le fichier hosts et que vous pouvez sélectionner TinyURL dans votre client, tout roule.

Utiliser PD.TC avec Tweetie iPhone

Tweetie 2 pour iPhone intègre nativement la possibilité d’avoir son propre raccourcisseur d’URL. Il suffit donc d’aller dans les réglages « URL shortening » de Tweetie :

Settings > Services > URL Shortening > Custom…

Et entrez l’URL suivante pour utiliser PD.TC automatiquement :

http://pd.tc/?api=1&url=%@

Utiliser PD.TC avec PHP

Vous pouvez utiliser PD.TC dans tous vos scripts et applications. Voici un simple exemple en PHP, que vous pourrez adapter à à peu près tous les langages de programmation existants :

<?php

/* Appel de pd.tc avec l'URL qu'on veut raccourcir */

$url = "http://www.google.fr";
$pdtc = file_get_contents("http://pd.tc/?api=1&url=".urlencode($url));

/* Retournera : string(17) "http://pd.tc/0236" */

var_dump($pdtc);

?>

A noter que j’enregistre tous les accès aux URL, donc si le service est utilisé je ferai peut-être des classements & consorts, mais pour le moment c’est surtout pour le fun du nom de domaine que j’ai créé ce service, et ça restera pour le fun :)

Contrairement à ce que certains laissent penser, je fais quelque chose de mes journées. Je suis développeur Web, mais aussi administrateur système. Créer puis s’occuper de l’hébergement de sites comme VDM et FML n’arrive pas tous les jours, et j’ai gagné beaucoup d’expérience ces 12 derniers mois en montant une infrastructure qui accueille chaque jour plus de 3 millions de visiteurs.

L’infrastructure que j’ai montée pour VDM/FML

Dans cette série de billets (normalement trois en comptant celui là), je vais vous raconter ce qui se passe derrière les URL viedemerde.fr et fmylife.com, qui représentent 98% du trafic de l’infrastructure d’hébergement de ma société, Beta&Cie. Ces articles n’ont pas pour vocation de me vanter ou de dire au monde entier que ma solution est la meilleure, c’est juste ma solution et elle marche bien jusqu’à maintenant.

Passons au premier sujet : Les serveurs MySQL.

Réplication circulaire

Mes sept petits bouts de chou.

Comme le montre le schéma, mes sept serveurs sont configurés en réplication circulaire. C’est à dire que chacun est maître et esclave à la fois (pas de connotations sexuelles ici, merci !). s1 est donc maître sur s2, mais il est esclave de s7.

Cette configuration a l’avantage de bien fonctionner derrière un load balancer puisque chaque serveur a le droit d’écriture. C’est donc transparent pour le développeur qui n’a qu’à renseigner l’IP du load balancer dans sa connexion à MySQL et travailler comme s’il n’avait qu’un seul serveur.

L’inconvénient est un inconvénient de taille. Comme les requêtes s’exécutent comme dans une ronde, si un serveur plante, toute la ronde est cassée et plus rien ne se réplique. Il faut donc avoir du bon matériel, et au cas où ça arrive quand même, agir très vite pour éviter que les utilisateurs ne râlent :)

Une petite astuce pour éviter que votre réplication ne s’arrête pour des raisons connes : Je fais ignorer par mes serveurs systématiquement les erreurs 1062 (nouvelle entrée avec le même ID) et 1053 (déclenchée quand le serveur maître s’éteint ou redémarre) :

slave-skip-errors=1062,1053

Pour diminuer les latences de réplication il est aussi important d’avoir un bon réseau…

Réseau VLAN

Au delà de l’onomatopée, un VLAN est l’abréviation de Réseau Local Virtuel (RLV ça le faisait pas, hein ?). Il permet de créer un réseau indépendant du reste des machines du réseau où est hébergée l’infrastructure. Concrètement chaque serveur possède deux interfaces physiques :

# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e2
          inet addr:91.191.146.199  Bcast:91.191.146.255  Mask:255.255.255.192

eth1      Link encap:Ethernet  HWaddr 00:30:48:b9:42:e3
          inet addr:10.191.146.199  Bcast:10.191.146.255  Mask:255.255.255.0

eth0 a l’adresse IP 91.191.146.199 qui est atteignable de l’extérieur du réseau, alors que eth1 a l’adresse IP 10.191.146.199 qui est interne au VLAN et qui par conséquent ne peut communiquer qu’avec ses copines du même VLAN qu’elle.

Avoir ses serveurs en VLAN diminue donc la latence entre les serveurs, la réplication se fait plus rapidement et avec plus de sécurité puisqu’aucun paquet ne sort de votre réseau local. Deux avantages indéniables qui devraient vous faire quitter OVH choisir un hébergeur qui fait du VLAN ! En effet les réseaux virtuels se configurent au niveau des routeurs/switches, il faut donc choisir un hébergeur qui puisse le prendre en charge.

Disques SSD

Pour économiser un certain nombre de machines dans ma réplication circulaire et ainsi réduire le nombre de défaillances matérielles, j’ai très vite décidé d’utiliser du SSD pour héberger les données de mes bases. Au début j’ai eu des X25-M chez OVH (mon ancien hébergeur), qui est le moyen de gamme du SSD, puis je suis passé récemment au X25-E, la version haut de gamme, comme le montre ce benchmark par SD-France, mon gentil hébergeur :

Le X25-E dépasse largement tous ses concurrents en terme d’écriture et de lecture de disque. Cela assure évidemment un meilleur temps de réponse sur les requêtes, différence qui se ressent lorsque l’on traite 15 000 requêtes par seconde…

Les deux inconvénients de cette méthode :

• La capacité. La plus grande taille disponible est 64 Go, ce qui peut paraître beaucoup pour de simples bases de données, mais qui se remplit vite quand le site repose sur beaucoup d’anecdotes / commentaires et surtout votes.
• Le prix. Les disques SSD X25-E sont encore très chers, même s’ils économisent parfois de nouvelles machines, je me fais taper quand j’en demande des nouveaux :D

Optimisations

Comme le disque SSD est déjà pas mal occupé à traiter les requêtes SQL, la copie des résultats de SELECT sur les bases temporaires dans /tmp (configuration par défaut) est fortement ralentie. En parallèle la RAM n’est en général pas utilisée à fond. Il est donc judicieux d’utiliser la RAM restante comme espace pour les fichiers temporaires, grâce au système de fichier tmpfs :

mkdir /tmpfs
mount tmpfs /tmpfs -t tmpfs

Vérifiez que votre nouveau répertoire fonctionne correctement, puis modifiez la configuration de votre my.cnf pour la valeur suivante :

tmpdir = /tmpfs

Ne pas oublier de rajouter le montage du tmpfs dans votre /etc/fstab, pour éviter les problèmes au reboot :)

Avec tout ceci, nous arrivons à traiter vaguement ces quelques données :

• 2 millions d’anecdotes, 8000 nouvelles par jour
• 1,7 million de commentaires, 5000 nouveaux par jour
• 630 millions de votes, 850 000 nouveaux par jour

Voilà mes petits pandas, je pense avoir couvert pas mal des aspects principaux « caractéristiques » de l’infrastructure au niveau de MySQL. Mais j’ai sûrement oublié beaucoup de choses, alors n’hésitez pas si vous avez des questions.

Pas de date pour le prochain article mais j’espère la semaine prochaine.

Aujourd’hui mes petits pandas, je vous reparle de Wlppr, mais cette fois-ci pour une annonce un peu plus spéciale, puisque c’est la version iPhone qui vient d’atterrir sur l’AppStore il y a quelques minutes, la première application iPhone réalisée par les petites mains de votre serviteur.

Wlppr est une application iPhone basée sur Wlppr.com, qui fournit chaque jour de nouveaux fonds d’écran adaptés au format iPhone.

• Notifications Push : Soyez averti chaque jour, dès qu’un nouveau fond est arrivé, et sauvez le directement sur votre téléphone.
• Catégories & Favoris : Fonctions exclusives de cette version iPhone. Sauvez tous vos fonds d’écran favoris, et envoyez-les à vos amis.

Je me suis amusé à découvrir l’univers des applications iPhone, pouvoir contrôler des éléments natifs c’est quand même bien plus agréable que se faire chier à rejouer les mouvements sur son site mobile avec des JavaScript… même si pour cela j’ai dû retrouver les « joies » de la compilation.

Il n’y a aucune publicité dedans, elle coûte 0,79 euros et est disponible dès maintenant en cliquant sur le lien ci-dessous :)

C’est un travail gigantesque qui a été accompli par cette équipe de Facebook. Même si dans l’absolu peu de gens en auront réellement besoin pour leurs sites PHP ; la plupart du temps l’exécution des scripts en eux-même est assez rapide depuis PHP 4 et son Zend Engine. Même pour WordPress, ce qui ralentit l’affichage relève en général des requêtes à la base de données ou du serveur Web (HipHop n’utilise pas Apache, Facebook l’utilisait auparavant), puisque très peu de sites peuvent se targuer d’avoir comme Facebook des pages qui sont uniques pour chaque utilisateur.

Un autre indicateur qui montre que le développeur PHP lambda n’utilisera jamais HipHop réside dans son incompréhension complète de l’utilité voire même de la définition d’HipHop en elle-même… Morceaux choisis, pour le fun :

« I think the HipHop compiler should be great for WordPress users. » — Patrick Musgrave

Le script WordPress en lui-même utilise beaucoup la fonction eval(), qui a été explicitement sacrifiée par HipHop. Impossible donc.

« il semblerait que Facebook se soit amusé à reécrire tout ou une bonne partie de PHP. [...] un compilateur de PHP ne serait pas une idée si farfelue que ça… » — Korben.info

Deux billets associant « Facebook » avec le terme « compilateur PHP ». Cela n’a rien d’un compilateur PHP, il en existe déjà plusieurs depuis des années, le plus connu étant phc. C’est dommage qu’un blog qui se veut vulgarisateur emploie des termes erronés à longueur de journée.

« @Korben: hum, je me disais surtout que vu que Java est plus proche de C++ que Php, pourquoi il n’ont pas écrit Facebook en Java directement. Enfin je me trompe peut-être. » — Tux-planet

Tu te trompes effectivement. En réfléchissant une minute il paraît évident que Facebook ne peut se permettre de re-coder tout son site, d’autant qu’un bon développeur Java se trouve plus difficilement qu’un bon développeur PHP.

Pour ceux qui se posent la question : Oui j’en ai un chez moi <3

« mais si on code avec un framework genre cakePHP, est-ce que l’on va pouvoir quand même le compiler ? » — crevette d’@cier

Faux problème : Avant d’en arriver au stade d’avoir besoin de compiler du PHP transformé en C++, il faudrait déjà penser à s’affranchir de son framework qui ne peut que ralentir l’exécution de son site.

« There’s this distinction in coding between a scripted language and a compiled language. PHP is an example of a scripted language. The computer or browser reads the program like a script, from top to bottom, and executes it in that order: anything you declare at the bottom cannot be referenced at the top. » — Une employée de Facebook

Je ne sais pas où l’auteur a récupéré cette employée de Facebook, mais je parie qu’elle s’occupe de la cantine, de la salle Guitar Hero, ou alors du ménage ; en tout cas elle ne peut pas avoir un lien avec les développeurs pour déclarer que PHP est un langage one-pass. Qu’elle demande à ses collègues, ou qu’elle se taise !

« Cela me parait étonnant tout de meme, je vois mal des .exe tourné pour une site web, http://truk.com/hu.exe?var=prout ??? loool » — krg

J’ai gardé le meilleur pour la fin… :) Ça se passe de commentaire. A noter que deux lignes plus loin, krg nous dit qu’il est un hacker. Au moins il ne se fera pas bloquer chez Korben.

Pour en revenir au titre de cet article, les gens qui me connaissent un petit peu savent que je n’ai pas Facebook en particulière adoration, je pense même que plus ça va et plus ça se transforme en un Skyblog mondialisé. Mais tout comme Facebook, Skyblog participe activement à la communauté open-source. Si leurs projets ne sont pas mis en avant de la même manière médiatique, Frank Denis fournit un travail remarquable pour la communauté PHP et open-source depuis des années.

Evidemment, tout comme HipHop, dans l’absolu ça ne servira qu’à peu de gens, mais allez dire à un administrateur système que sans Skyblog, son serveur FTP n’existerait pas, et qu’il aurait sûrement plus de mal à faire du cache Web efficace, et il va vous rire au nez :) Et peut-être vous frapper. Donc ne le faites pas.

HipHop for PHP sera disponible sur GitHub dans les heures qui viennent.