Introduction à Flume NG

Flume est une solution de collecte, aggrégation et transfert de gros volumes de logs. Il a été pensé pour gérer des débits importants avec une fonctionnalité native d’écriture dans HDFS au fil de l’eau. Pour gérer ces gros volumes/débits, il se doit d’être très scalable, et donc distribué. L’outil fait partie de l’écosystème Big Data open source Hadoop. Pour vous aider à le situer, ses alternatives sont Scribe et Chukwa pour les plus connus, et également Kafka même si ce dernier répond à d’autres problématiques de par sa nature (messagerie publish/subscribe).

Flume a récemment subit un lifting profond. Il aura fallu 1 an pour refondre son architecture depuis Août 2011 et réécrire certains de ses composants coeurs. Aujourd’hui, 6 mois après la première release stable, Flume NG (version 1.x) est fiable, performant, définitivement prêt pour la production. Bref il est temps de s’y pencher sérieusement. Je vous propose donc de brosser un tableau de la solution à travers ce billet, en regardant de près ses forces, mais aussi ses faiblesses…

Lire la suite

5 bonnes raisons de déployer en continu

Depuis la présentation retentissante de John Allspaw à Velocity 2009 sur la collaboration entre dev et ops, où il explique que chez Flickr le rythme de déploiement en production dépasse les 10 par jour, on entend beaucoup parler de « continuous delivery » et « continuous deployment ». Ce dernier se différencie par une automatisation complète de la chaîne de fabrication et déploiement entre le commit du développeur et le déploiement en production, alors que le « continuous delivery » préconise des interventions manuelles (simples « push-button ») pour approbation humaine de certaines étapes : tests fonctionnels manuels, test d’usabilité, contrôle des déploiements par le marketing, etc. J’emploierai le terme « déploiement continu » dans cet article pour regrouper les deux notions. Quelques sociétés nous font part de leur retour d’expérience : pour exemple un présentation du QCon San Francisco 2010 où il est cette fois question de 50 déploiements par jour! (rien que ça…) Ou encore plus récemment le talk de Facebook sur la culture et les outils qui leur permet de déployer tous les jours.

Comme beaucoup, je me suis d’abord demandé plusieurs fois : “Franchement… quel est l’intérêt de déployer tous les jours ?”. Je suis aujourd’hui convaincu que ce n’est pas un délire de geek ou une volonté d’être inscrit aux Guinness World Records. Voici les 5 raisons majeures de s’y intéresser.

Lire la suite

OCTO accueille le 3ème meetup devops parisien le 16 mars

OCTO accueille le troisième meetup devops parisien, le mercredi 16 mars à 19h.

Au programme, de courtes présentations sur la culture devops (déjà évoqué sur ce blog ici et ), et plus précisémment les méthodologies, process et outils permettant de favoriser la coopération entre études et production.
Il est notamment prévu :

  • une introduction orientée organisationnel
  • un retour d’expérience sur la mise en place d’un processus de déploiement continue avec les outils Rundeck et Jenkins.

C’est aussi et surtout l’occasion d’échanger avec des gens intéressés par le mouvement : développeurs, exploitants, architectes, testeurs, managers, etc.
Donc venez avec vos sujets, vos questions et vos retours d’expérience, on fera le programme ensemble !

Pensez à vous inscrire et notez bien l’adresse :
OCTO Technology
50 avenue des Champs Elysées (métro Franklin Roosvelt) - 5ème étage

Retour des DevOpsDays 2010 à Hambourg

Le 15 et 16 Octobre ont eu lieu les DevOpsDays 2010 à Hamburg. Cette conférence est l’occasion de réunir les DevOps désireux d’apprendre des retours d’expérience et surtout d’échanger via des Open Spaces. Si le terme DevOps est nouveau pour vous, je vous conseille de lire cet article d’introduction.

Un an après la première édition en Belgique, et un passage aux quatre coins du globe (US, Australie et Brésil), on peut dire que le mouvement prend de l’ampleur : le retour en Europe fût un réel succès ! Je vous propose ici un résumé de ces deux jours passionnants autour de 4 axes : des outils, des processus et méthodologies, de l’architecture, et enfin la culture et le facteur humain.

Lire la suite

Optimiser le temps de chargement d’une application GWT (2/2)

La première partie de cet article a permis d’introduire la problématique de chargement des RIA, en commençant par expliquer comment optimiser le temps de téléchargement d’une application web basée sur GWT, notamment à travers la modularisation. Cette deuxième partie aborde l’optimisation du temps d’initialisation d’une application sur le browser, toujours illustré à travers la technologie GWT. Lire la suite

Optimiser le temps de chargement d’une application GWT (1/2)

Le temps de chargement d’une application informatique est un point essentiel en terme d’usabilité. Il a un impact important sur l’expérience utilisateur, tellement important qu’il peut être le facteur décisif d’adhésion ou de rejet de l’application par les utilisateurs qui se font un avis en 2-3 secondes. On a tous des exemples douloureux en tête… ou pas d’ailleurs… et c’est bien ça le drame : ces applications passent aux oubliettes!
Lire la suite