Après trois jours de Devoxx où j’ai assisté à de nombreuses présentations il me semble identifier une tendance forte pour l’avenir de notre profession. J’ai assisté à des conférences très différentes sur des sujets très variés. Elles ont un point commun.

Nous sommes à un jalon de notre profession. Nous ne travaillerons pas demain comme
aujourd’hui. En effet, nous devrons trouver des solutions à un nouveau challenge : comment gérer l’augmentation des volumes à traiter sans pouvoir augmenter la puissance des traitements ?

La réponse est l’immuabilité. Un objet est construit puis n’évolue plus.

(Lire la suite…)

Présentation

Lors du Hadoop Summit 2013, HortonWorks a présenté Ambari, un projet d’inbubation Apache destiné à la supervision et à l’administration de clusters Hadoop.

Ambari se positionne en alternative à Chef, Puppet ou encore au Cloudera Manager.

Le projet est aujourd’hui au stade de l’incubation, ce qui signifie que ses fonctionnalités sont encore limitées.

Ambari ne se limite pas à Hadoop mais permet de gérer également les outils de l’écosystème. Les outils annoncés sont :

• HDFS

• Hadoop 1.0 uniquement, la version 2.0 devrait être supportée courant Juin

• MapReduce

• Hive, HCatalog

• Oozie

• HBase

• Ganglia, Nagios

• Tous les outils de la distribution d’HortonWorks

Bien qu’Hadoop 1.0 soit supporté, Ambari ne supporte pas les distributions dont l’installation ne repose pas sur Apache BigTop.

Enfin, l’une des particularités d’Ambari par rapport à ses concurrents est qu’il est orienté API et extensbilité.

En effet, il est possible d’intéragir avec Ambari au travers de son API REST et le projet est conçu de sorte qu’il soit possible d’ajouter facilement des modules pour gérer des produits tiers.

(Lire la suite…)

Présentation

Le Hadoop Summit arrive en Europe, et pour sa première édition Européenne, c’est la ville d’Amsterdam qui a été choisie.

Beaucoup d’acteurs importants du monde Hadoop étaient présents : LinkedIn, HP, RedHat, Yahoo, HortonWorks, Cloudera, Microsoft, …

L’article qui suit est un retour sur ce qui nous avons de retenu d’un point de vue architecture et technique de ces deux jours riches en conférences.

(Lire la suite…)

Introduction

   Il y a deux ans approximativement, j’écrivais dans ce même blog que les agences bancaires étaient menacées. Deux ans après, j’ai envie de dire que les signaux se multiplient, et qu’au-delà de la menace sur les agences c’est le cœur de métier même de la banque qui pourrait être touché.

   Les signaux viennent de plusieurs endroits : d’une part par les banques en ligne qui sont en train de se propager vers une clientèle de plus en plus étendues (les CSP+ ne sont plus les seuls à migrer) (les français adoptent la banque en ligne) et sur des métiers jusque-là chasse gardée des agences (ex. le crédit immobilier) et d’autres part par la venue d’acteurs non bancaires sur certains secteurs métier clé comme les paiements, l’épargne ou la monnaie.

    Mais reprenons notre découpage métier d’il y a deux ans et regardons ce qui a évolué.

(Lire la suite…)

Introduction

A OCTO, nous suivons depuis quelques années déjà l’évolution de la base NoSQL Apache Cassandra. La sortie de la version 1.2 en janvier 2013 nous donne l’occasion de faire le tour d’horizon des évolutions récentes du produit. En résumé, on observe récemment une amélioration de l’expérience d’utilisation de Cassandra grâce à une simplification de la modélisation des données, du requêtage et de l’administration pour les opérationnels. Le tout en gardant les fondamentaux de la solution à savoir les performances, la disponibilité et la scalabilité.

(Lire la suite…)

Les données sont au cœur de votre business. Susceptible de reporter la mise en production de votre nouvelle application, il faut considérer la reprise de données comme une étape importante de votre processus de refonte.

La reprise de données est un aspect technique particulier de la refonte qui doit être pris en charge par une équipe dédiée (il suffit d’un développeur et d’un PO pour former une équipe) dès le début du projet afin d’anticiper la complexité des règles de reprise, de vérifier le bon fonctionnement de l’application (et oui !) et d’éviter des choix de conception logicielle pouvant bloquer la reprise.

Si vous comptez vous lancer dans cet exercice périlleux, voici quelques retours d’expériences issus d’un projet de refonte d’une application client lourd vers une architecture cible classique (web, java, hibernate, …), mené en agile, avec en parallèle et sur le même rythme agile, le projet de reprise de données.

(Lire la suite…)

En 2001, en travaillant dans un BICC (BI Competence Center), j’entamais une réflexion avec mon client sur la définition de l’offre de service que devait porter le BICC vis-à-vis des différents métiers demandeurs de solution décisionnelle. Ce travail nous avait alors permis, sur la base de l’identification et la classification des grands besoins de nos utilisateurs, de proposer une matrice de décision aiguillant les projets vers la solution la plus adéquate (2 architectures et 3 solutions logicielles différentes à l’époque). C’était intéressant et innovant à l’époque même si le champ des possibles était encore assez restreint. (Lire la suite…)

Avec les approches BigData, et plus précisément grâce à une plateforme Hadoop, vous allez enfin avoir la possibilité d’extraire l’information de ces dizaines de téra-octets que vous stockez dans votre infocentre. Et mieux : commencer à vous intéresser à des données moins structurées, qu’elles soient internes (des weblogs par exemple), ou externes (réseaux sociaux, partenaires), pour en apprendre encore plus sur votre business.

Les technologies comme Hadoop sont un vrai changement de paradigme par rapport à ce que nous avons traditionnellement dans nos SI. Un projet Hadoop s’inscrit clairement dans une démarche d’innovation : il y a une courbe d’apprentissage, et cela nécessite une conduite projet spécifique. Du cadrage à l’organisation projet, en passant par le tuning : c’est ce que nous allons voir dans cet article.

(Lire la suite…)

Flume est une solution de collecte, aggrégation et transfert de gros volumes de logs. Il a été pensé pour gérer des débits importants avec une fonctionnalité native d’écriture dans HDFS au fil de l’eau. Pour gérer ces gros volumes/débits, il se doit d’être très scalable, et donc distribué. L’outil fait partie de l’écosystème Big Data open source Hadoop. Pour vous aider à le situer, ses alternatives sont Scribe et Chukwa pour les plus connus, et également Kafka même si ce dernier répond à d’autres problématiques de par sa nature (messagerie publish/subscribe).

Flume a récemment subit un lifting profond. Il aura fallu 1 an pour refondre son architecture depuis Août 2011 et réécrire certains de ses composants coeurs. Aujourd’hui, 6 mois après la première release stable, Flume NG (version 1.x) est fiable, performant, définitivement prêt pour la production. Bref il est temps de s’y pencher sérieusement. Je vous propose donc de brosser un tableau de la solution à travers ce billet, en regardant de près ses forces, mais aussi ses faiblesses…

(Lire la suite…)

En octobre 2012, le nombre d’applications présentes sur le Play Store a dépassé la valeur phare de 700 000 apps, détrônant par cette occasion l’App Store de sa place de magasin d’apps le plus fourni.

Face à ce nombre démesuré, un constat s’impose : développer la meilleure application possible est un effort vain si celle-ci n’est pas marketée correctement ! Le produit risque en effet de se retrouver noyé dans la masse et pire, de ne jamais être trouvé par ses utilisateurs !

Si vous vous apprêtez à publier une application prochainement, voici les questions et points essentiels à préparer avant la sortie sur les stores iOS et Android.

(Lire la suite…)