Big Data

Hadoop : une plateforme de référence pour faire du Big Data

Utilisé par les géants du web comme Yahoo!, Twitter, LinkedIn, eBay et Amazon, Hadoop est un framework libre et open source. Aujourd’hui, il est une plateforme de référence qui permets analyser, stocker et manipuler de grandes quantités de données (dites Big Data).

Fonctionnement d’Hadoop

Basé sur le principe des grilles de calcul, Hadoop fractionne les fichiers en gros blocs et les distribue à travers les nœuds du cluster. Il comprend plusieurs composants : les principaux étant les nœuds maîtres (Master nodeset les travailleurs (Worker nodes). Les nœuds travailleurs sont parfois appelés nœuds esclaves (Slave nodes).

Hadoop_Cluster_Node_Types

Hadoop Cluster Node Types – Source : Hortonworks

Composition d’Hadoop

Le framework Hadoop se compose des modules suivants:

Module Définition
Hadoop Distributed File System (HDFS) Le système de gestion de fichiers distribués permet de stocker les données sur les machines du cluster
Hadoop Common Contient les bibliothèques et les utilitaires nécessaires aux autres modules Hadoop
Hadoop YARN (Yet Another Resource Negotiator) Une plate-forme chargée de la gestion des ressources informatiques du clusters et de les utiliser pour la planification des applications des utilisateurs
Hadoop MapReduce Une implémentation du modèle de programmation MapReduce pour le traitement des données à grande échelle

D’autre part, le mot Hadoop se réfère également à son écosystème et à l’ensemble des logiciels comme Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache oozie et Apache Storm. Lire la suite

Agile

3 discussions que vous devez être prêt à avoir avec votre équipe technique en tant que Product Owner

Être product owner ou manager au sein d’une équipe produit c’est essayer de prendre les bonnes décisions au quotidien pour construire un produit viable, qui apporte de la valeur aux utilisateurs. Dans le logiciel, cela implique d’une façon ou d’une autre de prendre en compte l’aspect technique du produit. Il y a toujours un débat autour du type du profil qui doit être recruté : issu de la tech? Venu d’une business school? Ou ayant un passé de designer? Ce n’est pas le débat que je veux ouvrir ici.

La seule chose dont je suis intimement persuadé, c’est que quelque soit l’origine du PO/PM, il est un outil de communication au service du client, du produit, de l’entreprise et de l’équipe. De fait, il est obligatoirement amené à échanger avec les équipes techniques. Si vous êtes PO/PM et que vous n’avez jamais d’échanges directs avec les développeurs et le tech lead de votre équipe, vous ratez quelque chose.

Les décisions techniques deviennent forcément stratégiques dans la vie de votre produit, et doivent être en adéquation avec les enjeux de votre entreprise. Ci-dessous, j’essaie de décrire quelques discussions que je considère importantes voir indispensables à avoir avec votre équipe technique. (Attention, les scénarios présentés sont simplifiés au possible et pas toujours exhaustifs)

Lire la suite

Évènement

Software Craftsmanship en Entreprise – le How to détaillé par les experts OCTO dans un nouveau Livre Blanc

Culture Code – Better Places with Better Code

eXreme Programming, Coding Dojo, revue de code, Test Driven Development, Code propre,  Pair Programming,chez OCTO, nous avons une conviction : le développement de logiciels est un savoir-faire, qui s’acquiert via l’expérience et l’accompagnement de ses pairs, comme dans l’artisanat. Une simple formation n’est pas suffisante : le développement est un métier, il nécessite un apprentissage permanent qui passe par la programmation mais aussi par les pratiques de développement associées. Lire la suite

Brèves de consultants

Retour sur la masterclass Innovation de Futurs Publics

Comment booster l’Innovation ?

J’ai eu l’honneur d’être invité à l’anniversaire de la communauté Futurs Publics qui est une communauté d’Innovateurs du Secteur Public. J’ai pu intervenir dans la masterclass « Comment booster l’innovation » qui avait pour vocation d’être une intervention inspirante et actionnable. Nous étions deux intervenants : Jean Michel Billaut et moi-même. Nous portions deux visions complémentaires du besoin d’innover et des réponses à apporter ou à susciter mais une différence fondamentale nous a distingué nettement que je résumerai par cette question : faut-il faire peur ou délivrer un message d’espoir pour favoriser l’innovation ?

Extrait Live-tweet masterclass

https://twitter.com/Julia_socent/status/720241948980719617

Lire la suite

Culture Hacking

Compte-rendu du Petit-déjeuner Culture Hacking ou comment changer le changement ?

« Hack the invisible to make results visible »

Le petit-déjeuner Culture Hacking, organisé par OCTO, était définitivement placé sous le signe du changement. À commencer par le lieu : la terrasse du Numa, une première pour ce type d’évènement OCTO, et le parfait terrain de jeux pour les intervenants de cette matinée, Lan Levy, Marc Cherfi et Alexis Nicolas.

Ce changement de décors correspondaient aussi parfaitement à l’ambition du petit-déjeuner ; proposer aux participants un environnement différent de ce à quoi ils s’attendaient. Créer un questionnement, proposer une expérience et pour en faire jaillir des idées d’actions concrètes. Bref, le mix parfait pour mieux cerner les enjeux du Culture Hacking. Lire la suite

IoT

Vision Internet des Objets 2020

Introduction

Ce billet a pour objectif de donner une vision de l’évolution de l’architecture de l’Internet des objets (IoT) sur un horizon de 5 ans. Nous abordons également les impacts en termes d’émergence de nouveaux acteurs-business opérant et exploitant les systèmes d’IoT. Lire la suite

Évènement

OCTO Australie recrute des Français !

Happy Birthday to you, OCTO OZ !

OCTO a atteint sa majorité cette année : 18 ans d’existence le 1er avril (ce n’est pas une blague).

Concomitamment, OCTO OZ (prononcez « ozzie »), la filiale australienne, a célébré sa première année d’existence le 1er avril, et ce n’est pas une blague non plus.

Lire la suite

Archi & techno

Nous étions à la KubeCon Europe (2/2)

Kubernetes et son écosystème pour la production

La KubeCon n’était pas que l’occasion de présenter la roadmap et les nouvelles fonctionalités de Kubernetes. C’était aussi l’occasion de faire le point sur son écosystème grandissant et sur son utilisation en production.

Pour être serein en production, nous nous attendons à ce qu’un framework comme Kubernetes propose :

  • Une installation automatisée et idempotente
  • Du cloisonnement d’environnement (Multitenant)
  • De la persistence sur les données
  • Du monitoring
  • De la haute disponibilité
  • Du Continuous Intégration et du Continuous Delivery
  • Des stratégies de tests d’intégration

C’est l’ensemble de ces aspects traités pendant les conférences que nous allons développer dans la suite de cet article.

Lire la suite

Digitalisation

Faut-il être schizophrène pour Innover dans un grand groupe et en particulier dans les banques ?

Les horizons de l’Innovation et les grands groupes bancaires

L’innovation est à la mode. Devenu un mot attrape-tout, il est utilisé à tort et à travers ce qui brouille sa signification. Pour le Petit Robert, c’est l’Introduction de quelque chose de nouveau dans une chose établie. Pour nous, c’est apporter du progrès véritable dans le monde réel. Si la Recherche consiste à dépenser de l’argent pour trouver des idées, l’Innovation consiste à utiliser des idées pour créer de la valeur.  

Pour Yves Dubreil en préface de l’ouvrage « Relevez le défi de l’Innovation de rupture » :

Quand on a un marteau on voit tous ses problèmes comme des clous.

Quand on a un marteau on voit tous ses problèmes comme des clous.

Il faut donc développer des organisations et outils nouveaux car ceux ne sont pas les outils du business as usual que l’on utilisera pour innover. Il faudra savoir voir comment créer une organisation qui risque de créer un conflit avec celle existante sans perdre de vue la création de valeur. Sans création de valeur, l’Innovation est une prise de risque sans intérêt.

Ok, mais on fait comment ?

Lire la suite