Améliorer la performance des jobs Hadoop sur HDInsight

Cela fait quelque temps que j’expérimente des Tips & Tricks sur mes algos pour traiter de la data de façon performante et comme ça a été plutôt concluant dans mon cas, j’ai mis tout ça au propre pour les partager ici avec vous.

Les quatre optimisations que je présente ici vont faire passer le temps d’exécution de 45 minutes à moins de 3 minutes. La plus importante étant le passage d’un script Pig à un code MapReduce.
Lire la suite

Big Data et banque privée, quels usages ?

Article paru dans le magazine ICT Journal du mois de Mars 2014.

Les technologies Big Data sont de plus en plus utilisées au sein des banques de détail pour le profilage des clients ou les activités marketing. Au sein des banques privées, cependant, les applications sont moins évidentes et les initiatives peu nombreuses. Les opportunités existent pourtant bel et bien, et elles sont surprenantes.

Lire la suite

PFM : de la catégorisation aux BigData

Introduction

Depuis 3 ans on parle du PFM (Personal Finance Management; OCTO Assiste à Finovate) l’adoption est en progression constante mais reste au final timide. Alors que l’on espérait beaucoup de cette approche innovante de gestion de nos comptes bancaires, pourquoi n’y a-t-il pas un raz de marée sur cet usage. Aucune solution idéale ne semble se dégager des différentes approches. Eh bien, c’est qu’en fait il n’y en a pas.

En fonction des usages (ça y est le mot est lâché) plusieurs types d’interfaces du PFM sont utiles et nécessaires. Aux réunions design chez Linxo, où l’on décide des prochaines fonctionnalités à mettre en production, Bruno Van Haetsdaele (CEO de Linxo) est lui-même très étonné à quel point chaque personne conceptualise ses finances différemment. Les critères sont multiples : CSP, situation familiale, âge, relation à l’argent… Certains cherchent plus l’épargne et la vision de leur patrimoine et comment il évolue, d’autres sont plus tournés sur le budget et la gestion quotidienne avec des objectifs ou de la « gamification », ou encore les acheteurs compulsifs friands des offres promotionnelles ont parfois cruellement besoin qu’on les aide à piloter leur trésorerie ou à épargner, etc… Bref, il y a encore de la place pour de l’innovation.

Lire la suite

Analyse prédictive en temps réel : machine learning avec Storm et Scikit-Learn

Vous avez beaucoup de données, des technos de calcul distribué  à la mode et vous ne savez pas quoi en faire? Bienvenue dans l’écosystème Big Data.

 

Les technologies Big Data fleurissent et avec elles de nombreux enjeux architecturaux. L’un d’entre eux est notamment la difficulté à profiter des capacités de calcul pour réaliser des traitements statistiques sophistiqués. En effet le développement d’algorithmes de machine learning dans un contexte distribué voir incrémental est très complexe. De plus les analystes de données sont historiquement liés à des technologies telles que R, Matlab ou Python. Ces technos ne sont pas aisément parallélisables et ne font pas partie de l’univers Java, contrairement aux Hadoops, Storms, Sparks et consorts.

 

Dans cet article, nous allons étudier une piste pour réconcilier ces braves gens et nous intéresser à Storm et Scikit-Learn. Mais avant, quelques rappels.

  Lire la suite

Compte-rendu petit-déjeuner : Calculez vos indicateurs en temps réel, en partenariat avec EDF R&D

Intervenants :

Marie-Luce Picard, Chef de Projet à EDF R&D

Benoît Grossin, Ingénieur de Recherche à EDF R&D

Julien Cabot, Directeur du pôle Big Data Analytics chez OCTO Technology

Rémy Saissy, Architecte chez OCTO Technology

Les slides de la présentation sont disponibles sur notre Slideshare : cliquez ici.

Un compte-rendu du petit-déjeuner est disponible ici.

Lire la suite

OCTO Suisse était à SoftShake 2013

Les 24 et 25 octobre, OCTO Suisse sponsorisait la conférence SoftShake 2013 à Genève qui proposait plus de 100 sessions sur les thèmes de la programmation fonctionnelle, la gamification, le développement Java, Web, Microsoft et mobile,  le Big Data / noSQL et l’Agilité.

Cet événement au contenu de qualité était animé dans un esprit de camaraderie que nous apprécions tout particulièrement.
OCTO y présentait 6 sessions sur les sujets suivants:

Retrouvez ci-dessous les résumés et slides de ces sessions.
Lire la suite

Petit-déjeuner : Calculez vos indicateurs en temps réel – Retour d’expérience sur une expérimentation avec Storm le jeudi 7 novembre

 

Calculez vos indicateurs en temps réel

Le Big Data touche le paroxysme de sa médiatisation. Tout est devenu Big Data, mélangeant nouvelles approches métiers, technologies et business models.

De vraies opportunités se présentent toutefois. Ainsi, la capacité à suivre en temps réel les indicateurs clés du business à partir d’un nombre croissant de sources de données est un challenge que le « Big Data » peut relever. Lire la suite