Archi & techno

Utiliser Hadoop pour le calcul de la Value At Risk Partie 3

Dans le premier article de cette série, j’ai introduit pourquoi le framework Hadoop pouvait être utilisé pour calculer la VAR et analyser les valeurs intermédiaires. Dans le second article j’ai décrit une première implémentation. Un inconvénient de cette précédente implémentation est qu’elle ne tire pas pleinement partie du pattern reduce. Je réalise le travail manuellement. Je vais désormais utiliser pleinement la fonctionnalité reduce.
Lire la suite

Évènement

CITCON London 2010: J-3

Nous aurons le plaisir de participer dans quelques jours à la CITCON Europe, qui aura lieu les 5 et 6 novembre à Londres.

La Continuous Integration and Testing CONference, c’est chaque année plus de 150 experts et passionnés qui se retrouvent pour partager et apprendre sur les sujets liés à l’intégration continue. L’an dernier, cela avait lieu à Paris (cf. le compte-rendu ici).

Les sujets abordés seront proposés par les participants dans des open-spaces.
Nous y parlerons de continuous delivery, ce principe qui vise à avoir en permanence une application livrable en production, qui rejoint sur la philosophie les méthodes agiles en général, ainsi que le mouvement DevOps (cf devops-le-mouvement-qui-tend-a-agilifier-votre-dsi/ et retour-des-devopsdays-2010-a-hambourg/).
Nous espérons également arborder l’intégration continue pour les nouvelles plateforme mobiles: iOS, Android…
Les questions du cloud, de la rapidité des tests et des méthodologies agiles seront sans aucun doute également de la partie.

Si ces sujets vous intéressent, n’oubliez pas de revenir lire notre compte-rendu de ces journées, dès la semaine prochaine.
Et si vous avez comme nous la chance d’y aller, faites-nous signes pour s’y retrouver.
À bientôt!

Archi & techno

Utiliser Hadoop pour le calcul de la Value At Risk Partie 1

Après avoir introduit la Value At Risk dans mon premier article, je l’ai implémentée en utilisant GridGain dans mon second article. J’ai conclu dans ce dernier que les performances relativement bonnes obtenues étaient liées aux optimisations réalisées. L’une d’elles était basée sur l’hypothèse que les résultats intermédiaires – les prix issus de chaque tirage – pouvaient être oubliés. Cependant, ce n’est pas toujours le cas. Conserver les paramètres de génération et les prix des calls pour chaque tirage peut être très utile pour le métier afin de pouvoir analyser l’influence des différents paramètres. De telles données sont souvent traitées par des outils de Business Intelligence. Le calcul de la VAR n’est peut être pas le meilleur exemple pour illustrer ce besoin métier mais je vais le réutiliser car il a déjà été introduit dans un précédent artcile. L’objectif de cette série d’articles sera de calculer la Value At Risk et de conserver tous les résultats, de façon à pouvoir les analyser.

  • Dans la première partie, je décrirai comment conserver ces données aussi bien avec GridGain qu’avec Hadoop
  • Dans les trois parties suivantes, je décrirai en détail les implémentations avec Hadoop. Ces parties fournissent des exemples de code très utiles mais peuvent être ignorées au besoin en première lecture
  • Dans la cinquième partie, je montrerai comment utiliser Hadoop pour réutiliser de l’analyser décisionnelle sur ces données
  • Et dans la dernière partie, je donnerai quelques chiffres de performances et sur les possibilités d’amélioration

Lire la suite

Archi & techno

EasyMock: Mythes et réalités

Il y a eu beaucoup de discussions sur le web dernièrement. À propos du meilleur framework de « mock ». EasyMock et Mockito sont fréquemment comparés. En particulier parce que Mockito est très inspiré par EasyMock (et utilise une partie du code technique) mais a sa propre syntaxe. Malheureusement, en lisant certaines comparaisons, j’ai noté certaines choses tout simplement fausses. Cet article a pour but de rétablir la vérité ainsi que de vous donner mon opinion sur les deux frameworks. Étant le développeur principal d’EasyMock, je suis bien sûr biaisé. Je pense toutefois avoir fait de mon mieux pour vous fournir une honnête comparaison.
Lire la suite

Archi & techno

Retour des DevOpsDays 2010 à Hambourg

Le 15 et 16 Octobre ont eu lieu les DevOpsDays 2010 à Hamburg. Cette conférence est l’occasion de réunir les DevOps désireux d’apprendre des retours d’expérience et surtout d’échanger via des Open Spaces. Si le terme DevOps est nouveau pour vous, je vous conseille de lire cet article d’introduction.

Un an après la première édition en Belgique, et un passage aux quatre coins du globe (US, Australie et Brésil), on peut dire que le mouvement prend de l’ampleur : le retour en Europe fût un réel succès ! Je vous propose ici un résumé de ces deux jours passionnants autour de 4 axes : des outils, des processus et méthodologies, de l’architecture, et enfin la culture et le facteur humain.

Lire la suite

Archi & techno

Outiller un audit de base de données

Chez OCTO nous réalisons beaucoup d’audits d’applications et ceux-ci comportent de plus en plus souvent un volet sur la base de données. Les motivations des audits sont diverses : le modèle de données est-il conforme à l’état de l’art ou à un standard d’entreprise ? Représente-t-il des risques pour l’application (performances, intégrité) ? Sera-t-il capable de supporter le lancement d’une telle fonctionnalité, triplant le nombre d’utilisateurs et la volumétrie ? Dans 10 ans et après 10 générations de prestataires, sera-t-il toujours lisible ? Comment mesurer la qualité des procédures stockées ?

Lire la suite

Archi & techno

HDFS, Hadoop & co…

Le monde noSQL est riche. Hadoop est un des éléments qui le compose.
« Globalement » un clone du Google Big Table et utilisant l’algorithme Map/Reduce, ce projet Apache est en fait composé de plusieurs sous-projets (HBase,Zookeeper….).

Vous me direz que depuis Google a changé son fusil d’épaule avec Big Query. Bref…

Ces articles (je l’espère complétés par d’autres) expliquent plus en détails les éléments de base concernant HDFS et Hadoop.

  • HDFS est un système de fichiers distribué, ie. réparti sur plusieurs machines physiques. Ce système de fichiers gère notamment le “fail-over” via la réplication des fichiers.
  • Hadoop. Hadoop est un moteur Map/Reduce qui fonctionne sur HDFS. Il permet d’analyser les données stockées sur HDFS. Mais Hadoop n’est pas forcément simple d’accès et deux DSL ont été développés et visent à s’abstraire de la complexité de Map/Reduce. Le premier est Pig et propose un langage de script. Le second est Hive est présente l’avantage de ressembler au langage SQL. Hive fournit également des connecteurs JDBC…
Stratégie SI

Vers une supervision IT de la performance métier du SI (1/2)

La maintenance des systèmes d’information en production est la tâche la plus coûteuse pour les DSI.

Dans un milieu hétérogène et complexe, la maîtrise du SI est donc un besoin vital pour la DSI mais également un but difficile à atteindre.

L’objectif de cet article en deux parties est de démontrer comment à partir d’une mise en place efficace de la supervision IT on peut construire des services apportant une réelle valeur au SI.

Dans la première partie, nous rappellerons ce qu’est la supervision sous sa forme la plus banalisé et comment l’utiliser pour atteindre un haut niveau de réactivité aux incidents.

Dans la deuxième partie, nous verrons que la supervision est un guide vers une meilleure connaissance de son SI et qu’elle peut aider à valoriser l’apport IT auprès  des directions métiers.

Lire la suite