Software Engineering
Dans le premier article de la série, j'ai introduit pourquoi le framework Hadoop pouvait être utile pour calculer la VAR et analyser les résultats intermédiaires. Dans ce second article je vais décrire une première implémentation du calcul de la VAR avec Hadoop.Implémentation de la fonction map avec HadoopCette implémentation est une adaptation du ...
Après avoir introduit la Value At Risk dans mon premier article, je l'ai implémentée en utilisant GridGain dans mon second article. J'ai conclu dans ce dernier que les performances relativement bonnes obtenues étaient liées aux optimisations réalisées. L'une d'elles était basée sur l'hypothèse que les résultats intermédiaires - les prix issus de ch...
After introducing the Value at Risk in my first article, I have implemented it using GridGain in my second article. I conclude in this latter that relatively good performances have been reached through some optimizations. One of them was based on the hypothesis that the intermediate results - the prices for each draw - can be discarded. However, it...
Il y a eu beaucoup de discussions sur le web dernièrement. À propos du meilleur framework de "mock". EasyMock et Mockito sont fréquemment comparés. En particulier parce que Mockito est très inspiré par EasyMock (et utilise une partie du code technique) mais a sa propre syntaxe. Malheureusement, en lisant certaines comparaisons, j'ai noté certaines ...
Ajouter un bloc « In short » : when is EasyMock useful and what mocking mistakes should be avoided ?
Le monde noSQL est riche. Hadoop est un des éléments qui le compose. "Globalement" un clone du Google Big Table et utilisant l'algorithme Map/Reduce, ce projet Apache est en fait composé de plusieurs sous-projets (HBase,Zookeeper....).Vous me direz que depuis Google a changé son fusil d'épaule avec Big Query. Bref...Ces articles (je l'espère complé...
Le 15 et 16 Octobre ont eu lieu les DevOpsDays 2010 à Hamburg. Cette conférence est l’occasion de réunir les DevOps désireux d’apprendre des retours d’expérience et surtout d’échanger via des Open Spaces. Si le terme DevOps est nouveau pour vous, je vous conseille de lire cet article d’introduction.Un an après la première édition en Belgique, et un...
Chez OCTO nous réalisons beaucoup d’audits d’applications et ceux-ci comportent de plus en plus souvent un volet sur la base de données. Les motivations des audits sont diverses : le modèle de données est-il conforme à l’état de l’art ou à un standard d’entreprise ? Représente-t-il des risques pour l’application (performances, intégrité) ? Sera-t-i...
HDFS stores huge amount of data but storing it is worthless if you cannot analyse it and obtain information.Option #1 : Hadoop : the Map/Reduce engineHadoop OverviewHadoop is a Map/Reduce framework that works on HDFS or on HBase. The main idea is to decompose a job into several and identical tasks that can be executed closer to the data (on the Dat...
HDFS, le système de fichiers distribué de Hadoop : architecture NameNode/DataNode, réplication et configuration expliquées.