Map/Reduce

Consulting Chronicles

Introduction to Datastax Brisk : an Hadoop and Cassandra distribution

Posté le par Jordan Pittier

As the Apache Hadoop ecosystem grows while its core matures, there are now several companies providing business-class Hadoop distribution and services. While EMC, after it acquires Greenplum, seem the biggest player other companies such as Cloudera or MapR are also competing. This article introduces Datastax Brisk, an innovative Hadoop distribution that leverage Apache Hive data warehouse infrastructure on top of an HDFS-compatible storage layer, based on Cassandra. Brisk try to reconcile real-time applications with low-latency requirement (OLTP) and big data analytics (OLAP) in one system.…

Lire la suite
Archi & techno

Ma lecture de l’architecture de Percolator : un composant du moteur de recherche Google

Posté le par Marc Bojoly

En avril 2010, Google a mis à jour son système d'indexation. Caffeine - le nom de ce projet - est sans doute passé inaperçu pour le grand public mais il représente un changement profond pour Google. Il n'améliore pas directement la page de recherche, comme a pu le faire instant search, mais il améliore le mécanisme d'indexation, ce qui permet de fournir des résultats pertinents. Pour l'utilisateur final, cette amélioration permet de réduire le délai entre le moment où une page est découverte sur le…

Lire la suite
Archi & Techno

My reading of Percolator architecture: a Google search engine component

Posté le par Marc Bojoly

In April 2010, Google updated its indexing system. Caffeine - the name of this project - was pretty transparent for the large public but represents an in depth change for Google. It does not directly improve the search page, like instant search, but the indexing mechanism, the way to provide pertinent search results. For the end user, this change allows reducing the delay between when a page is founded and when it is made available in the Google search. Google has recently published a research…

Lire la suite
Archi & techno

Utiliser Hadoop pour le calcul de la Value At Risk Partie 6

Posté le par Marc Bojoly

Dans le premier article de cette série, j'ai introduit pourquoi le framework Hadoop peut être utile pour calculer la VAR et analyser les données intermédiaires. Dans le second, troisième et quatrième article j'ai détaillé deux implémentations concrètes du calcul de la VAR avec Hadoop. Ensuite dans le cinquième article, j'ai étudié comment analyser les résultats intermédiaires avec Hive. Je vais enfin vous donner quelques chiffres de performances sur Hadoop et les comparer à ceux sur GridGain. Grâce à ces chiffres, je détaillerai certains points capitaux…

Lire la suite
Archi & Techno

Using Hadoop for Value At Risk calculation Part 6

Posté le par Marc Bojoly

In the first part, I described the potential interest of using Hadoop for Value At Risk calculation in order to analyze intermediate results. In the three (2,3, 4) next parts I have detailled how to implement the VAR calculation with Hadoop. Then in the fifth part, I have studied how to analyse the intermediate results with Hive. I will finally give you now some performance figures on Hadoop and compare them with GridGain ones. According to those figures, I will detail some performance key points…

Lire la suite
Archi & techno

Utiliser Hadoop pour le calcul de la Value At Risk Partie 4

Posté le par Marc Bojoly

Dans le premier article de cette série, j'ai introduit pourquoi le framework Hadoop peut être utile pour calculer la VAR et analyser les données intermédiaires. Dans le second et le troisième article j'ai donné deux implémentations concrètes du calcul de la VAR avec Hadoop. Je vais maintenant m'attarder sur certains détails d'optimisation utilisés dans ces implémentations.

Lire la suite
Archi & Techno

Using Hadoop for Value At Risk calculation Part 4

Posté le par Marc Bojoly

In the first part of this series, I have introduced why Hadoop framework could be useful to compute the VAR and analyze intermediate values. In the second part and in the third part I have given two concrete implementations of VAR calculation with Hadoop. I will now give you some details about the optimizations used in those implementations.

Lire la suite
Archi & techno

Utiliser Hadoop pour le calcul de la Value At Risk Partie 3

Posté le par Marc Bojoly

Dans le premier article de cette série, j'ai introduit pourquoi le framework Hadoop pouvait être utilisé pour calculer la VAR et analyser les valeurs intermédiaires. Dans le second article j'ai décrit une première implémentation. Un inconvénient de cette précédente implémentation est qu'elle ne tire pas pleinement partie du pattern reduce. Je réalise le travail manuellement. Je vais désormais utiliser pleinement la fonctionnalité reduce.

Lire la suite
Archi & Techno

Using Hadoop for Value At Risk calculation Part 3

Posté le par Marc Bojoly

In the first part of this series, I have introduced why Hadoop framework could be useful to compute the VAR and analyze intermediate values. In the second part I have described a first implementation. One drawback of this previous implementation is that it does not take advantage of the reduce pattern. I did it by hand. I will now fully use Hadoop reduce feature.

Lire la suite