Dans le premier article de cette série, j’ai introduit pourquoi le framework Hadoop peut être utile pour calculer la VAR et analyser les données intermédiaires. Dans le second, troisième et quatrième article j’ai détaillé deux implémentations concrètes du calcul de la VAR avec Hadoop. Ensuite dans le cinquième article, j’ai étudié comment analyser les résultats intermédiaires avec Hive. Je vais enfin vous donner quelques chiffres de performances sur Hadoop et les comparer à ceux sur GridGain. Grâce à ces chiffres, je détaillerai certains points capitaux pour les performances lorsqu’on utilise ce type d’outils. Pour finir, je concluerai sur l’intérêt d’Hadoop pour réaliser ce type de calcul.
(Lire la suite…)

Dans le premier article de cette série, j’ai introduit pourquoi le framework Hadoop peut être utile pour calculer la VAR et analyser les données intermédiaires. Dans les second, troisième et quatrième articles j’ai donné deux implémentations concrètes du calcul de la VAR avec Hadoop ainsi que des détails d’optimisation. Un autre intérêt d’utiliser Hadoop pour le calcul de la Value At Risk est la possibilité d’analyser les valeurs intermédiaires au sein d’Hadoop avec Hive. C’est l’objet de ce (petit) article au sein de cette série.
(Lire la suite…)

Dans le premier article de cette série, j’ai introduit pourquoi le framework Hadoop peut être utile pour calculer la VAR et analyser les données intermédiaires. Dans le second et le troisième article j’ai donné deux implémentations concrètes du calcul de la VAR avec Hadoop. Je vais maintenant m’attarder sur certains détails d’optimisation utilisés dans ces implémentations.
(Lire la suite…)

Dans le premier article de cette série, j’ai introduit pourquoi le framework Hadoop pouvait être utilisé pour calculer la VAR et analyser les valeurs intermédiaires. Dans le second article j’ai décrit une première implémentation. Un inconvénient de cette précédente implémentation est qu’elle ne tire pas pleinement partie du pattern reduce. Je réalise le travail manuellement. Je vais désormais utiliser pleinement la fonctionnalité reduce.
(Lire la suite…)

Dans le premier article de la série, j’ai introduit pourquoi le framework Hadoop pouvait être utile pour calculer la VAR et analyser les résultats intermédiaires. Dans ce second article je vais décrire une première implémentation du calcul de la VAR avec Hadoop.
(Lire la suite…)

Après avoir introduit la Value At Risk dans mon premier article, je l’ai implémentée en utilisant GridGain dans mon second article. J’ai conclu dans ce dernier que les performances relativement bonnes obtenues étaient liées aux optimisations réalisées. L’une d’elles était basée sur l’hypothèse que les résultats intermédiaires – les prix issus de chaque tirage – pouvaient être oubliés. Cependant, ce n’est pas toujours le cas. Conserver les paramètres de génération et les prix des calls pour chaque tirage peut être très utile pour le métier afin de pouvoir analyser l’influence des différents paramètres. De telles données sont souvent traitées par des outils de Business Intelligence. Le calcul de la VAR n’est peut être pas le meilleur exemple pour illustrer ce besoin métier mais je vais le réutiliser car il a déjà été introduit dans un précédent artcile. L’objectif de cette série d’articles sera de calculer la Value At Risk et de conserver tous les résultats, de façon à pouvoir les analyser.

• Dans la première partie, je décrirai comment conserver ces données aussi bien avec GridGain qu’avec Hadoop
• Dans les trois parties suivantes, je décrirai en détail les implémentations avec Hadoop. Ces parties fournissent des exemples de code très utiles mais peuvent être ignorées au besoin en première lecture
• Dans la cinquième partie, je montrerai comment utiliser Hadoop pour réutiliser de l’analyser décisionnelle sur ces données
• Et dans la dernière partie, je donnerai quelques chiffres de performances et sur les possibilités d’amélioration

(Lire la suite…)

Après un premier article introduisant l’intérêt de la Value At Risk and du calcul en grille, nous allons désormais étudier l’implémentation de cet algorithme en utilisant un middleware de calcul en grille. J’ai choisi GridGain, un middleware open source qui implémente le pattern map/reduce (cf. mon précédent article). Pour commencer, je vais donner un aperçu de l’implémentation de la Value At Risk indépendamment de l’architecture de calcul en grille. Ensuite, je décrirai le middleware GridGain et les classes à implémenter pour tirer parti de la grille. Enfin, je fournirai quelques mesures de performances prises sur mon portable et proposerai quelques pistes d’optimisation.
(Lire la suite…)

La gestion des risques est aujourd’hui un objectif stratégique pour les institutions financières telles les banques d’investissement et les compagnies d’assurance. Une telle évaluation du risque utilise des mathématiques théoriques avancées et nécessite une grande puissance de calcul. Dans cet article, nous allons introduire les concepts de base de l’estimation de la Value At Risk de façon à montrer quel type de calcul est requis. Nous allons introduire le calcul en grille (grid computing) de façon à montrer de quelle façon une telle architecture peut aider les institutions financières à produire rapidement cet indicateur très important. Dans de futurs articles, nous décrirons en détail les implémentations de cet algorithme sur plusieurs intergiciels (middlewares) de calcul en grille.
(Lire la suite…)