Publications de Adrien Besnard

Big Data

MythBuster: Apache Spark • Épisode 3: Génération de code à la volée

 A la fin de l’épisode précédent, nous étions capables d’exécuter une requête SQL à partir d’un plan d'exécution optimisé. Ce fut notamment l’occasion de plonger au coeur du moteur d’optimisation Catalyst. Nous allons à présent nous intéresser à une optimisation issue du moteur Tungsten, embarquée dans Spark dès la version 2.0, qui remet en cause ce Volcano Model, pourtant standard sur la plupart des SGBDR…

Lire la suite
Big Data

MythBuster: Apache Spark • Épisode 2: Planification et exécution d’une requête SQL

Nous poursuivons aujourd'hui notre série d'articles dédiée à la démystification de Spark et plus particulièrement au moteur d'exécution Tungsten. Pour rappel, dans l'épisode précédent, nous sommes partis d'une requête SQL sous forme de String que nous avons d'abord découpée en une instance de Seq[Token] grâce à notre classe Lexer, puis en une instance d'AST grâce à notre classe Parser. L'arbre formé par l'AST obtenu en sortie permet d'avoir une structure avec laquelle il est relativement simple d'intéragir au travers de notre code. Dans cet épisode,…

Lire la suite
Archi & techno

5 services que systemd m’a déjà rendu

En un peu plus de 7 ans d'existence, systemd s’est peu à peu imposé comme le remplaçant par défaut du vieillissant init. On le trouve en effet installé et activé par défaut sur les distributions de Linux les plus couramment utilisées : Ubuntu depuis la 15.04, CentOS depuis la 7, et j'en passe... systemd a fait couler beaucoup d’encre sur les forum de la communauté des utilisateurs de Linux, à tel point qu’un fork de Debian sans systemd a même été lancé à la fin…

Lire la suite