spark | OCTO Talks !

Big Data

Machine Learning – 7 astuces pour scaler Python sur de grands datasets

Posté le 09/01/2019 par Aurélien Massiot

Python est le langage privilégié chez les Data Scientists, notamment grâce à toutes ses librairies open-source et sa facilité de mise en production du code. Pourtant, à mesure que la volumétrie des données augmente, le passage à des paradigmes différents comme ceux de Spark et Hadoop est recommandé car plus scalable. Cependant, cela nécessite souvent de mettre en place une infrastructure et d’adapter son code. Voici quelques astuces qui permettent d’étendre l’utilité de Python pour des datasets de plusieurs gigaoctets dans un contexte mono-machine. 1…

Archi & techno

#LaDuckConf 2019 : découvrez les premiers talks !

Posté le 27/11/2018 par Joy Boswell

Vous êtes un·e habitué·e du blog OCTO ? Et si vous veniez voir les auteurs des articles en conférence ? #LaDuckConf est la seule conférence tech consacrée à l'architecture de SI, dispensée en grande majorité par nos experts maison : 1 journée, 300 participants attendus Une dizaine de talks fondés sur des expériences terrain Un line-up d’experts sur les architectures techniques, big data, DevOps. Découvrez les noms des premiers intervenants et les sujets de leurs talks. RDV le 29 janvier 2019, à L'Espace Saint Martin (Paris…

Archi & techno

Spark + AI Summit Europe 2018

Posté le 12/10/2018 par Benoit Meriaux, Adrien Besnard, Alexandru Urdareanu, Philippe Prados, Thomas Carayol

La semaine dernière, nous nous sommes rendus à Londres pour assister à la conférence de référence sur Apache Spark en Europe ; qui s’est pour l’occasion renommée en Spark + AI Summit. Au fur et à mesure des conférences, trois sujets majeurs ont émergé et nous ont permis de mieux appréhender l’évolution d’Apache Spark et la direction prise par le projet. TL;DR Premièrement, l’orientation prise par Databricks semble être un support de première classe pour les principaux frameworks Python de ML comme Tensorflow, Keras, PyTorch…

Archi & techno

Comment hacker Spark pour effectuer du data lineage

Posté le 23/01/2018 par Yacine Benabderrahmane

Cet article explore certains aspects clefs du lineage de données au niveau du data set, en indiquant comment il est possible de hacker le moteur Spark pour y parvenir.

Big Data

MythBuster: Apache Spark • Épisode 3: Génération de code à la volée

Posté le 29/11/2017 par Adrien Besnard, Marc Alonso

A la fin de l’épisode précédent, nous étions capables d’exécuter une requête SQL à partir d’un plan d'exécution optimisé. Ce fut notamment l’occasion de plonger au coeur du moteur d’optimisation Catalyst. Nous allons à présent nous intéresser à une optimisation issue du moteur Tungsten, embarquée dans Spark dès la version 2.0, qui remet en cause ce Volcano Model, pourtant standard sur la plupart des SGBDR…

Archi & techno

Compte rendu du Spark Summit 2017 (Dublin)

Posté le 08/11/2017 par Bastien Fiorentino, Laurent Ribiere, Marc Alonso, Roxanne Ricci

Les 25 et 26 Octobre derniers, nous nous sommes rendus à Dublin afin d’assister au Spark Summit, grand-messe incontournable du Big Data organisée chaque année en Europe et aux États-Unis par Databricks (la société fondée par les créateurs d’Apache Spark). De très nombreux intervenants de tous horizons (industriels, académiques, éditeurs, contributeurs, etc.) étaient au rendez-vous. Au total : plus de 1200 participants, deux journées de conférences, plus d’une centaine de talks (créneaux de 30 minutes) et jusqu’à six présentations en parallèle. Au bout du compte,…

Évènement

Petit-déjeuner : Un éléphant qui se balançait … – jeudi 5 octobre 2017

Posté le 21/09/2017 par Mélissa Vigogne

Comment mettre en musique les big data et valoriser les données avec de nouveaux services. BNP Paribas viendra témoigner de sa démarche avec un retour sur la mise en œuvre de ces nouvelles architectures de données. Un menu copieux pour cette rentrée des petits-déjeuner OCTO avec un focus sur les architectures de données, un témoignage de BNP Paribas, un retour sur la mise en œuvre de ces nouvelles architectures de données et, cerise sur le gâteau, une mise en perspective de la tendance vers des architectures de flux…

Big Data

MythBuster: Apache Spark • Épisode 2: Planification et exécution d’une requête SQL

Posté le 08/08/2017 par Adrien Besnard, Marc Alonso

Nous poursuivons aujourd'hui notre série d'articles dédiée à la démystification de Spark et plus particulièrement au moteur d'exécution Tungsten. Pour rappel, dans l'épisode précédent, nous sommes partis d'une requête SQL sous forme de String que nous avons d'abord découpée en une instance de Seq[Token] grâce à notre classe Lexer, puis en une instance d'AST grâce à notre classe Parser. L'arbre formé par l'AST obtenu en sortie permet d'avoir une structure avec laquelle il est relativement simple d'intéragir au travers de notre code. Dans cet épisode,…

Big Data

MythBuster: Apache Spark • Épisode 1: Parsing d’une requête SQL

Posté le 31/07/2017 par Adrien Besnard, Marc Alonso

Spark est en évolution constante et maintient un rythme soutenu de sorties de releases, en témoigne la dernière version en date, la 2.2. Dans cette série d'articles, nous allons revenir ensemble sur différentes mécaniques actuellement en place au sein de cet outil et essayer d'en comprendre le fonctionnement.

Archi & techno

Compte rendu du Spark Summit 2016

Posté le 22/11/2016 par Adrien Besnard, Yacine Benabderrahmane, Pédro Fillastre

Le 26 et 27 Octobre, nous nous sommes rendus à Bruxelles afin d'assister au Spark Summit, la conférence de référence sur Apache Spark. Durant ces journées de talks et keynotes, deux sujets de fond ont été régulièrement abordés : les nouveautés de la release de Spark 2.0 et comment assurer le suivi de Spark en production.