Big Data

Python est le langage privilégié chez les Data Scientists, notamment grâce à toutes ses librairies open-source et sa facilité de mise en production du code. Pourtant, à mesure que la volumétrie des données augmente, le passage à des paradigmes différents comme ceux de Spark et Hadoop est recommandé car plus scalable. Cependant, cela nécessite souvent de mettre en place une infrastructure et d’adapter son code. Voici quelques astuces qui permettent d’étendre l’utilité de Python pour des datasets de plusieurs gigaoctets dans un contexte mono-machine. 1…

...mais on a rarement des réponses claires aux questions qu’on se pose ! La Duck Conf est faite pour ça ; pour partager et explorer des sujets pratiques, techniques, incontournables, qui nous font aimer l’archi. A commencer par les grands classiques : que faire du legacy ? Ou plus récemment, comment je me mets en conformité avec le RGPD ?... En s’attaquant à des sujets techniques pointus, comme celui des transactions distribuées en environnement microservices. Sans oublier de se faire plaisir avec des domaines plus…

La semaine dernière, nous nous sommes rendus à Londres pour assister à la conférence de référence sur Apache Spark en Europe ; qui s’est pour l’occasion renommée en Spark + AI Summit. Au fur et à mesure des conférences, trois sujets majeurs ont émergé et nous ont permis de mieux appréhender l’évolution d’Apache Spark et la direction prise par le projet. TL;DR Premièrement, l’orientation prise par Databricks semble être un support de première classe pour les principaux frameworks Python de ML comme Tensorflow, Keras, PyTorch…

Le datalake est un buzzword, un objet ambivalent et compliqué de nos systèmes d’informations. Portés par la hype, des architectes conçoivent des cluster Hadoop hors-sol, qui se retrouvent trop souvent sans utilisateurs, sans données ou sans applications métiers. L’éléphant accouche d’un souriceau. Dans cette session, Thomas Vial nous invite à sortir la tête de la vague big data et à revenir sur la terre ferme. Il nous guide dans une démarche pragmatique, pour construire les bases saines d’un projet de datalake. Il nous délivre un…

Lorsque l’on utilise un bus de message (MOM) la garantie de de livraison est un élément clé. La plupart des bus de messages supportent les modes "At Most One", "At Least One" et "Exactly Once", cela englobe les produits ActiveMQ, RabbitMQ ou très en vogue en ce moment, Kafka !

Appuyé sur de nombreux retours d’expériences et anecdotes récoltées sur le terrain, ce guide de survie des architectes édition Big Data nous donne des clefs pour appréhender cet écosystème riche et éviter les écueils les plus importants. Tout commence avec un besoin métier, besoin qui justifie la technique, et pas l’inverse.

En ce début d’année 2018, nous avons demandé à quelques Octos comment ils prévoient l’évolution de leur métier, des technologies, les ruptures, les nouvelles approches, etc. C’est un exercice de style qui ne prétend pas nécessairement dire le vrai, mais qui a le mérite de présenter certaines convictions et d’inviter au débat. Partagez avec nous vos réactions et analyses, en réagissant à cet article ! Les plateformes cloud comme nouveaux runtimes Variables, disques et machines seront dépassés comme l’ont été les pointeurs, bandes et architectures…

Cet article explore certains aspects clefs du lineage de données au niveau du data set, en indiquant comment il est possible de hacker le moteur Spark pour y parvenir.

J’aime l’architecture de SI et j’aime râler.

 A la fin de l’épisode précédent, nous étions capables d’exécuter une requête SQL à partir d’un plan d'exécution optimisé. Ce fut notamment l’occasion de plonger au coeur du moteur d’optimisation Catalyst. Nous allons à présent nous intéresser à une optimisation issue du moteur Tungsten, embarquée dans Spark dès la version 2.0, qui remet en cause ce Volcano Model, pourtant standard sur la plupart des SGBDR…