Big Data

Data

Monter une filière No-Code – Retours d’expérience dans la data avec Data Fusion – Part I/III

Cet article est le premier d’une série de 3 qui traitent d’un retour d'expérience autour de l’organisation d’une filière No-Code dans la data et avec l’outil Data Fusion de Google. Article 1 - Contexte, cadre et description du projet  Article 2 - Les limites, les difficultés et les parades  Article 3 - Évaluations de Data Fusion et conclusions projets Introduction Précédemment, nous évoquions le fait que dans un monde où les compétences IT sont rares et chères, lorsqu’on veut innover, tester vite et que l’on…

Lire la suite
Data

La Data au cœur des enjeux de compétitivité – Compte rendu du Comptoir X OCTO Academy

Si les métiers comme Data Analyst et Data Scientist peuvent paraître très confus pour les non-initiés au Big Data, ses enjeux et ses technologies ne sont pas aussi simples à envisager. Pourtant, elles font partie de notre vie de tous les jours. Pour tous les candidats qui débutent leur carrière mais aussi pour ceux qui souhaitent se reconvertir, avoir des compétences en Data est devenu essentiel. Depuis 2019, les organisations recherchent de plus en plus de collaborateurs qui possèdent des compétences spécialisées et des compétences relationnelles. Plus important encore, le raisonnement analytique occupe désormais la troisième place des connaissances spécialisées. Guillaume Rozier nous propose une immersion dans le domaine de la Data Science pour mieux en comprendre les métiers, les compétences mais également la culture qui gravite autour.

Lire la suite
Archi & techno

Pour être data centric faut-il centraliser ? – Compte-rendu du talk de Julien Assemat et Renaud Andrieux à la Duck Conf 2021

Et toi, tu es data-centric? « Devenir data-centric » : depuis plusieurs années, placer la data au cœur de la stratégie est devenu le leitmotiv des entreprises. Seulement voilà, dans “data-centric”, il y a un (h)ic que Julien (architecte) et Renaud (spécialisé dans le développement des data offices) s’attèlent à décortiquer. Ils déconstruisent pour nous les promesses de la centralisation, généralement à l’origine de forces (data)centrifuges pénalisantes pour une organisation. Ce talk nous ouvre également des perspectives vers un fonctionnement data-centré, catalyseur efficace d’une transformation data-centric.   Promesse…

Lire la suite
Data

Data+AI Summit 2020 – sois Zen dans ton lakehouse

Si tu as loupé la news, la semaine précédente a eu lieu le tant attendu, Data+AI Summit Europe, connu jusque là sous Spark+AI Summit. Comme l’année précédente, on a eu la chance d’y participer. Les organisateurs devraient publier les talks sous peu mais si tu ne peux plus attendre, voici un court résumé de ce qui s’y est passé du point de vue du data engineering. TL;DR Si tu te poses des questions sur le titre, il est là pour résumer les 2 annonces majeures…

Lire la suite
Archi & techno

Initier un datalab, rien à voir avec ce que j’imaginais ! – Compte rendu du talk de Frédéric Petit à la Duck Conf 2019

Datalab, datalake,  Big Data, IA… Les buzz words autour de la donnée sont foison, et l’on s’accorde sur le fait que la donnée est au cœur même de nos systèmes d’information. Mais lorsqu’il s’agit concrètement de mettre en place une plateforme data, tout ne se passe pas forcément comme prévu... Frédéric Petit, responsable de l’architecture et des données d’entreprise chez MNT, nous raconte comment il a pu initier un datalab avec son équipe, en nous partageant notamment les obstacles qu’ils ont dû surmonter.

Lire la suite
Archi & techno

Apache Spark, ai-je besoin d’autre chose ? – Compte rendu du talk de Benoit Meriaux à la Duck Conf 2019

Pourquoi Spark ? Dans tous les SI complexes, on a la nécessité d’effectuer des traitements sur un grand volume de données. La réponse traditionnelle est celle des batch de traitement, qui consiste à sélectionner un ensemble de données similaires via, par exemple, une requête SQL, puis d’effectuer les traitements en série sur chaque donnée. Ce modèle de traitement a l’avantage d’être simple. Néanmoins, il présente de sérieux inconvénients :

Lire la suite
Archi & techno

On entend beaucoup de choses sur l’architecture de SI…

...mais on a rarement des réponses claires aux questions qu’on se pose ! La Duck Conf est faite pour ça ; pour partager et explorer des sujets pratiques, techniques, incontournables, qui nous font aimer l’archi. A commencer par les grands classiques : que faire du legacy ? Ou plus récemment, comment je me mets en conformité avec le RGPD ?... En s’attaquant à des sujets techniques pointus, comme celui des transactions distribuées en environnement microservices. Sans oublier de se faire plaisir avec des domaines plus…

Lire la suite
Archi & techno

#LaDuckConf 2019 : découvrez les premiers talks !

Vous êtes un·e habitué·e du blog OCTO ?  Et si vous veniez voir les auteurs des articles en conférence ? #LaDuckConf est la seule conférence tech consacrée à l'architecture de SI, dispensée en grande majorité par nos experts maison : 1 journée, 300 participants attendus Une dizaine de talks fondés sur des expériences terrain  Un line-up d’experts sur les architectures techniques, big data, DevOps. Découvrez les noms des premiers intervenants et les sujets de leurs talks. RDV le 29 janvier 2019, à L'Espace Saint Martin (Paris…

Lire la suite
Archi & techno

Spark + AI Summit Europe 2018

La semaine dernière, nous nous sommes rendus à Londres pour assister à la conférence de référence sur Apache Spark en Europe ; qui s’est pour l’occasion renommée en Spark + AI Summit. Au fur et à mesure des conférences, trois sujets majeurs ont émergé et nous ont permis de mieux appréhender l’évolution d’Apache Spark et la direction prise par le projet. TL;DR Premièrement, l’orientation prise par Databricks semble être un support de première classe pour les principaux frameworks Python de ML comme Tensorflow, Keras, PyTorch…

Lire la suite
Archi & techno

« Superbe maison d’architecte avec vue sur le lac » – Compte-rendu du talk de Thomas Vial à La Duck Conf 2018

Le datalake est un buzzword, un objet ambivalent et compliqué de nos systèmes d’informations. Portés par la hype, des architectes conçoivent des cluster Hadoop hors-sol, qui se retrouvent trop souvent sans utilisateurs, sans données ou sans applications métiers. L’éléphant accouche d’un souriceau. Dans cette session, Thomas Vial nous invite à sortir la tête de la vague big data et à revenir sur la terre ferme. Il nous guide dans une démarche pragmatique, pour construire les bases saines d’un projet de datalake. Il nous délivre un…

Lire la suite