Archi & techno

HDInsight : Le Big Data selon Microsoft

Microsoft a lancé fin mars sa première preview publique de HDInsight sur Azure. Initialement limitée aux résidents des Etats-Unis, elle est ouverte depuis quelques temps au reste du monde. C'est  l'occasion de faire un rapide état des lieux du produit, et de voir ce que nous réserve Microsoft pour son entrée sur le marché du Big Data.

Lire la suite
Archi & techno

Améliorer la performance des jobs Hadoop sur HDInsight

Cela fait quelque temps que j’expérimente des Tips & Tricks sur mes algos pour traiter de la data de façon performante et comme ça a été plutôt concluant dans mon cas, j’ai mis tout ça au propre pour les partager ici avec vous. Les quatre optimisations que je présente ici vont faire passer le temps d’exécution de 45 minutes à moins de 3 minutes. La plus importante étant le passage d’un script Pig à un code MapReduce.

Lire la suite
Évènement

TechDays 2015: Retrouvez toute l’actualité des technologies Microsoft avec OCTO

Les "Microsoft TechDays" sont LA conférence européenne à ne pas manquer si vous souhaitez découvrir et approfondir vos connaissances sur les technologies Microsoft. Cette conférence sera répartie sur 3 jours (10, 11 et 12 février) et se déroulera au Palais des Congrès de Paris. Le thème de cette année est l' "Ambiant Intelligence", c'est-à-dire que les sessions couvriront des sujets tels que le Big Data et le machine learning, les objets connectés / IoT, la mobilité, les technologies de développement et les infrastructures permettant de créer des services innovants et…

Lire la suite
Archi & techno

Apache Spark, ai-je besoin d’autre chose ? – Compte rendu du talk de Benoit Meriaux à la Duck Conf 2019

Pourquoi Spark ? Dans tous les SI complexes, on a la nécessité d’effectuer des traitements sur un grand volume de données. La réponse traditionnelle est celle des batch de traitement, qui consiste à sélectionner un ensemble de données similaires via, par exemple, une requête SQL, puis d’effectuer les traitements en série sur chaque donnée. Ce modèle de traitement a l’avantage d’être simple. Néanmoins, il présente de sérieux inconvénients :

Lire la suite
Archi & techno

Hadoop in da Cloud

Les offres proposant d'utiliser Hadoop en environnement cloud, public ou privé, se développent. Hadoop est-il adapté à cet usage ? Ces offres sont-elles crédibles ? Intéressantes ? Quels sont les fournisseurs ? Petit tour d'horizon.  

Lire la suite
Évènement

Hadoop Summit 2013 à Amsterdam – La suite

Cet article est une suite à celui de Rémy, relatant nos pérégrinations au Hadoop Summit d’Amsterdam. Dans celui-ci, nous nous intéresserons d’abord à des retours d’expérience de l’écosystème Hadoop en entreprise : mise en place, adoption, et applications pratiques. La suite de l’article fera le compte-rendu des sessions plus techniques auxquelles j’ai pu assister.

Lire la suite