Thrift

Data

Confluent.io: Part 3 – STREAM PROCESSING

Posté le par Arthur Baudry

This article is part of a series designed to demonstrate the setup and use of the Confluent Platform. In this series, our goal is to build an end to end data processing pipeline with Confluent. Disclaimer: While knowledge of Kafka internals is not required to understand this series, it can sometimes help clear out some parts of the articles. In the previous articles, we set up two topics, one to publish the input data coming from PostgreSQL and another one to push the data from…

Lire la suite
Archi & techno

Thrift et Protocol Buffers : compacité du message sérialisé dans le monde Java

Posté le par Borémi Toch

Un précédent article a exposé les grands principes de la sérialisation avec Thrift et Procotol Buffers. Ces deux frameworks promettent notamment une représentation des messages optimisée en termes de taille, ce qui est avéré dans le benchmark JVM Serializers : Thrift et Protocol Buffers y obtiennent une réduction de taille du message de 73% par rapport à la sérialisation native Java. Ce benchmark regroupe par ailleurs de nombreux autres frameworks de sérialisation du monde Java, mais se limite toutefois à l'utilisation d'un unique message de…

Lire la suite
Archi & techno

Sérialisation : Thrift et Protocol Buffers, principes et aperçu

Posté le par Borémi Toch

La sérialisation est une des bases de la transmission de données entre systèmes. Certains langages proposent d'ailleurs une méthode de sérialisation en standard, qui leur est souvent propre. L'interopérabilité entre systèmes hétérogènes nécessite que le format de sérialisation soit compréhensible par différents langages et plates-formes. De nombreux standards utilisent le mécanisme d'IDL (Interface Description Language) pour répondre à ce besoin : ASN.1, CORBA ou encore SOAP. Depuis quelques années, de nouveaux frameworks basés sur un IDL ont vu le jour pour l'interopérabilité de technologies hétérogènes…

Lire la suite