Dernièrement, un article expliquant les concepts des CEP a été publié par Karim Ben Othman. Nicolas Salmon a ensuite décrit une implémentation CEP avec le framework open source Esper.

Je trouve donc intéressant de vous présenter dans cet article CEP à travers la solution Open Source GlassFish ESB.
Nous utiliserons ici le même cas d’utilisation que celui utilisé pour Esper.

Le cas d’utilisation

Rappelons notre scénario: en partant du postulat que chaque bagage, une fois enregistré, porte une puce RFID que des antennes sont capables de localiser. Les antennes transmettent les messages à une application « centrale » avec les bagages qu’elles ont identifiés dans leur périmètre.

Le schéma ci-dessus illustre le système mis en place.

Pour détecter les problèmes nous considérons que le temps maximum d’un « voyage » sur le tapis est de n secondes, et, qu’au delà de ce délai, le bagage doit être considéré comme manquant.

La méthode consiste donc à vérifier qu’un même bagage est passé par les 4 antennes dans l’intervalle de temps attendu et donc, qu’il existe 4 évènements détectés pour un même bagage dans les n dernières secondes.

GlassFish ESB : un ESB Open Source intégrant une brique CEP

GlassFish ESB est un ESB qui intègre un ensemble de « briques » dont notamment  le serveur d’application Sun GlassFish, un bus JMS, JavaMQ et l’IDE NetBeans.

Cette solution respecte les standards JBI. Elle se compose de modules de transformation (des Service Engines) et des adaptateurs (des Binding Components).

IEP, pour Intelligent Event Processor, est un Service Engine. Il propose donc un ensemble de composants permettant d’implémenter le concept CEP dans GlassFish ESB.

Qu’est-ce qu’un composant dans IEP ?

Un composant dans IEP est une requête effectuée sur une table en entrée et dont la réponse est stockée dans une table en sortie.
Le composant présente visuellement la requête et contient des champs à compléter. Les variables en entrée sont disponibles et il ne reste plus qu’à les glisser/déposer dans le corps de la requête.

Le langage de requêtage utilisé est du CQL (pour Continuous Query Language).

C’est ici que GlassFish ESB nous montre sa simplicité d’utilisation : un ensemble de composants IEP est proposé et il ne nous reste plus « qu’à » sélectionner et paramétrer les composants nécessaires.

Implémentation du cas d’utilisation

Pour notre cas d’utilisation, nous allons développer deux services :

• Le premier devra simuler le flux de bagages passant devant les antennes

• Le deuxième sera chargé de détecter les bagages perdus

Nous ne nous attacherons pas à détailler le premier service, car ce n’est pas ici le but de notre article. Il est cependant utile d’indiquer que c’est un simple programme écrit en Java qui envoie des requêtes SOAP en http. Les messages qui sont envoyés, correspondent à un instant donné à tous les bagages détectés par une antenne.

Un évènement est un couple : <ID du bagage, ID de l’antenne>.

Intéressons-nous maintenant au vrai sujet de cet article : le service se basant sur la brique IEP et détectant les bagages perdus.
Notre service doit donc effectuer 3 actions :

• Récupérer tous les messages provenant des antennes

• Détecter les bagages manquant immédiatement. C’est-à-dire un bagage effectuant un temps de trajet supérieur au temps moyen de n secondes sur un parcours défini et surveillé par 4 antennes.

• Alerter : ici nous ne ferons que logger le bagage manquant

Voyons comment ce service peut être implémenté dans GlassFish ESB.

Implémentation du service dans GlassFish ESB

1^ère étape : lister les évènements

La première étape correspond à la récupération des messages et leur sauvegarde.

Pour les récupérer, GlassFish ESB propose un composant permettant de recevoir une requête http (soap en l’occurrence). Ce sera l’entrée de notre système. Ce composant est du type Input Stream. Nommons-le AntennaMsg.

Maintenant pour identifier qu’un bagage a correctement été acheminé, il nous faut vérifier sur que toutes les antennes l’ont détecté durant les n dernières secondes. Donc sauvegarder les messages des n dernières secondes. Pour cela, nous insérons Save_All_Luggages, le composant Save Stream qui nous permet d’enregistrer les messages venant d’AntennaMsg, dans une table de la base de données interne.

2^ème étape : détecter les bagages manquants

Pour détecter un bagage manquant, il faut attendre les n secondes nécessaire à son temps de transport après qu’il a été signalé par la première antenne, puis vérifier que les 4 messages envoyés par chacune des antennes tout au long du parcours ont bien été transmis. Pour cela nous allons utiliser le composant nommé Wait_n_Seconds sur le schéma, qui est du type Time Based Window.

Time Based Window est un composant qui garde en mémoire les événements détectés en entrée durant un temps défini. Sa spécificité repose sur le fait qu’il « pousse » en sortie tous les évènements qu’il a reçus durant les n dernières secondes et ce, à chaque fois qu’il en reçoit un nouvel en entrée.

Expliquons son fonctionnement à l’aide d’un schéma (en dehors de notre cas d’utilisation et avec une fenêtre de temps définie à 3 secondes) :

Dans ce schéma, A, B, C et D représentent des évènements (exemple, la détection d’un bagage par une antenne) et la notation A1 : l’évènement A détecté à t+1.

Détaillons :

• À t, aucun évènement n’est détecté à l’entrée du composant
• À t+1, lorsque A arrive en entrée, A est immédiatement « poussé » en sortie et inscrit dans la table de sortie. Nous nommerons cet évènement A_1.
• Lorsque B arrive à l’instant d’après à t+2, A₂ et B₂ sont inscrit dans la table de sortie car arrivés dans la fenêtre de temps définie, mais en plus, A₁ y est toujours maintenu.
  Ainsi donc, A₁, A₂ et B₂ sont poussés en sortie.
• Lorsque C arrive à t+3, le même principe est appliqué, A₁, A₂ et B₂ sont toujours dans la fenêtre temporelle donc présentés en sortie, et C s’y ajoute. Nous aurons donc A₁, A₂, B₂ et A₃, B₃, C₃.
• Enfin à t+4, A n’est plus dans la fenêtre définie, B, C y reste et D s’y additionne. Nous aurons alors en sortie : B₂, B₃, C_3, B₄, C₄ et D₄.

Combinons le maintenant avec un autre composant : Delete Stream

Delete Stream, ici le composant Get_Msg_After_n­_Seconds, va nous permettre de réaliser ce que l’on cherche à faire : attendre n secondes lorsqu’un évènement arrive pour le traiter et voir ainsi s’il est accompagné des autres évènements attendus.

Que fait le Delete Stream ? Il récupère les évènements supprimés par le composant précédent. Et cette fonctionnalité nous convient particulièrement bien car le composant précédent, Time Based Window, supprime les évènements après un laps de temps défini !

Ainsi, notre évènement est bien « poussé » au bout des n secondes souhaitées après le composant Get_Msg_After_n_Seconds.

Il faut alors vérifier que les 3 autres évènements attendus sont bien arrivés dans les n secondes suivant le premier.

Pour cela, nous utilisons la table enrichie par le Save_All_Luggages. Le composant de type Table Input nous permet de configurer les informations que nous voulons extraire d’une base de données.

Pour détecter si le bagage est correctement passé par les 4 antennes, il ne nous reste plus qu’à rechercher les informations dans la table. Pour cela, le composant Stream Projection And Filter permet de requêter les composants qu’il a en entrée.

Ci-dessous la requête écrite dans la configuration du composant.

La sortie de ce composant sera alors tous les évènements ayant le même luggageID mais ne comptabilisant pas 4 messages transmis.

3^ème étape : « Alerter »

Pour alerter, nous loggons l’évènement et nous filtrons pour que les  évènements provenant du même bagage ne soit pas logger plusieurs fois. Nous enregistrons donc les bagages perdus dans une tables (grâce à SaveAllRecords_FromMissingLuggages), et ne loggons que les nouveaux dans un fichier en effectuant une requête pour vérifier que le bagage n’ait pas été déjà détecté.

Pour logger, le composant de type Stream Output nous offre la possibilité d’écrire facilement dans un fichier (ou dans une file JMS si on le souhaite).

Et voici le schéma de nos cas d’utilisation terminé :

En conclusion

Cet article nous a permis de remarquer que CEP est plus accessible avec un outil comme GlassFish ESB qu’avec un framework comme Esper car il est graphique et simple à prendre en main.

Cependant, l’utilisation d’IEP est limitée par une fonctionnalité de débogage inexistante sur la brique IEP et une documentation parfois légère. Elle parait bien adapté pour des besoins localisés, comme la supervision applicative et technique de modules logiciels par exemple, ce qui s’avère être très utile sur une plateforme inter-applications comme GlassFish ESB.

Enfin, GlassFish ESB offre à l’utilisateur la possibilité d’une implémentation rapide tout en se familiarisant avec un concept complexe à acquérir. Cette « boite à outil » CEP vous propose donc un ensemble de composants « prêts à l’emploi » qu’il  ne vous reste alors plus qu’à assembler…

Suggestion d'articles :

1. Parallélisation, distribution partie 3 : comment tirer parti des processeurs multi-coeurs à travers l’API de concurrence de Java 7 ?

Par Nicolas Raynaud et Clément Rongier

Le ministère de l’économie et le ministère de la recherche ont récemment lancé une consultation publique [1] afin de recueillir l’avis de l’ensemble des acteurs concernés par l’Internet du futur, et ce dans le but de préparer un plan d’action sur le sujet. Cette consultation était ouverte jusqu’au vendredi 24 juillet 2009.

Elle se structure en 3 grandes parties, chacune composée de plusieurs questions.

1. Enjeux économiques de l’internet du futur
2. Qu’est-ce que l’internet du futur (Evolution ou refondation, Six facettes de l’internet du futur)
3. Actions à engager (Au niveau français, au niveau UE et international)

Cette consultation a été l’occasion pour nous de faire émerger des idées que nous souhaitons partager via cet article afin de prolonger la discussion. Ces réponses sont bien évidemment celles de consultants intervenant dans divers domaines d’activité mais également celles d’utilisateurs au quotidien, de pronétaires, pour reprendre la jolie formule de Joël de Rosnay [3].

Usages futurs (2015-2020)

Elargir les acteurs

A l’horizon 2015-2020, la connexion à internet devient d’une part accessible tout le temps et partout, mais aussi par des moyens bien plus nombreux et divers. Elle ne se limite plus aux ordinateurs ou téléphones mais à l’ensemble des objets entourant notre quotidien, cela notamment grâce à l’avènement des technologies telles que RFID ou RuBee. Le monde virtuel tend alors à se confondre avec le monde physique. La réalité augmentée couplée aux réseaux sociaux change la vision de notre environnement. Les concepts d’intelligence ambiante, de réseaux pervasifs ou d’internet des objets trouvent aussi des applications dans de multiples domaines d’activité. A titre d’exemple en entreprise, on s’attend au renforcement des supply chain collaboratives (pilotage de flux physique entre l’entreprise et ses fournisseurs: cela reste pour l’instant une approche coûteuse qui entraîne souvent la diminution du nombre de fournisseurs) déjà initié dans le secteur de la distribution notamment par Wal-Mart aux Etats Unis ou par METRO Group en Europe : le remplacement de l’observation et de la saisie d’information par l’intégration des objets dans le réseau.

Cette multitude de nouveaux maillons de la toile va étendre les possibilités d’interactions et poser les bases d’une nouvelle plateforme d’applications comme l’a au départ été Internet pour le partage d’information.

Modes d’utilisation

La généralisation d’internet va également permettre de dépasser son mode d’utilisation actuel, en passant de « simple » ressource documentaire ou moyen de communication à une plateforme collaborative. Cette transformation, déjà en cours, va s’étendre et s’imposer dans tous les domaines. On voit déjà se multiplier les applications, auparavant déconnectées, se transformer en services ajoutant une composante collaborative, d’échanges (ex : Editique en ligne, Annuaires de professionnels… ). Les nouveaux modes d’échanges de pair à pair s’appliqueront à tous les domaines (par exemple bancaire avec le prêt p2p, et plus généralement pour tous les services) mais aussi à tous les types d’acteurs, aussi bien humains que machines (M2M: aide à la conduite de véhicules, domotique intelligente). Bien que ces activités soient déjà un peu utilisées par les « early adopters » ou « enthusiasts » décrits par GA. Moore, elles vont réellement prendre place dans les habitudes et standards de demain.

On notera aussi l’avènement du Web Semantique nous aidant à rechercher presque exhaustivement (y compris dans le Web profond), trier et filtrer des contenus encore plus nombreux, boostant ainsi nos capacités de recherche et permettant enfin d’exploiter la mine d’information qu’est le Web tout en s’éloignant des chemins classiques de recherche (Cartographie du web).

Impacts

Opportunités

Les nouvelles tendances d’utilisation d’internet évoquées dans la partie précédente vont amplifier les bénéfices, déjà à portée, d’une utilisation intelligente de ce média.

• Pour l’entreprise

Du point de vue d’une entreprise, nous pouvons imaginer un système d’information décentralisé, avec des applications externalisées chez des hébergeurs permettant du cloud computing, offrant ainsi une qualité de service et une scalabilité maîtrisés dans les coûts et les délais de mise en place. Cette rationalisation permettrait l’accélération de la réactivité du SI et donc de l’entreprise. Cette même entreprise, en créant et faisant vivre sa communauté d’utilisateurs à travers des réseaux sociaux, profitera de l’influence, des remarques et critiques des internautes pour répondre aux besoins d’offres personnalisées d’utilisateurs renseignés. On assistera à la généralisation de pratiques telles que le Customer Driven Design ou Crowd Sourcing, renversant la tendance en privilégiant l’ouverture de l’entreprise via des pratiques bottom up qu’Internet va continuer à favoriser.

• Pour l’individu

D’un point de vue individuel maintenant, Internet est déjà synonyme de démocratisation : tant au niveau de l’accès à l’information que de sa publication. Cette tendance est aussi vraie concernant la construction et le développement de services ou d’applications par des utilisateurs proactifs. Internet est de plus en plus utilisé comme une plateforme de création. Elle permet déjà à quiconque, souvent en répondant d’abord à un besoin personnel, de créer un service ou un contenu qui se révelera adopté par d’autres internautes. Cette relation d’échange prend place via des réseaux ou communautés autour de centres d’intérêts qui favorisent la collaboration. Il y a fort à parier que ce schéma d’échange sera décuplé par la généralisation de l’accès à la « création facile » (à la manière des fournisseurs de blogs aujourd’hui). Les évolutions techniques comme des hébergeurs de type Cloud (cf amazon) répondent déjà à ces attentes.

La démocratisation de toutes ces pratiques laisse également présager une multiplication d’hébergeurs et fournisseurs de services pour répondre aux demandes grandissantes. Cette concurrence accrue entrainera probablement une baisse de tarifs, contribuant ainsi à favoriser des opportunités.

Risques

Mais ces opportunités définies précédemment, comme les usages évoqués en première partie, font ressortir des inquiétudes et des risques variés.

• Pour l’entreprise

A l’échelle d’une entreprise, l’externalisation posera des problèmes d’une part de sécurité quant à l’intégrité des données (par exemple dans le cadre de base de données externalisées sur le web). De multiples accès aux données (web, terminaux mobiles) multiplient les risques de pillage. D’autre part les risques liés à la confidentialité sont aussi amplifiés à partir du moment ou l’on ne gère plus l’hébergement soi-même, mais sur un réseau « public » qu’est Internet. Risque également de dépendance au réseau, l’entreprise devient critiquement tributaire de la qualité de service des fournisseurs.

• Sociaux

A l’échelle privée, on imagine que l’extension de l’utilisation d’internet, non plus seulement pour consulter ses mails mais aussi pour la gestion de son argent, la géolocalisation de services, la conduite de sa voiture etc., de manière systématique, va induire des problèmes de traçabilité de l’information et de perte potentielle de l’anonymat: Quid du droit des états à la consultation des données privées ? Ce qui pourrait être qualifié de perte de liberté se traduit déjà à travers de multiples lois nationales pronant le contrôle et la traçabilité en toutes circonstances des identités. Internet devient une plateforme ou plus rien n’est privé : « Souriez, vous êtes surveillés ».

L’hétérogénéité et l’omniprésence des moyens de connexions à Internet vont aussi entrainer une réduction de notre sphère privée. L’accès à Internet partout et en toutes circonstances se traduit également par l’accès au travail à tous moment rendant encore un peu plus floue la frontière entre les mondes personnel et professionnel.

La question se pose aussi de notre dépendance aux moteurs de recherche. En produisant toujours plus de contenu, de manière déstructurée (qui est aussi la raison pour laquelle internet est si populaire), nous accroissons la dilution de l’information et rendons de facto les tentatives de réponse à cette dilution, que sont les moteurs de recherche, encore plus centraux. (i.e. aujourd’hui, quasi monopole Google).

D’autre part, la consommation de plus en plus importante d’Internet et des services informatiques va entrainer une consommation d’énergie accrue. Les ressources IT répresentent actuellement 20% de la consommation énergétique globale. L’internet du futur doit donc s’envisager sous le spectre du développement durable (Green IT). Cette contrainte portée à l’extrème a été envisagée dans le cadre de la construction de scénarios pour la DSI du futur à l’Université du SI 2009 (scénario « Green Detox »).

Prolongeons la discussion…

Nous esperons maintenant pouvoir prolonger cette réflexion avec vous sur ce blog. N’hésitez pas à partager vos attentes, scénarios et idées les plus folles !

Références

1. Consultation publique sur l’Internet du futur
   
   Le ministère de l’Economie, de l’industrie et de l’emploi a constitué en 2007 un groupe de réflexion sur l’Internet du futur présidé et co-présidé respectivement par l’Institut national de recherche en informatique et automatique (INRIA) et l’Institut Télécom. Ce groupe de réflexion composé d’experts reconnus au niveau international et appartenant à des organismes de recherche, des PME et des groupes industriels travaillant sur ces questions a rendu son rapport, à la mi-juin 2008. Sur cette base, la secrétaire d’Etat chargé de la Prospective et du développement de l’économie numérique, la direction générale de la compétitivité, de l’industrie et des services (DGCIS) du ministère de l’Economie, de l’industrie et de l’emploi et la direction générale de la recherche et de l’innovation du ministère de l’Enseignement supérieur et de la recherche ont souhaité lancer cette consultation publique afin de recueillir l’avis de l’ensemble des acteurs concernés par l’Internet du futur et de préparer un plan d’actions sur le sujet.
2. Cartographie du Web par Information Architects
3. Université du SI : Enjeux et défis de la civilisation du numérique pour demain : télécommunications et internet 2020 - Joel de Rosnay
4. Université du SI : Architecturer pour le Cloud - Simone Brunozzi Amazon Evangelist
5. Université du SI : Quelques idées issues des « grands » du web pour remettre en cause vos reflexes d’architectes - A. Nedelcoux & O. Malassi
6. Université du SI : Restitution du workshop DSI : Quels scénarios pour les DSI du futur ?

Suggestion d'articles :

1. Le futur de JavaScript encore incertain