database

Le datalake est un buzzword, un objet ambivalent et compliqué de nos systèmes d’informations. Portés par la hype, des architectes conçoivent des cluster Hadoop hors-sol, qui se retrouvent trop souvent sans utilisateurs, sans données ou sans applications métiers. L’éléphant accouche d’un souriceau. Dans cette session, Thomas Vial nous invite à sortir la tête de la vague big data et à revenir sur la terre ferme. Il nous guide dans une démarche pragmatique, pour construire les bases saines d’un projet de datalake. Il nous délivre un…

Contexte SQLFire est une base de données relationnelle "in memory", c'est-à-dire qu'à tout instant ses données sont disponibles en mémoire vive. Les performances attendues sont donc très élevées, mais ce choix impose une limite sur le volume de données que peut stocker efficacement une instance (hors overflow sur le disque). Pour franchir cette limite, pour permettre un failover en cas de panne matérielle et pour pouvoir monter en puissance, les concepteurs de SQLFire ont choisi d'encourager les développeurs à partitionner et répliquer leurs données sur…

Le modèle relationnel est né à une époque où l'espace était rare, et fut donc conçu pour minimiser le niveau de redondance des données: il était plus économique de stocker une indirection vers une chaine de caractères que de stocker cette chaine deux fois. Aujourd'hui, cette contrainte d'espace ne tient plus. On achète un Teraoctet pour 100 dollars, la RAM est abondante, et les disques flash aux performances élevées vont bientôt rejoindre le prix des disques durs rotatifs. Deux limitations fondamentales du stockage ont donc…