La concurrence entre les éditeurs d’outils ETL n’a cessé de s’accroître au fil des années. Ces derniers se voient dans l’obligation d’améliorer perpétuellement leurs produits en y intégrant des fonctionnalités pointues pour satisfaire aux besoins et exigences des entreprises clientes qui, de plus en plus nombreuses, ont recours à ces solutions en vue du pilotage de leurs activités et/ou la prise de décision. A cette fin, il est indispensable de mettre en place des traitements rigoureux et fiables des données pour permettre aux décideurs de les exploiter à juste titre et en tirer le plus grand bénéfice.
Dans cet article, nous nous pencherons sur l’outil d’intégration Stambia et en présenterons les particularités.
Qu’est-ce qu’un ETL / ELT ?
Au vu de ces similarités, les entreprises font souvent face au dilemme de choisir un ETL ou un ELT (en se demandant pourquoi l’un et pas l’autre).
Pour répondre de manière objective à cette question, il faut prendre en compte un certain nombre de critères même si, quel que soit l’ETL choisi, la finalité reste la même. Ainsi, en fonction de ses besoins et de ses moyens, chacun pourra décider quel ETL ou ELT privilégier.
Stambia Data Integration
Stambia DI est une plateforme d’intégration des données créée par l’éditeur français Stambia en 2009. Elle se constitue d’une interface graphique de développement (Designer), d’un moteur d’exécution des processus (Runtime) et d’une interface web de monitoring des flux (Analytics). Elle est reconnue aujourd’hui pour son architecture flexible et ses hautes performances.
En matière de développement de flux, Stambia se démarque des autres solutions par son approche dite « universelle ». Celle-ci garantit une conception unique quel que soit la technologie, en permettant à l’utilisateur de se focaliser sur l’aspect fonctionnel du flux. La partie technique est gérée entre autres automatiquement par l’outil grâce à des modèles réutilisables (et paramétrables) appelés templates. Par ailleurs, Stambia présente l’avantage d’être un outil multi-sources, multi-cibles et multi-technologies.
Stambia est doté d’un grand nombre de connecteurs qui permettent d’extraire des données de nombreuses sources, dont les bases de données relationnelles et non relationnelles, les fichiers plats et tableurs, les systèmes cloud, big data, messageries, les applications ERP et SAAS, etc.
Designer
Cet outil basé sur Eclipse permet la création de flux appelés « mappings ». A l’aide de celui-ci et grâce à la combinaison du mapping universel et de l’approche par les modèles, les développements se font de manière très simple et intuitive.
Au sein d’un mapping, nous retrouverons une ou plusieurs sources (avec des jointures et/ou des filtres, le cas échéant), une ou plusieurs cibles et éventuellement une étape intermédiaire sous la forme d’une table/vue ou d’une sous-requête. Les différentes transformations seront définies directement sous forme d’expressions SQL dans l’étape intermédiaire ou la cible, ce qui facilite le développement puisqu’il n’y a pas de composants spécifiques à connaître et rend le mapping facilement lisible du fait du faible nombre d’éléments qui le composent. Il est à noter que le lieu de transformation peut être défini par l’utilisateur, aussi bien au niveau de la source, de l’étape intermédiaire ou de la cible.
Les templates interviennent quant à eux dès lors qu’une cible est introduite. Il en existe plusieurs catégories, mais les plus courants sont les templates de chargement, d’intégration et de rejet. Par ailleurs, il existe différentes variantes de templates selon les technologies. Il n’est pas nécessaire de choisir manuellement le template adapté au traitement puisque Stambia le fait de manière automatique. L’utilisateur a bien entendu la main dessus notamment pour choisir la configuration qui correspond à ses besoins, par exemple le mode d’insertion (Append, Insert, Update,..) ou la création d’index dans le cas de l’intégration.
Le Designer permet également la création de process. Un process est un regroupement organisé d’objets (variables, traitements et interfaces) qui a pour objectif de définir l’ordre d’exécution des différents éléments. En plus d’ordonnancer les mappings, il est possible de définir diverses instructions comme la création/copie/compression/suppression de fichiers plats, l’envoi de mails, le transfert de fichiers à l’aide des protocoles FTP et SCP, etc.
Runtime
Il s’agit d’un composant Java standalone pouvant être installé sur le poste client ou sur un serveur distant. Il assure plusieurs fonctions comme l’exécution des process et la planification. Les exécutions sont tracées dans une base de données dédiée.
Analytics
Stambia Analytics est une application web qui permet de piloter le processus de production. Elle offre une vision à la fois synthétisée (statistiques globales) et détaillée (étapes, actions, requêtes SQL, etc.) des différentes sessions exécutées.
De surcroît, Analytics fait office de console d’administration puisqu’il est possible de configurer, publier, exécuter et planifier les livrables directement dessus.
Installation de Stambia
Avant d’installer Stambia, il est nécessaire d’installer un environnement Java (JVM 1.8 ou ultérieure). Le déploiement d’Analytics requiert quant à lui l’installation d’un serveur d’applications web (Tomcat par exemple).
La solution, malgré toutes ses performances, ne requiert pas de ressource matérielle importante. En effet, seuls 300 MO d’espace disque et 1 GO de mémoire suffisent pour la faire tourner et profiter de ses fonctionnalités.
A noter qu’une étape d’installation supplémentaire est requise en vue du déploiement de Analytics.
Le détail des prérequis techniques est consultable sur le site de l’éditeur sur la page suivante : Stambia Data Integration : Spécifications et prérequis techniques
Pourquoi choisir Stambia ?
- Installation facile et rapide ;
- outil évolutif avec des mises à jour régulières ;
- utilisation des technologies déjà en place pour réaliser les transformations ;
- prise en main très simple comparativement à d’autres outils ;
- un large panel de connecteurs disponibles permettant d’accéder à un très grand nombre de systèmes (source ou cible) ;
- développements intuitifs grâce à son interface graphique ;
- ne requiert pas la maîtrise d’un langage spécifique en plus du SQL ;
- amélioration de la productivité grâce aux templates qui génèrent automatiquement les processus techniques nécessaires ;
- facilité de génération et de mise en production des livrables ;
- système de monitoring des flux automatique et performant ;
- documentation fournie et assistance très réactive et à l’écoute.
CONCLUSION DE L’EXPERT
Tout d’abord, il est important de choisir l’outil d’intégration des données qui correspond le plus à vos besoins et moyens, et qui peut être mis en œuvre avec les ressources et les compétences dont vous disposez.
Stambia Data Integration est une plateforme robuste qui se démarque des autres outils par son approche singulière des flux de chargement des données. Celle-ci permet entre autres de booster la productivité puisque les développeurs sont en mesure de regarder les process du prisme métier.
Son architecture ELT s’avère être un réel atout puisqu’elle ne nécessite aucun investissement supplémentaire en termes de ressources et permet de tirer pleinement profit des plateformes en place.
