Qu’est-ce qu’ETLTool ?
EtlTool est un logiciel Web ayant pour objectifs de combiner les fonctionnalités d’un repository de jobs ETL, d’un centre de documentation, d’un analyseur de code via code review, d’un ordonnanceur/planificateur de traitement et d’un outil de dashboarding.
Il est aujourd’hui compatible avec les logiciels ETL Talend (Talend Open Studio ou Talend Enterprise), Talaxie, Microsoft SSIS, Pentaho et NIFI.
EtlTool vous permet de gérer efficacement vos processus ETL en vous offrant un environnement centralisé pour créer, stocker et organiser vos jobs Talend.
La petite histoire
Fondé par des experts ayant plus de 15 ans d’expérience au sein des DSI de grands groupes français, où ils se sont rencontrés.
Fort de leur vécu sur TALEND et SSIS, ils se sont rendu compte assez rapidement que certaines briques fonctionnelles majeures n’existaient pas et qu’il devenait impératif d’y remédier.
C’est comme cela qu’est né EtlTool, un outil au service d’une optimisation significative du cycle de vie de vos jobs.
Fonctionnalités
L’application EtlTool offre une gamme étendue de fonctionnalités pour simplifier votre travail d’intégration de données.
Vous pouvez créer et stocker vos jobs ETL dans un repository dédié, ce qui facilite la gestion et la réutilisation de vos flux ETL.
De plus, EtlTool vous permet d’accéder à un centre de documentation intégré pour documenter vos processus et partager les meilleures pratiques au sein de votre équipe.
L’analyseur de code via code review vous aide à améliorer la qualité de votre code en identifiant les erreurs et les problèmes potentiels.
Vous pouvez également planifier et orchestrer vos traitements grâce à l’ordonnanceur intégré, tout en créant des tableaux de bord personnalisés pour visualiser et analyser vos données.
Partage des traitements / Versionning
La page des jobs permet l’import des flux et référence dans l’outil l’ensemble des jobs importés quel que soit le développeur qui l’a développé avec un historique (qui a livré ?, quoi ?, quand ?) pour l’ensemble des personnes ayant un compte ETLTool.
Il permet d’effectuer des contrôles de qualité en vérifiant d’emblée les normes de développement préalablement définies et des revues de codes.
Il permet de visualiser le job jusqu’à avoir le détail de chaque composant, comme si on était dans un studio de développement. Le détail du mapping de données définit dans le composant tMap est également accessible.
Industrialisation des déploiements
Il est possible de paramétrer jusqu’à cinq environnements de déploiements (dans l’exemple, nous en avons paramétré deux).
Dès qu’un job est importé dans EtlTool, il apparaît dans l’environnement de travail ref_DEV.
Pour le déployer sur les autres environnements, il suffit de cliquer sur les flèches entre deux environnements d’exploitation (ici, Recette et Production).
Pour chaque interface, il est possible de savoir si un job a été déployé, sous quelle version, à quelle date et d’effectuer un retour un arrière si nécessaire.
Inscrivez-vous à la newsletter DeciVision !
Soyez notifiés de nos derniers articles de blog, de nos prochains webinars et nos actualités !
Documentation
EtlTool permet de centraliser de la documentation dans l’outil.
En plus de pouvoir indiquer de la description sur les évolutions et de renseigner des chemins vers de la documentation, il est possible de rattacher les jobs avec un ticket d’incident (jira, mantis, etc) ce qui permet vraiment de suivre les demandes d’évolution/corrections liées au ticket, de trouver immédiatement la procédure en cas de plantage, etc.
Recherche / Analyse d’impact
EtlTool dispose d’un outil de recherche qui permet de parser l’ensemble des fichiers xml des jobs.
Ainsi, il est possible très rapidement de chercher par mot clé dans tous les éléments (composant, ligne de code, etc) les endroits où se trouve notre recherche, ce qui est un vrai gain de temps.
Gestion des variables
EtlTool facilite la gestion des variables (variable de contexte, informations de connexions aux bases de données) avec la possibilité de la modifier directement depuis l’outil, de connaître son historique, et d’avoir la possibilité de revenir en arrière.
Exécution / Ordonnancement
Il est possible en un coup d’œil de voir l’ensemble des états des exécutions des jobs et d’analyser leur journal de log/erreur.
Il est possible de les planifier de les relancer manuellement ou automatiquement.
Dashboard
EtlTool centralise toutes les informations concernant les jobs.
A partir de là, il est possible de créer des dashboard personnalisables qui peuvent être externaliser via le l’adresse url de l’outil.
Ainsi, il permet de superviser les flux, d’avoir la liste de jobs, le nombre d’exécutions, le nombre d’erreur, de lever des alertes, etc et de les mettre à disposition de personnes métiers.
Ils auront petit à petit une connaissance technico-fonctionnel et peuvent être en mesure de relancer des jobs si besoin.
Les plus de l’outil
EtlTool est une solution web qui s’installe rapidement.
Il permet d’accéder facilement et même de modifier certains paramètres sans aucun impact sur les jobs.
Il facilite le processus de livraison des flux ETL, améliore la qualité des livraisons (revue de code), permet une supervision et accélère le débogage si nécessaire.
Il est possible de s’y connecter à partir des principaux navigateurs web, ce qui le rend accessible à un large public. Il favorise le dialogue entre la technique et le fonctionnel.
AVIS DE L’EXPERT
EtlTool est un outil bien pratique dès lors que l’on développe des flux ETL et répond à un manque dans le domaine de l’intégration de données.
Il rend accessible des informations techniques à des acteurs métier, leur donnant plus d’autonomie dans leur quotidien.
Les dashboards permettent de superviser et de piloter l’ensemble des flux de données, donnant à EtlTool un rôle central pour une meilleure collaboration entre tous les acteurs. Il offre des fonctionnalités disponibles au travers de consoles de management, et même au-delà.
N’hésitez pas à nous contacter pour une démonstration, ou plus d’informations sur ce produit.
