Talend Open Studio en quelques mots
Ce début d’année 2024 a été riche en actualité dans le monde de la Business Intelligence, et plus précisément de la Data Intégration, avec l’annonce, par Qlik, de l’arrêt de leur solution Open Source : Talend Open Studio. Bon nombre des utilisateurs de Talend Open Studio se trouvent ainsi tourmentés de questions, toutes légitimes : Pourquoi cet outil qui marche si bien et qui est gratuit s’arrête ? Vais-je perdre tous mes jobs Talend ? Comment puis-je migrer sur la solution Enterprise ? Est-il préférable de passer sur une autre solution Open Source ?
Nous allons, à travers cet article de blog, essayer de répondre à ces questions, et vous donner un peu plus de visibilité. Bien sûr, nous nous appuyons sur les annonces publiques de Qlik pour traiter ce sujet.
Pourquoi avoir retiré Talend Open Studio, et quelles sont les conséquences ?
Pour beaucoup d’éditeurs de logiciel, le produit open source permet d’entrer sur un marché. C’est ce qu’a fait Talend dans le monde de la Data Intégration il y a une vingtaine d’année. Son offre s’est étoffée au fil des ans pour proposer des produits de plus en plus performant, innovant, et pour s’aligner avec les évolutions du marché, comme l’atteste ses présences régulières en tant que leader dans le Magic Quadrant de gartner.
La communauté :
Pour qu’un produit Open Source soit pérenne et puisse évoluer, il doit avoir une communauté active. Cette communauté permet, d’une première part, d’utiliser l’outil, de le populariser, de créer des bases de connaissance, des discussions dans des forums, bref, du contenu. D’autre part, cette communauté permet également de faire évoluer l’outil, que ce soit en termes de stabilité, de fonctionnalité, de performance, d’innovation, etc. Or, depuis quelques années, les contributions au projet open source sont casis nuls. En effet, l’outil a atteint un stade de maturité, où il ne fonctionne plus tellement comme un produit open source car son évolution est maintenant nulle.
La Gamme de produits Talend
Talend a investi sur d’autres produits que le Studio afin d’étoffer leur gamme autour de la donnée. On ne parle plus seulement de Data Intégration ou de Data Quality, mais également de Data Gouvernance, Data Market, Data Shop, Data Catalog, Data Lineage, Data Inventory, Entreprise Intégration. Autant de fonctionnalités et de domaines que couvre Talend grâce à sa Gamme de produit. Garder Talend Open Studio les utilisateurs sur les fonctionnalités, alors que le monde et les besoins autour de la Data ont grandement évolués ces dernières années. C’est d’ailleurs la raison pour laquelle des produits sont disponibles dès la licence Data Intégration, avec Pipeline Designer, Data Préparation et Data Stewardship.
Toutes ces raisons, (sans compter l’innovation sur laquelle travaille actuellement Qlik/Talend pour intégrer de l’Intelligence Artificielle dans ses produits) ont fait prendre la décision de retirer les produits Talend Open Studio du marché depuis le 31 janvier 2024.
AVIS DE L’EXPERT
L’arrêt de TOS et l’utilisation des outils Talend soumis à licence est une formidable opportunité pour améliorer et enrichir vos usages autour de la donnée au sein de votre entreprise.
Vos outils Talend Open Studio sont toujours utilisables si vous avez gardé les sources. Cependant, vous ne bénéficierez plus des évolutions, et vous exposez à des failles de sécurité qui ne seraient plus patchées.
Inscrivez-vous à la newsletter DeciVision !
Soyez notifiés de nos derniers articles de blog, de nos prochains webinars et nos actualités !
Les bénéfices du Studio Talend
Nous allons aborder dans ce chapitre quels sont les principaux bénéfices de passer à la version Commerciale de Talend.
Un Studio pour les gouverner tous
Il existait 4 versions différentes de Talend Open Studio : Data Intégration, Big Data, Data Quality et ESB. Ces 4 outils étaient indépendants et les fonctionnalités cloisonnées, ce qui implique une orchestration externe pour automatiser l’utilisation de ces différentes fonctionnalités.
Avec l’utilisation du Studio, toutes les fonctionnalités se trouvent au même endroit, et les jobs Talend deviennent alors unifié.
Le Studio garde la possibilité de construire les jobs en exécutable au format .bat ou .sh, mais permet également de les déployer grâce à l’outil Command Line, d’utiliser des conteneurs Docker ou Kubernetes, ou vers des moteurs d’exécutions Talend.
Les joblets : factoriser le développement de vos jobs
Les Joblets sont des bouts de job Talend, des suites de composants, stockés et centralisés dans le référentiel et qui peuvent être réutilisés dans l’ensemble de vos jobs. L’utilisation de joblets n’impacte pas la performance d’exécution, et permet de réduire la maintenance du code.
La parallélisation pour accélérer les traitements
Dans de nombreux cas, paralléliser le traitement de la donnée permet d’accélérer et d’optimiser les temps d’exécution. Dans Talend Open Studio, les fonctionnalités sont limitées, alors que dans la version commerciale, il existe plusieurs façons d’optimiser et de paralléliser les traitements :
- L’activation du Multi Thread au niveau du job
- L’utilisation du composant tParallelize
- L’utilisation des composants qui supportent l’exécution en parallèle (exemple : écriture en base de données avec le tDBOutput)
- La parallélisation automatique : Partitionnement -> Collecte -> Dé-partitionnement -> Re-Collecte
L’intégration native de GIT
Cette fonctionnalité est l’une des grosses différences avec l’utilisation de Talend Open Studio, surtout lorsque l’outil Talend est utilisé par plusieurs personnes au sein de l’entreprise.
L’intégration native de GIT dans Talend permet non seulement de centraliser les développements dans un référentiel central accessible à tous les développeurs, mais également de gérer les projets GIT, d’utiliser les fonctionnalités de push, pull, merge, de gestion des branches et des commits, afin d’être compatibles dans les process de CI/CD.
La mise à jour de produits Talend
L’un des gros avantages d’utiliser des produits gérés dans le cloud est de se défaire des contraintes de mises à jour logiciel, d’environnements, de serveurs, de compatibilité. En effet, ces mises à jour sont déployées automatiquement sur les produits cloud, sans impact ni effet sur les systèmes opérationnels. Ces mises à jour sont mensuelles et concernent les corrections de bugs, corrections de failles de sécurités, évolution des produits ou dépréciations. Vous pouvez trouver les notes de version ici
Seuls les produits installés on premise nécessite une mise à jour de la part de l’entreprise, comme les Remote Engine ou le Studio Talend. Concernant ce dernier, la mise à jour peut être centralisée au niveau de la TMC, afin de garantir une version commune à tous les développeurs d’un même projet.
La sécurité pour tout protéger
Saviez vous que le niveau de conformité et de sécurité d’un produit Open Source est plus faible qu’un produit commercial hébergé dans le Cloud ? Car la conformité en matière de sécurité est une question énorme, d’autant plus quand on touche au cloud. Talend se veut extrêmement rigoureux là-dessus. Vous pouvez en effet voire ci-dessous une liste des protocoles de sécurité ainsi que la conformité RGPD (Règlement Général sur la Protection des Données) et CCPA (California Consumer Privacy Act)
Le site https://security.talend.com centralise tous les éléments sur le programme de sécurité, tels que les certifications et les livres blancs. Il est également possible d’évaluer le niveau de risque, et de voir les mises à jour en termes d’annonce dont de sécurité, et la manière dont les vulnérabilités ont été corrigées.
AVIS DE L’EXPERT
La liste des fonctionnalités disponible dans la version commerciale, par rapport à la version Open Source de Talend est importante, tant dans le Studio Talend lui-même, que dans l’eco système de Talend.
Vous pouvez vous rendre sur le site https://www.talendforge.org/components/index.php afin de comparer la liste de tous les composants et connecteurs disponibles en fonction de la version de Talend.
Le processus de migration depuis Talend Open Studio
Il existe plusieurs stratégies afin de migrer vos jobs depuis Talend Open Studio vers la version commerciale, en fonction de ce que les entreprises veulent entreprendre durant cette migration. Ces quatre stratégies sont schématisées ci-dessous, allant de la moins complexe à la plus complexe.
Bien sûr, l’un des pré requis à la migration est d’avoir correctement installé la plateforme Talend :
- Installation et configuration du Studio Talend,
- Installation et configuration du/des Remote(s) Engine(s),
- Création des Référentiels GIT,
- Création des utilisateurs Talend, gestion des droits,
- Déclaration des projets talend, des environnements et des workspaces,
- Vérification de connexion aux sources de données etc.
Rehost :
La stratégie de réhéberger est la plus simple. Il s’agit ici d’exporter le contenu d’un projet depuis un Studio TOS, et de le réimporter dans la nouvelle version de Talend, sans toucher aux traitements effectués. Durant cette migration, il est possible qu’il faille ajouter des librairies Java, ou alors modifier le comportement de certains composants pour les rendre compatibles.
Une recette technique, puis une recette fonctionnelle permettrons de valider la migration, avant un déploiement en production des jobs sur la TMC, un décommissionnement de la planification des jobs provenant de TOS et une planification des nouveaux jobs depuis la TMC.
Cette première stratégie de migration est également l’occasion de faire du ménage dans vos référentiels projets, réorganiser vos ordonnancements, et mettre en place des bonnes pratiques de développement et d’intégration continue en utilisant les fonctionnalités de GIT.
Re-Platform :
La stratégie sur la migration est la même, mais en incluant une phase d’analyse et d’audit des jobs plus approfondie, afin de voir comment tirer parti des avantages et fonctionnalités du Studio Talend :
- A-t-on des problèmes de performance qui pourraient être résolu avec de la parallélisation, la scalabilité ou les composants ELT ?
- Est-il possible d’améliorer la qualité du code et des jobs, en réduisant la complexité avec de nouveaux composants/fonctionnalités disponibles (Joblets, DataMapper)
Refactor :
Dans la stratégie de refactorisation, nous allons plus loin dans l’analyse et l’audit de l’existant : nous reprenons votre architecture globale, analysons les sources, transformations, cibles et destinations afin de rendre les processus plus efficaces, tout en profitant des outils supplémentaires proposé par Talend :
- Réduction du nombre de jobs en utilisant des framework d’intégration ou des projets référencés
- Utilisation des composants de Change Data Capture afin d’optimiser les flux de synchronisation de données.
- Mise en place d’un système de gestion des logs centralisé
Re-Architect :
Cette dernière stratégie est la plus complexe, car elle consiste à reprendre votre architecture globale et à vous en proposer une nouvelle, afin de répondre du mieux possible à vos attentes et besoin, en utilisant au maximum les avantages de tous les produits Talend, selon votre licence :
- Vous souhaitez profiter de la migration sur Talend Data Fabric afin de restructurer votre SI Décisionnel :
- Revue de votre DataWarehouse
- Création de Référentiels (Clients, Produits, autre)
- Optimisation de vos DataMart
- Vous souhaitez impliquer les utilisateurs métiers dans votre politique Data grâce aux outils cloud
- Mise en place de processus de curation de la donnée avec l’Utilisation de Data Stewardship
- Utilisation de Data Inventory pour centraliser les jeux de données, et analyser leur qualité
- Mettre en place, publier et partager des recettes et règles de qualité de donnée grâce à Pipeline Desiner
- Profitez des modules d’intégration d’application pour exposer vos données via API, et faire de l’échange Inter applicatif en temps réel
CONCLUSION DE L’EXPERT
Il existe plusieurs moyens de réaliser une migration de Talend Open Studio. Même si les 4 stratégies sont présentées séparément, il est tout à fait possible de les combiner et de procéder par étapes : Faire une simple migration opérationnelle jusqu’en production, puis optimiser les flux post migration, pour enfin prendre le temps de réorienter votre stratégie Data.
Nous vous conseillons de ne pas trop attendre si vous souhaitez réaliser une migration, afin de ne pas augmenter la dette technique, et ne pas s’exposer à des failles de sécurité ou problèmes de compatibilité technique.
Pour finir, il existe des outils open sources que vous pourriez utiliser remplacer Talend Open Studio. Mais est ce que le ROI sur la réécriture des jobs est plus intéressant que l’acquisition d’une licence Talend ?
