L’essentiel de Talend Management Console
Talend Cloud offre plusieurs outils dont Talend Management Console (TMC) qui est une plateforme orientée administration. C’est sur cette plateforme que vous pouvez gérer les rôles des utilisateurs, créer et gérer des groupes. Vous pouvez également créer des projets, des moteurs, des environnements et des espaces de travails. C’est également par cette plateforme que l’on peut gérer tous les flux développés par le Studio Talend et Pipeline Designer.
Lorsqu’un job est publié depuis le studio vers Talend Cloud, il apparaît en tant qu’artefact, et peut-être configuré et planifié en tant que tâche. Ces tâches peuvent être ordonnancées grâce à des plans. Un plan est une succession d’étapes à effectuer dans l’ordre, où ces étapes peuvent contenir une ou plusieurs tâches.
Par ailleurs, vous pouvez mettre en place des planifications. C’est-à-dire que vous pouvez ajouter des déclencheurs à une tache ou un plan afin qu’ils s’exécutent automatiquement.
Voici un aperçu de la TMC :
Au niveau du bandeau en haut à gauche, vous pouvez accéder aux différents outils de Talend Cloud en déroulant le menu à côté de Management Console.
Plusieurs onglets sont disponibles dans le panneau de gauche :
1 – Par défaut, c’est l’onglet Opération qui est ouvert. Dans celui-ci vous trouverez un résumé des dernières exécutions de plans ou tâches de la TMC.
2 – La partie « gestion » permet de définir des plans et des tâches, de les affecter à un environnement, un espace. Vous pouvez aussi créer des déclencheurs pour qu’ils s’exécutent de manière automatique.
3 – La partie « projet » permet de créer des projets Talend et d’y affecter des utilisateurs. Ces projets Talend doivent être reliés à des projets GIT en leur spécifiant l’URL du projet GIT.
4 – La partie « Traitement » permet de gérer les moteurs d’exécutions des tâches Talend, que ce soit la création des moteurs, la vérification des statuts ou la configuration/suppression de ceux présents.
5 – La partie « Environnement » permet de créer, supprimer, gérer des environnements de travail. Par exemple, il est souvent conseillé d’avoir, au minimum, un environnement de développement et un environnement de production.
6 – L’espace « Promotions » permet de définir des promotions. Une promotion consiste à envoyer un certain nombre d’objets d’un environnement A vers un environnement B.
7 – L’onglet Utilisateur(trice)s et sécurité sert à ajouter ou supprimer des utilisateurs et de gérer leurs droits.
8 – L’onglet Configurations permet de gérer les paramètres de la TMC et des différents outils auxquels votre licence Talend vous donne accès.
9 – L’onglet Souscription présente les informations sur votre licence ainsi que le nombre d’accès utilisés/libres.
Si vous souhaitez en savoir plus sur la suite Talend Data Fabric, vous pouvez consulter l’article suivant : https://www.decivision.com/blog/talend/presentation-de-talend-data-fabric
Inscrivez-vous à la newsletter DeciVision !
Soyez notifiés de nos derniers articles de blog, de nos prochains webinars et nos actualités !
Voici quelques exemples d’utilisation de la TMC :
Effectuer une promotion
Une promotion permet de transmettre des éléments d’un environnement A dans un environnement B.
Avant de pouvoir utiliser une promotion (2), il faut d’abord l’ajouter, en définissant quels sont les environnements sources et cibles (1).
Ensuite, la promotion s’effectue en trois étapes :
- Configuration de la promotion: Lors de cette étape est défini quel objet on souhaite promouvoir
- Vérification de la promotion : La promotion est simulée, avec un compte rendu permettant de savoir quelles actions seront faites durant cette promotion : Création, écrasement ou réutilisation d’objet(s), erreur, warning, ou actions manuelles à faire après la promotion.
Par exemple, lors de la vérification de la promotion ci-dessous, Il est indiqué que l’espace de travail Cloud Run sera réutilisé, que les Tâches, plans, Artefact et Connexions seront créées dans l’environnement cible, mais qu’il faudra mettre à jour manuellement la nouvelle connexion avec les paramètres de l’environnement cible :
- Exécution de la promotion: Une fois validée, la promotion est exécutée
Attention, si vous avez définit des déclencheurs sur l’environnement B, la promotion va les écraser.
Information : L’utilisation des promotions pour transmettre des éléments d’un environnement à un autre fait partie des Bonnes Pratiques de cycle de vie du développement Talend, décrites ici : https://help.talend.com/r/fr-FR/8.0/software-dev-lifecycle-best-practices-guide/what-is-software-development-life-cycle
Créer une planification
Les planifications sont paramétrables dans la partie Gestion de la TMC.
Pour cela, il suffit de cliquer sur le nom de l’exécutable à planifier. Puis, vous pouvez ajouter un ou plusieurs déclencheurs dans la partie « Déclencheurs ». Il existe 5 types de déclencheurs (Cron, Mensuel, Hebdomadaire, quotidien, une seule fois). Le type Cron permet de définir le déclenchement avec une expression plus précise.
Par exemple, si vous voulez ajouter un déclencheur sur une tâche pour qu’elle s’exécute tous les premiers vendredis du mois, vous devez définir un déclencheur de type Cron comme ceci :
Voici de la documentation sur les expressions Cron : https://help.talend.com/r/fr-FR/Cloud/management-console-user-guide/configuring-cron-trigger
Les APIs de Talend
Toutes les actions que l’on peut faire depuis la TMC peuvent être réalisées avec des API, comme créer un utilisateur et lui définir des droits, exécuter une tâche, ou vérifier le statut d’exécution d’une planification.
Une API est une interface qui permet de lier un client et un serveur pour faciliter l’échange de données. Attention, ici nous ne parlons pas de Talend API Services qui est une solution qui permet la création, la documentation, la publication et la gestion d’API.
Dans les deux cas d’APIs présentées ci-après, vous aurez besoin d’une authentification de type OAuth2 Bearer et de renseigner un jeton pour les tester. Pour créer un jeton, accédez aux préférences du profil et ajoutez un jeton.
Attention, on peut voir le jeton qu’une seule fois. Il faut penser à l’enregistrer quelque part avant de fermer la fenêtre ! (De préférence dans un outil sécurisé de gestion des mots de passes).
API de la TMC
Pour récupérer différentes informations sur n’importe quel élément de la TMC, on peut utiliser l’API de la TMC. Cette URL est à compléter en fonction de ce que l’on souhaite obtenir.
Pour tester cette API, vous pouvez utiliser le swagger (documentation des API et des ressources utilisables), à l’adresse https://api.eu.cloud.talend.com/tmc/swagger/swagger-ui.html#/
Vous pouvez choisir la version de l’API en haut à droite (1), renseigner le jeton de connexion à Talend Cloud dans la partie « Authorize » (2) et choisir un élément à requêter (3). Vous pouvez effectuer des requêtes de type GET, POST, PUT et DELETE.
Par exemple, pour la ressource schedules (correspondant aux planifications), il est possible de réaliser toutes les actions si dessous, décrites dans le swagger :
Si l’on clique sur l’opération GET /schedules (1), qui permet des récupérer la liste des planifications, nous voyons les paramètres à utiliser (2), les types de réponses possibles (3). Il est possible de tester l’API avec ses propres paramètres, grâce au bouton Try it out (4).
API Audit Logs
Si on veut connaître toutes les actions effectuées sur la TMC, quand, et par qui, il existe l’API d’audit des logs, dont voici la documentation :
https://api.ap.cloud.talend.com/v1/audit/swagger-ui/index.html#/Audit%20logs/getAllAuditLogs
Pour l’utiliser, il faut appeler l’URL : https://api.eu.cloud.talend.com/security/audit/logs
Attention, si vous n’êtes pas dans la région Cloud AWS-Europe cette URL peut changer (voir : https://help.talend.com/r/en-US/Cloud/api-user-guide/accessing-your-audit-logs ). Cette API renvoie un certain nombre de logs par pages. Pour récupérer tous les logs, il faut donc effectuer une boucle sur les pages. Vous pouvez tester cette API avec Postman ou bien un job Talend.
Voici un exemple d’utilisation avec Postman :
Le paramètre « size » permet de définir le nombre de logs par pages et le paramètre « page » permet de choisir la page qu’on veut voir. Dans cet exemple, on demande les logs de la deuxième page des actions effectuées entre le 16 mai 2023 à 3h47 et le 17 juillet 2023 à 10h47 sachant qu’on veut 10 logs par pages.
Pour plus d’informations sur les APIs de Talend, vous pouvez consulter ce site : https://api.talend.com/apis/
CONCLUSION DE L’EXPERT
- La TMC est la console de management des outils Talend Cloud, qui permet d’effectuer différentes actions de gestion. C’est dans la TMC qu’on planifie les exécutions de plans ou de tâches notamment.
- On peut consulter les logs de la TMC via une API « audit log ».
- On peut récupérer les éléments de la TMC, les modifier, les créer ou les supprimer en se connectant à la TMC ou bien via son API.
