Comment activer les logs talend avec tom

Posted by admin on oct 18, 2011 in Talend | 0 comments

Dans ce tuto vous apprendrez à activer les logs talend. Ces logs seront stockés dans la base de données tom_database_lite que vous trouverez sur cette page.

1. Dans un premier temps il vous faudra télécharger et désarchiver le dump de tom_database_lite.

2. Créez une nouvelle base de données MySQL

CREATE DATABASE tom;

3. Puis injectez le SQL

mysql -u root -p tom < tom_database_lite.sql

mysql -u root -p tom

mysql> show tables;
+-----------------------+
| Tables_in_tom         |
+-----------------------+
| tom_flow_meter        |
| tom_log_tech          |
| tom_stats             |
| tom_v_finished_jobs   |
| tom_v_unfinished_jobs |
+-----------------------+
5 rows in set (0.00 sec)

4. Ouvrez talend puis sélectionnez votre projet.

5. Cliquez Fichier –> Editer les propriétés du projet

6. Allez à la section Job Settings, puis Stats & Logs. Activez le tStatCatcher, tLogCacher et tFlowMeterCatcher

7. Cochez « Dans la base de données » pour la sortie. Choisissez le type de base de données MySQL et entrez vos paramètres afin que cela ressemble à l’exemple ci-dessous. Afin de pouvoir déployer vos jobs sur d’autres serveurs (recette, preproduction, production par exemple), je vous conseille vivement d’utiliser des paramètres de contextes pour vos champs. Créez donc une base de données dans les métadonnées talend et exportez les paramètres en contexte.

Désormais toute exécution de job sera enregistré par défaut dans la base de données. Grace à ces informations vous pourrez :

• Visualiser l’historique d’exécution
• Connaitre les temps d’exécutions de vos traitements
• Visualiser les flux monitorés

Le  job fill_tom_stats_with_subjobs : Le tLoop exécute 10 fois de suite le job enfant (fill_tom_stats). Il y a donc 1 job enfant et 10 exécutions.

mysql> select * from tom_v_finished_jobs;

+----+----------+------------+----------+-----------------------------+-------------+---------+----------+---------+---------+---------------+
| id | root_pid | date       | time     | job                         | job_version | context | duration | success | subjobs | subjobs_execs |
+----+----------+------------+----------+-----------------------------+-------------+---------+----------+---------+---------+---------------+
| 24 | AiTYGk   | 2011-10-27 | 17:19:52 | fill_tom_stats_with_subjobs | 0.1         | Default | 00:00:01 | success |       1 |            10 |
|  2 | HF4JNi   | 2011-10-18 | 23:32:05 | fill_tom_stats              | 0.1         | Default | 00:00:00 | success |       0 |             0 |
+----+----------+------------+----------+-----------------------------+-------------+---------+----------+---------+---------+---------------+
2 rows in set (0.01 sec)

Les champs subjobs et subjob_execs vous donnent des informations concernant les jobs enfants que vous utilisez. Le premier correspond au nombre de jobs enfants distincts présent dans le traitement et le deuxième correspond au nombre d’exécutions des jobs enfants.

Pour conclure, vous disposez ici des informations les plus importantes pour superviser vos traitements. Cependant les tables de logs vous permettent d’avoir plus d’information, notamment concernant les flux monitorés ainsi que les erreurs d’exécutions. Le logiciel tom(‘nt) affiche ces données. Je tacherai de faire des vues SQL permettant cela dès que le temps me le permet.