Services Talend

 Qu’est-ce qu’un traitement ETL?

Un traitement ETL est un programme qui permet de :

  • Extraire (Extract) des données de multiples sources de données. (ex: Base de données, Fichiers, web services, …)
  • Transformer (Transform) ces données. Par exemple croiser les données provenant de deux ou plusieurs sources différentes.
  • Charger (Load) les données consolidées dans n’importe quel format. (Base de données MySQL/Oracle/PostgreSQL/…, Fichier excel/csv/xml, …)

 

En quoi cela peut-il être utile pour votre entreprise?

L’utilité de traitments ETL en entreprise est très vaste car spécifique au besoin. Voici quelques exemples :

  • Vous souhaitez récupérer des données sur un site internet de façon automatisé et les insérer dans une base de données. (ex: Taux de change du jour, prix d’un produit, geolocalisation, …)
  • Vous possédez une base de données d’e-mail, vous souhaiteriez tout centraliser et consolider les données en éliminant les adresses invalides ou inexistantes.
  • Vous souhaitez migrer votre catalogue de produit actuel vers un système plus performant et qui soit directement lié à votre site e-commerce.
  • Vous avez des erreurs dans vos données et souhaiteriez les nettoyer avec un système automatisé.
  • Vous souhaitez synchroniser vos données avec d’autres sources.
  • Vous souhaitez construire une base de données de statistiques orienté OLAP que vous utiliserez pour la Business Intelligence à partir d’une base de données métier orienté OLTP.

Pourquoi utiliser un ETL et pas tout simplement coder dans le langage de son choix?

Nombreux sont ceux qui préfèrent développer leurs traitements dans le langage qu’ils maitrisent le mieux plutôt que d’apprendre à manipuler un ETL. Grave erreur!

Le code fait maison est certes très flexible et donne l’illusion d’aller plus rapidement car on évite le temps passé à maitriser l’outil. Malheureusement on se rend vite compte sur un gros projet que les coûts de déboguage et surtout de maintenance sont beaucoup plus important qu’un traitement fait sous ETL. Comme tout bon programmeur le sait, inutile de réinventer la roue! L’ETL offre une panoplie de composants remplaçant de nombreuses lignes de code.

L’ETL donne une vision graphique du job (un traitement est appelé job sous talend) et permet ainsi en un coup d’œil de comprendre le bût du traitement ainsi que de repérer l’endroit où appliquer la modification demandé (si le développeur qui l’a conçu a pris le soin de respecter les conventions bien entendu).

Le gain de temps est énorme et c’est pour cela que les grands du marchés ont adopté ces solutions. Pour vous donner des exemples de clients de la solution Talend je citerai Orange et la SNCF. Vous trouverez la liste complète ici.

Pourquoi choisir la solution Talend?

Talend est un logiciel très puissant offrant parmi les meilleurs performances du marché tout en restant largement abordable dans sa solution professionnel.

Il a l’indéniable avantage d’être open source, ce qui permet à une très large communauté d’apporter sa contribution sous forme de composant, dont l’utilité est plus ou moins importante selon le domaine.

Talend offre également une version gratuite très complète qui permet aux entreprises ne nécessitant que très peu de traitements de les développer sur la version gratuite.

Pour plus d’information concernant ce produit vous pouvez visiter leur site internet.

Site Officiel Talend

Quel est mon domaine de compétence ?

Ayant bénéficié d’une formation par la société Talend et de plusieurs années d’expérience en tant que développeur dans une entreprise traitant les données du pneumatique, je vous propose le développement de traitement en tout genre ainsi que la conception de nouveaux composants si nécéssaire.

Par traitement en tout genre j’entends des applications de migration, d’aspiration, de filtrage et de supervision pouvant être jumelé à une application PHP qui permettra de paramétrer et superviser le tout.

Chaque demande étant spécifique n’hésitez pas à me contacter pour voir la faisabilité et la technologie la plus adéquate à utiliser. Je peux y joindre un devis si nécéssaire.

De plus, si vous êtes une petite entreprise ne nécessitant pas la version payante de Talend car vous n’utilisez que peu de traitements, je peux mettre en place votre environnement d’exécution en y incluant une application de monitoring des jobs développé par mes soins (voir tom).

Je peux m’adapter à toute architecture et SGBDR, cependant, mon domaine d’expertise reste les bases de données MySQL de très gros volume. Je suis à même de vous garantir les meilleurs performances possible avec cette technologie.