L’intégration – sans infrastructure – de data avec Talend Cloud est-elle à la hauteur des enjeux contemporains ?

Depuis quelques décennies déjà, l’intégration de données s’impose comme un besoin incontournable des sociétés possédant un système d’information. Les usages des données intégrées restent multiples. S’il est difficile de dresser une liste exhaustive, quatre grandes familles de besoins semblent néanmoins former un noyau dur :
• la synchronisation des données,
• l’alimentation de bases décisionnelles (Datawarehouse et Datamart),
• les échanges de données inter applicatifs,
• la gestion de la qualité de données.
L’évolution rapide des habitudes, des technologies et des pratiques de ces dernières années ont imposé de nouveaux challenges. La demande en data toujours plus volumineuse se fait de plus en plus pressante, et les attentes (exigences), emportées par un enthousiasme grandissant, ne souffrent plus la moindre patience ; les traitements, bien que fluctuants, se doivent désormais d’être quasi instantanés...
Alors que les données étaient auparavant toutes dans des réseaux internes aux sociétés, elles se propagent désormais à l’extérieur du réseau d’entreprise, notamment grâces aux applications SaaS. La volumétrie a quant à elle poussé les sociétés à utiliser des bases de données du Cloud afin de permettre et maitriser la répartition de charge entre plusieurs serveurs. Enfin, les traitements ont eux aussi évolués. L’omniprésence des data-lakes qui mettent à dispositions des données hétérogènes et volumineuses a entraîné l’utilisation de serveurs distribués Hadoop (type EMR) pour s’assurer du bon fonctionnement des traitements tout en garantissant les meilleures performances.

A la suite de ces changements, les solutions d’intégration de données se doivent d'évoluer et de proposer des solutions en adéquation avec ces nouvelles habitudes, notamment cette aspiration très grande pour une répartition des sources de données entre local et distant.
Le premier challenge est de rendre accessible l’intégration des données à des équipes n’étant pas expertes en infrastructure ou n’ayant simplement pas la latitude pour influer sur les serveurs. En effet, l'agilité induit que les besoins soient transmis directement par les futurs utilisateurs et que l'intervention de l'équipe technique ne soit plus impérative.
Le second défi concerne la sécurité des données. Dès que le Cloud est envisagé pour stocker des données, une question est fondamentale : qu’en est-il de la sécurité de mes données ? L'accès à la puissance du Cloud ne doit pas être synonyme de perte ni même de brèche sur la maitrise de l'accès aux données.

Consécutivement à ces changements, en sa position de leader de l’intégration de données, Talend se devait de proposer une solution en adéquation avec ces nouveaux défis.
Ainsi, Talend Cloud propose effectivement une plateforme clés en main pour le développement de flux. Désormais, une fois associée à un serveur de versionning GIT, la plateforme Talend est totalement opérationnelle et il suffit d’y connecter un studio de développement pour se retrouver dans une situation similaire à une plateforme on premise. La console d’administration est disponible et permet à l’administrateur de définir les utilisateurs, les projets, le ou les serveur(s) d’exécution, de planifier l’exécution des flux et de s’assurer du suivi des exécutions. Consciente que les flux d’intégration doivent intégrer des chaînes diverses et variées, la solution Talend met également à disposition des API Rest pour que les flux puissent intégrer un ordonnanceur pour des plans de production complexes.
Aucune donnée n’est stockée dans Talend Cloud. En effet, les flux ont pour objectif de croiser des données de différentes sources et non de se substituer à elles. Talend Cloud propose également un mode hybride : les serveurs d’exécutions peuvent être soit dans le Cloud soit sur un réseau interne.
En effet, si l’objectif est de répliquer des données Salesforce dans une base du Cloud de la même région, par exemple, quel est l’intérêt de rapatrier les données sur les serveurs locaux pour les retourner à la destination ? L’usage du serveur d’exécution Cloud permet ainsi d’obtenir un résultat identique avec des performances totalement différentes.
Au contraire, si l’objectif est de faire communiquer des données localisées au sein d’un réseau interne, utiliser un serveur d’exécution dans le Cloud soulève d’autres questions, notamment pour les autorisations d’accès. Autant donc rester en local. Pour ce faire, un serveur d’exécution peut être installé au sein du réseau. Lui seul devra être accessible par Talend Cloud pour permettre le déclenchement des jobs. Le serveur d’exécution devra ensuite être autorisé à utiliser les sources de données au niveau réseau pour que les jobs puissent s’exécuter correctement, mais ces données ne transiteront pas par le Cloud.

Le mode hybride rend Talend Cloud utilisable par toutes les sociétés. En effet, la sécurité des données n’est pas un sujet puisqu’il est possible de choisir entre des exécutions Cloud et des exécutions on premise. Comme nous l’avons évoqué, l’avantage principal de cette version est donc de laisser son équipe se concentrer sur le développement et l’exécution des flux. Nul besoin de monitorer la plateforme et d’effectuer les montées de version, l’équipe Talend s’en charge pour tous.
En conclusion, la plateforme clés en main Talend Cloud permet d’améliorer la productivité ainsi que de bénéficier des offres complémentaires de Talend, comme la qualité de données, au fil des besoins, sans devoir se préoccuper de l’aspect matériel ainsi que de la maintenance, ce qui en fait une solution tout à fait crédible, efficace, concurrentielle et unique sur le marché, ce qui la positionne d’ailleurs comme leader dans le Magic Quadrant du cabinet d’analystes Gartner.

Cédric Houpe, expert en Data Management est aujourd’hui Technical Manager chez Ysance. Expert certifié avec plus de 10 ans d’expérience sur Talend, il intervient régulièrement sur des missions et apporte son aide pour parfaire le cadrage technique, la réalisation de Proofs of concepts (PoCs), la formation, la conduite des audits ainsi que comme support à la résolution de problématiques techniques.