ETL 2.0 - Eléments de compréhension

Depuis 20 ans, les systèmes d'informations ont utilisé des solutions d'intégration de données pour déployer des initiatives nécessitant des échanges inter-applicatifs
- Entrepôts de données
- Fusion / Migration de systèmes
- Compliance
- etc

Ces dernières années, les suites d'intégration de données se sont enrichies de nombreux modules, destinés à répondre aux nouvelles initiatives stratégiques des entreprises
- Déploiement de référentiels unifiés
- Vision 360° des clients
- Amélioration de la Supply-chain
- Mise en œuvre d'interfaces B2B normalisées
- Traçabilité des circuits de l'information
- Mise à disposition d'informations décisionnelles
- Data Analytics
- Compliance
- etc

Aujourd‘hui, on parle de plus en plus de nouvelles initiatives autour du Big Data, qui consiste à préparer le traitement des données nouvelles ou enfouies afin de dégager toujours plus de valeur autour à partir de ses informations : Les Big Data.
Seulement voilà, les solutions d'intégration de données standards du marché ne suivent pas, ni du point de vue de la volumétrie, ni du point de vue des attentes métiers.
Sur tous les projets actuels, les équipes d'études ont dû trouver des moyens de pallier aux performances des ETL standards afin de délivrer les résultats en accord avec les besoins métiers : Expertise, ajout de matériel, déport des traitements dans les bases de données, autant de "bonnes pratiques" qui entraînent des augmentations significatives de coûts de possessions et qui impactent l'agilité des projets.

Alors que les projets demandent toujours plus de ressources, le contexte actuel de crise économique amène des DAF et les DSI à chercher des angles pour réduire les coûts de possession des applications.

On peut poser la question : Comment ces moteurs d'intégrations, inadaptés aux projets d'aujourd'hui tant en terme de coût que de capacité de traitement, vont-ils se comporter face à des volumes 44 fois supérieurs (estimation du Gartner d'augmentation des volumétries entre 2009 et 2015) ? Lorsqu'on voit le coût des infrastructures actuelles destinées à intégrer des données opérationnelles en BATCH nocturnes pour quelques dizaines d'utilisateurs, quel sera le coût des mêmes solutions pour traiter au fil de l'eau des données opérationnelles ET externes (terminaux mobiles, réseaux sociaux, ...) en quasi temps-réel et servies à des milliers de personnes ?

Pour Syncsort, la réponse est évidente : Sans aide, les architectures d'intégration de données actuelles vont échouer sur les projets d'aujourd'hui dont la volumétrie va exploser, et ne seront pas déployées pour les projets de demain car d'emblée jugées trop coûteuses.

Pour débloquer la valeur des projets d'intégration de données, il va falloir significativement améliorer les performances des couches d'intégration de données, et dans le même temps en réduire les coûts de possession, et ce en renforçant les règles de développements urbanisés, afin de rester (ou de redevenir) réactif en alignement avec les besoins métiers.

Cette proposition de valeur, la stratégie ETL 2.0 la matérialise par la mise à disposition transverse d'un élément d'architecture remarquable par ses performances, son comportement vis-à-vis des ressources systèmes, et sa flexibilité. Au services des autres éléments de l'architecture d'intégration de données, ce composant appelé "DI Accelerator" (ou DIA) est destiné à en améliorer significativement les capacités de traitements ainsi qu'à en réduire les coûts de possessions.

Découvrir la suite de cet article en téléchargeant gratuitement le document ci-dessous