Actualités : analyse de données, Business Intelligence, Data Science, Big Data


Benchmark ETL - Hummingbird Genio 7.0 / Microsoft SSIS 2005


Rédigé par Stratners le 9 Juin 2008

Etude de performances de deux outils ETL.



Objet de l'étude

Cette étude n’a pas vocation à démontrer que le développement et la mise en oeuvre de flux sont plus aisés avec tel ou tel ETL mais bien de montrer les capacités en terme de performance de chaque outil dans un contexte technique courant.

Cette étude se focalise donc sur le temps de traitement nécessaire aux réalisations d’opérations communes aux deux ETL dans diverses combinaisons de sources et cibles, nombre de colonnes plus ou moins larges et volumétries multiples.

Résultats et publication

Les résultats sont analysés et présentés sous forme de graphiques par rapport à une source de données choisie, les paliers de volumétries et le nombre de colonnes de données à traiter.

Deux documents sont disponibles :
- un document de synthèse de 6 pages, téléchargeable gratuitement sur http://www.stratners.com
- le dossier complet du benchmark avec, notamment, les architectures, les scenarii détaillés, les tableaux de mesures, et des graphiques et analyses complémentaires.
Autres articles




Commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

13.Posté par STRATNERS le 20/11/2008 17:03
Bonjour à tous,
Nous venons de faire un complément à notre étude sur ces 2 mêmes ETL en intégrant des hypothèses de paramétrage (options ETL) complémentaires que nous avons fait visées par les éditeurs Microsoft et OpenText/Hummingbird.
Comme précédemment (pour notre étude de l'été dernier), nous avons mis en ligne, aujourd'hui (jeudi 20 novembre 2008), sur notre site un document pdf de 6 pages, avec cette fois un plus d'informations techniques sur ce qui a été fait.
A vous de juger : http://www.stratners.com
http://www.stratners.com

12.Posté par François - Consultant SSIS le 14/10/2008 19:18
Bonjour, je souhaitais apporter un contrepoint sur cette étude, mais je dois préciser en préambule qu'il est délicat pour moi de la critiquer car je n'ai pas eu encore accès au dossier complet.

Les résultats présentés me paraissent étonnants : j'ai pu travailler sur des volumétries de même ordre avec SSIS, et quelques millions de lignes se peuvent se charger en quelques minutes sur du hardware tout à fait standard ... Or si je lis bien les graphiques présentés, c'est plutôt quelques heures ...

Dans la version simplifiée, certains postulats me semblent suffisament peu établis pour pouvoir prouver avec évidence les conclusions présentées :
- Il n'est pas indiqué le composant de destination qui a été utilisé sous SSIS avec la cible SQL SERVER : s'agit-il du composant OLE DB, ou d'un du composant destination SQL SERVER ? Je devine qu'il doit s'agir d'un chargement OLEDB car le moteur SSIS est désolidarisé du serveur de BDD : il en résulte qu'il est probable que le ratio 100/200 en faveur de Genio pour un chargement vers Oracle pourrait être de même grandeur avec SSIS / SQL SERVER contre GENIO / SQL SERVER avec une architecture adaptée.
- Les connecteurs Oracle pour SSIS ont été fournis par Microsoft avant la date de publication de cet article or il ne semblent pas avoir été utilisés, pourquoi ?

De même savez-vous si les réglages par défaut de SSIS sont définis pour une volumétrie élevée (notamment la Taille des tampons, le nombre de ceux-ci, et le parallélisme) ?

Pour résumer, le document synthétique ne pose malheureusement pas les hypothèses de bases suffisantes pour accréditer les conclusions, j'ai hâte de me procurer la version complète !


11.Posté par Etudiant le 29/09/2008 22:52
Génial !

10.Posté par Emmanuel - consultant BI le 08/09/2008 23:05
Cette étude tombe à pic ! Ma direction a fait machine arrière avec SSIS. Nous avons Datastage. Les Jobs alimentent une usine à gaz et on essaie de migrer vers un autre ETL mais pas trop cher.
Quelqu'un peut me dire s'il existe des outils de migration datastage (développés ou non) vers Genio ?

9.Posté par Consultant Expert le 27/08/2008 11:44
En effet, je vous rejoins Serge. Le moteur GENIO est devenu stable et plus performant depuis la version 6.2. C'est pourquoi on utilise toujours GENIO aujourd'hui.

8.Posté par Serge le 22/08/2008 11:13
A Denis,
Je pense que vous faite reference à une version anterieur à la V6 de Genio (plus supportée) quand vous parlez de probleme de stabilité.

7.Posté par Laurence le 07/07/2008 11:43
Ce sont des éléments pertinents pour nous. Merci bien.

6.Posté par Stefan le 22/06/2008 20:37
@alexis

Le seul record du monde certifié de Microsoft c'est le marketing. Ceci dit , vu la taille de cette entreprise , c'est une affaire qui marche :-) Je me demande si c'est la qualité des produits ou tout simplement le manque de choix/la comodité des PME.

Pour ce qui est des record du monde ETL sur SSIS et Windows , je garde mon sceptiscisme. Si ca venait d'Informatica , Datastage ou encore AbInitio , ce serait plus credible.

Enfin , pour un record certifié par Unisys ( grand redistributeur de MS ) et sur 16 CPU , je trouve ça un peu limite , mais bon , ces propos n'engagent que moi , comme d'habitude , je veux bien croire des vraies références client avec des vraies problèmatiques.

5.Posté par alexis le 18/06/2008 23:01
Je ne sais pas ce que ça vaut mais Microsoft se targue d'avoir battu le record de vitesse de chargement, cf lien suivant:
http://blogs.msdn.com/sqlperf/archive/2008/02/27/etl-world-record.aspx

4.Posté par denis le 16/06/2008 11:01
Très bonne étude

Si une personne utilise SSIS, merci de nous dire si c'est aussi grave que ca.
Ceci étant les problèmes GENIO sur la stabilité du moteur ainsi que l'interopérabilité dans un SI reste toujours un problème qui remet en question le produit

1 2
Nouveau commentaire :
Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.
Twitter
Rss
LinkedIn
Facebook
Apple Podcast
App Store
Google Play Store
 
Toute reproduction interdite.
Copyright © Decideo OÜ

Contact
     
Toute reproduction ou représentation intégrale ou partielle, par quelque procédé que ce soit, des pages publiées sur ce site, faite sans l'autorisation de l'éditeur est illicite et constitue une contrefaçon.