Aide pour projet décisionnel
Bonjour à vous tous
Je me permets de vous solliciter afin que vous m'aidiez à bien conduire un projet décisionnel.
Le projet consiste à construire un entrepôt de données et à mettre en place des tableaux de bord en ligne automatisés et accessible via un portail sur la base des outils open source.
Mon problème est que je dois integrer les outils dans un portail existant. C'est à dire que je dois utiliser la base de données MySQL existant, le LDAP (existant) pour gerer les autorisations, et mettre en ligne les tableaux de bord via le portail (crée avec SPIP, apache, MySQL, LDAP ...).
Pouvez vous me donner vos avis et me proposer des outils open source adapté à mon besoin.
Je pense que les outils de PENTAHO et SPAGO sont plutôt pas mal....mais est ce adapté à mon besoin???
Merci d'avance pour vos contributions8 message(s) posté(s) depuis le vendredi 4 mai 2007
Je me permets de vous solliciter afin que vous m'aidiez à bien conduire un projet décisionnel.
Le projet consiste à construire un entrepôt de données et à mettre en place des tableaux de bord en ligne automatisés et accessible via un portail sur la base des outils open source.
Mon problème est que je dois integrer les outils dans un portail existant. C'est à dire que je dois utiliser la base de données MySQL existant, le LDAP (existant) pour gerer les autorisations, et mettre en ligne les tableaux de bord via le portail (crée avec SPIP, apache, MySQL, LDAP ...).
Pouvez vous me donner vos avis et me proposer des outils open source adapté à mon besoin.
Je pense que les outils de PENTAHO et SPAGO sont plutôt pas mal....mais est ce adapté à mon besoin???
Merci d'avance pour vos contributions8 message(s) posté(s) depuis le vendredi 4 mai 2007
Bonjour,
Si vous souhaitez inclure des fonctionnalités BI dans un portail, vous avez 3 choix :
1) vous dévéloppez autour des briques open-source BI. La solution Spago avec du BIRT en frontal est pas mal.
Avantage : 0 cout de licence. Désavantage : sensiblement plus cher en développement et une potentielle usine à maintenir par vos propres forces par la suite.
2) vous dévéloppez autour d'un éditeur capable de s'intégrer facilement dans un portail. Je peux vous conseiller sur Actuate , c'est une solution plus petite qui s'adapte facilement à ce type de besoin.
Avantage : le portail et pas mal de fonctionnalités s'imbriquent facilement avec l'existant. Prise en charge native du LDAP , PHP , MySQL. etc.
Désavantage : ces produits sont soumis à licence. Par contre , vu le temps épargné sur le dév , et la maintenance qui est fournie , ça peut valoir le coup.
3) Comme Actuate est également l'editeur de BIRT , vous pouvez faire une combinaison entre 1) et 2).
Vous pouvez choisir des dévélopper des modules spécifiques pour certains besoins ou d'acheter un module Actuate pour d'autres besoins. Ceci peut constituer une très bonne solution de compromis.
Si vous souhaitez inclure des fonctionnalités BI dans un portail, vous avez 3 choix :
1) vous dévéloppez autour des briques open-source BI. La solution Spago avec du BIRT en frontal est pas mal.
Avantage : 0 cout de licence. Désavantage : sensiblement plus cher en développement et une potentielle usine à maintenir par vos propres forces par la suite.
2) vous dévéloppez autour d'un éditeur capable de s'intégrer facilement dans un portail. Je peux vous conseiller sur Actuate , c'est une solution plus petite qui s'adapte facilement à ce type de besoin.
Avantage : le portail et pas mal de fonctionnalités s'imbriquent facilement avec l'existant. Prise en charge native du LDAP , PHP , MySQL. etc.
Désavantage : ces produits sont soumis à licence. Par contre , vu le temps épargné sur le dév , et la maintenance qui est fournie , ça peut valoir le coup.
3) Comme Actuate est également l'editeur de BIRT , vous pouvez faire une combinaison entre 1) et 2).
Vous pouvez choisir des dévélopper des modules spécifiques pour certains besoins ou d'acheter un module Actuate pour d'autres besoins. Ceci peut constituer une très bonne solution de compromis.
Bonjour,
Effectivement, le choix d'une suite open source va engager des ressources importantes pour la mise en oeuvre de votre projet.
MySQL et Apache ne présentent intrinsèquement pas de problématique particulière : MySQL peut supporter un entrepôt de données conséquent, et vous disposez aujourd'hui de solutions de BI full web sous Apache (libres et non libres).
En revanche, l'annuaire LDAP s'il constitue une simple base d'identification (comme c'est le cas dans la majorité des entreprises) doit être repris et completé au sein de votre environnement BI : il gère l'accès à des ressources système, alors qu'un outil de BI gère l'accès à des objets différents (requêtes, rapports, variables... voire cellule dans un rapport ...) et spécifiques à la fonction de l'utilisateur.
La question que vous devez vous poser : disposez-vous de ressources techniques et temps nécessaires pour l'intégration d'une suite open source, notamment si cette dernière doit être intégrée à votre portail ? Cela nécessite des compétences de dév. Java, et surtout du temps en recherche et expérimentation car le manque de doc. est cruel.
Dans la négative, peut-être serait-il plus opportun de reconsidérer votre choix et d'aborder des solutions commerciales. Sans tomber dans l'excès budgétaire Latitudes-BI est une solution full web (conception et consultation) sous Apache qui correspondrait à votre besoin.
Effectivement, le choix d'une suite open source va engager des ressources importantes pour la mise en oeuvre de votre projet.
MySQL et Apache ne présentent intrinsèquement pas de problématique particulière : MySQL peut supporter un entrepôt de données conséquent, et vous disposez aujourd'hui de solutions de BI full web sous Apache (libres et non libres).
En revanche, l'annuaire LDAP s'il constitue une simple base d'identification (comme c'est le cas dans la majorité des entreprises) doit être repris et completé au sein de votre environnement BI : il gère l'accès à des ressources système, alors qu'un outil de BI gère l'accès à des objets différents (requêtes, rapports, variables... voire cellule dans un rapport ...) et spécifiques à la fonction de l'utilisateur.
La question que vous devez vous poser : disposez-vous de ressources techniques et temps nécessaires pour l'intégration d'une suite open source, notamment si cette dernière doit être intégrée à votre portail ? Cela nécessite des compétences de dév. Java, et surtout du temps en recherche et expérimentation car le manque de doc. est cruel.
Dans la négative, peut-être serait-il plus opportun de reconsidérer votre choix et d'aborder des solutions commerciales. Sans tomber dans l'excès budgétaire Latitudes-BI est une solution full web (conception et consultation) sous Apache qui correspondrait à votre besoin.
Bonjour,
Merci pour les réponses...
Si je comprend bien, il est très difficile de mener le projet avec les outils open source???....
Pour répondre à Aristide, c'est un projet sur 5 mois et je suis le seul à le mener. La contrainte forte est l'utilisation des outils open source et l'intégration de ces outils BI dans le portail existant.
Est ce que l'authentification et la gestion des profils pour accéder aux rapports avec le LDAP est impossible (OU très complexe??) avec les outils BI Open Source??
A votre avis : faut il choisir Pentaho ou SpagoBI ou Jaspert soft???
Lequel est plus facile à mettre en oeuvre???
Merci d'avance
Merci pour les réponses...
Si je comprend bien, il est très difficile de mener le projet avec les outils open source???....
Pour répondre à Aristide, c'est un projet sur 5 mois et je suis le seul à le mener. La contrainte forte est l'utilisation des outils open source et l'intégration de ces outils BI dans le portail existant.
Est ce que l'authentification et la gestion des profils pour accéder aux rapports avec le LDAP est impossible (OU très complexe??) avec les outils BI Open Source??
A votre avis : faut il choisir Pentaho ou SpagoBI ou Jaspert soft???
Lequel est plus facile à mettre en oeuvre???
Merci d'avance
Si une solution pure open source est obligatoire , mon vote va pour Spago :-)
Pour l'intégration de leur module de reporting BIRT dans le portail , vous pouvez faire un tour de la communauté ou contacter Actuate pour avoir un bout de conseil.
Pour l'intégration de leur module de reporting BIRT dans le portail , vous pouvez faire un tour de la communauté ou contacter Actuate pour avoir un bout de conseil.
Mener un projet avec les outils open source n'est pas plus difficile qu'avec les solutions propriétaires. Du support (payant) est disponible auprès des éditeurs open source, sans pour autant payer de cout de licence !
L'intégration à un portail, comme l'utilisation d'un annuaire LDAP est native à ces outils.
Pour vous conseiller entre Pentaho, SpagoBI et Jasper, il faut un peu plus de critères/besoins pour les départager.
L'intégration à un portail, comme l'utilisation d'un annuaire LDAP est native à ces outils.
Pour vous conseiller entre Pentaho, SpagoBI et Jasper, il faut un peu plus de critères/besoins pour les départager.
Merci pour vos apports
Pour répondre à Badr Chentouf :
Je dois concevoir le datawarehouse : schéma en étoile et l'implémenté ci possible dans la base de donnée MySQL existant (crée auparavant pour la mise en place d'un portail avec SPIP, Apache....)
L'entrepôt sera alimenté sur la base des données de productions venant d'une base Oracle (donc là je met en place l'ETL en agrégant les données...)
Puis je dois brancher un outil de fouille de données (ex wéka), concevoir des tableaux de bord (lesquels sont un peu complexes) qui vont se rafraichir automatiquement (toutes les 12 H par ex) et laisser la possibilité aux utilisateurs de faire des rapports Ad-hoc.
Contraintes : Outils open source, gestion de l'authentification des user via le LDAP existant, integration des tableaux de bord dans le portail existant.
Voilà de façon suscinte le besoin.
Merci d'avance pour vos aides
Pour répondre à Badr Chentouf :
Je dois concevoir le datawarehouse : schéma en étoile et l'implémenté ci possible dans la base de donnée MySQL existant (crée auparavant pour la mise en place d'un portail avec SPIP, Apache....)
L'entrepôt sera alimenté sur la base des données de productions venant d'une base Oracle (donc là je met en place l'ETL en agrégant les données...)
Puis je dois brancher un outil de fouille de données (ex wéka), concevoir des tableaux de bord (lesquels sont un peu complexes) qui vont se rafraichir automatiquement (toutes les 12 H par ex) et laisser la possibilité aux utilisateurs de faire des rapports Ad-hoc.
Contraintes : Outils open source, gestion de l'authentification des user via le LDAP existant, integration des tableaux de bord dans le portail existant.
Voilà de façon suscinte le besoin.
Merci d'avance pour vos aides
Merci de ces précisions.
Pour faire court :
coté ETL , si vous avez des opérations simples , Pentaho Kettle sera un peu plus performant. Pour des transformations plus complexes , denormalisations, SCD etc. , Talend est mieux ( Jasper , Spago )
coté fouille : Pentaho et Spago ont du Weka. Aucune idée sur Jasper.
coté reports : BIRT est pas mal pour les rapports , surtout si c'est un peu plus complexe. Donc Spago. Pentaho peut l'utiliser aussi.
coté sécurité : les 3 peuvent se plugger sur LDAP , moi je n'ai testé que Spago
coté ad-hoc : ici vous avez un vrai problème car le ad-hoc est un peu rustique voir inéxistant sur l'open-source.
Vu la population d'users plus restreinte de ce type , vous pouvez également jeter un coup d'oeil sur une solution mixte open-source/commerciale.
Voici un outil pour faire de l'ad-hoc basé sur BIRT , par contre il est payant :
http://www.birt-exchange.com/modules/products/index.php?productid=3
Pour faire court :
coté ETL , si vous avez des opérations simples , Pentaho Kettle sera un peu plus performant. Pour des transformations plus complexes , denormalisations, SCD etc. , Talend est mieux ( Jasper , Spago )
coté fouille : Pentaho et Spago ont du Weka. Aucune idée sur Jasper.
coté reports : BIRT est pas mal pour les rapports , surtout si c'est un peu plus complexe. Donc Spago. Pentaho peut l'utiliser aussi.
coté sécurité : les 3 peuvent se plugger sur LDAP , moi je n'ai testé que Spago
coté ad-hoc : ici vous avez un vrai problème car le ad-hoc est un peu rustique voir inéxistant sur l'open-source.
Vu la population d'users plus restreinte de ce type , vous pouvez également jeter un coup d'oeil sur une solution mixte open-source/commerciale.
Voici un outil pour faire de l'ad-hoc basé sur BIRT , par contre il est payant :
http://www.birt-exchange.com/modules/products/index.php?productid=3
Merci pour la réactivité!!!
Si je comprend bien, je dois prendre les briques un part un ( ETL, outil de reporting, dataminning??? ...) moi qui pensait que tout ca était déja intégré dans SpagoBi ou Pentaho???
Sinon peux tu m'eclairer sur le coté sécurité ??( comment a tu mis en œuvre l'integration du LDAP??)
Comment intégré les tableaux de bord dans le portail???
Les tablaeux de bord une fois crées sont convertis en pdf, html ou ????
merci pour les reponses
Si je comprend bien, je dois prendre les briques un part un ( ETL, outil de reporting, dataminning??? ...) moi qui pensait que tout ca était déja intégré dans SpagoBi ou Pentaho???
Sinon peux tu m'eclairer sur le coté sécurité ??( comment a tu mis en œuvre l'integration du LDAP??)
Comment intégré les tableaux de bord dans le portail???
Les tablaeux de bord une fois crées sont convertis en pdf, html ou ????
merci pour les reponses
Ces briques sont plus ou moins intégrées dans les suites Spago et Pentaho. Ceci dit , vu le niveau réduit ou inéxistant d'échange de métadonnées des ETL vers le reporting , ça revient à avoir comme des briques indépendantes.
Spago a une couche sécurité capable d'être configurée vers du LDAP. Elle est assez rustique mais permet de faire certaines choses ce qui est pas mal pour un outil open source.
Les tableaux de bord sont intégrés de la manière suivante :
Vous bâtissez un portail de type JSP par exemple basé sur un serveur d'appli quelconque. Tomcat / JBOSS pour rester dans l'open source. Ce JSP tapera également dans le LDAP si vous souhaitez avoir du Single Sign On. Dans ce portail , on met à disposition les différents rapport BIRT ou autre , et on déploie le moteur de génération de rapport dans le portail ( BIRT engine par exemple ). Ensuite , il faut coder un peu de Struts par exemple afin d'associer les actions. Par exemple , lorsque l'on clique sur un rapport , le passer à BIRT engine pour génération , et recupérer le résultat en HTML/DHTML/PDF/EXCEL etc. pour le donner/afficher à l'utilisateur.
NB : les rapports BIRT c'est des fichiers design XML
C'est juste un exemple , d'autres moyens et technos peuvent faire la même affaire.
Spago a une couche sécurité capable d'être configurée vers du LDAP. Elle est assez rustique mais permet de faire certaines choses ce qui est pas mal pour un outil open source.
Les tableaux de bord sont intégrés de la manière suivante :
Vous bâtissez un portail de type JSP par exemple basé sur un serveur d'appli quelconque. Tomcat / JBOSS pour rester dans l'open source. Ce JSP tapera également dans le LDAP si vous souhaitez avoir du Single Sign On. Dans ce portail , on met à disposition les différents rapport BIRT ou autre , et on déploie le moteur de génération de rapport dans le portail ( BIRT engine par exemple ). Ensuite , il faut coder un peu de Struts par exemple afin d'associer les actions. Par exemple , lorsque l'on clique sur un rapport , le passer à BIRT engine pour génération , et recupérer le résultat en HTML/DHTML/PDF/EXCEL etc. pour le donner/afficher à l'utilisateur.
NB : les rapports BIRT c'est des fichiers design XML
C'est juste un exemple , d'autres moyens et technos peuvent faire la même affaire.
NB : Si vous prenez un peu de licence à l'utilisateur Actuate , le serveur et le portail sont offerts
ça pourrait vous épargner les dévéloppements portail et schéduling , intégration LDAP , versioning , génération de rapport etc.
vu le prix d'un dévéloppeur Java / jour , ça peut être largement moins cher qu'un dévéloppement pur open-source.
Vous aurez la maintenance et le support en prime.
enfin , une seule personne sur 5 mois ( 100 jh ) me parait assez peu pour finir ce projet avec un niveau minimum de fonctionnalités et recette.
Soit vous vous faites aider par une préstation , voir Badr pour cela , soit vous incluez dans le budget un peu de support éditeur ou des licences ponctuelles pour certaines fonctionnalités et à ce moment là je peux vous renseigner si vous partez sur du BIRT , soit une combinaison judicieuse des 2 selon les délais , les besoins utilisateurs et le budget que vous avez.
ça pourrait vous épargner les dévéloppements portail et schéduling , intégration LDAP , versioning , génération de rapport etc.
vu le prix d'un dévéloppeur Java / jour , ça peut être largement moins cher qu'un dévéloppement pur open-source.
Vous aurez la maintenance et le support en prime.
enfin , une seule personne sur 5 mois ( 100 jh ) me parait assez peu pour finir ce projet avec un niveau minimum de fonctionnalités et recette.
Soit vous vous faites aider par une préstation , voir Badr pour cela , soit vous incluez dans le budget un peu de support éditeur ou des licences ponctuelles pour certaines fonctionnalités et à ce moment là je peux vous renseigner si vous partez sur du BIRT , soit une combinaison judicieuse des 2 selon les délais , les besoins utilisateurs et le budget que vous avez.
Stefan a fortement raison.
Si votre projet se déroule dans le cadre d'un stage universitaire ou contexte expérimental, c'est effectivement un choix... discutable...
Dans le cas contaire, 100 jours pour bâtir seul une application décisionnelle telle que vous la décrivez me semble tout simplement irréaliste, pour des raisons de temps et ressources :
- Préparation des données (choix de l'ETL, mise en oeuvre, modélisation du DWH...) , avec une containte de rafraichissement des données forte (12h).
- Module de Datamining et algorithmes associés.
- Mise en oeuvre de la partie BI, dont tableaux de bord qui sont les restitutions les plus synthétiques, donc les plus délicates à mettre en oeuvre.
- Intégration au portail d'entreprise, gestion des contraintes d'accès aux données et de sécurité
- Tests, recette
...
Sans oublier les contraintes de temps liées aux plannings des différentes parties assurant la maitrise d'ouvrage ...
Enfin, dernier aspect et pas le moindre : en dehors de vous seul, comment sera maintenue l'application dans votre cas précis ???
Si votre projet se déroule dans le cadre d'un stage universitaire ou contexte expérimental, c'est effectivement un choix... discutable...
Dans le cas contaire, 100 jours pour bâtir seul une application décisionnelle telle que vous la décrivez me semble tout simplement irréaliste, pour des raisons de temps et ressources :
- Préparation des données (choix de l'ETL, mise en oeuvre, modélisation du DWH...) , avec une containte de rafraichissement des données forte (12h).
- Module de Datamining et algorithmes associés.
- Mise en oeuvre de la partie BI, dont tableaux de bord qui sont les restitutions les plus synthétiques, donc les plus délicates à mettre en oeuvre.
- Intégration au portail d'entreprise, gestion des contraintes d'accès aux données et de sécurité
- Tests, recette
...
Sans oublier les contraintes de temps liées aux plannings des différentes parties assurant la maitrise d'ouvrage ...
Enfin, dernier aspect et pas le moindre : en dehors de vous seul, comment sera maintenue l'application dans votre cas précis ???
Le projet s'inscrit dans le cadre de mon stage de fin d'étude (grande école d'ingénieur en informatique). J'ai durant mon précédent stage travaillé avec BO sur la création d'univers et la restitution de données.
Pour répondre à Aristide, le système que je mettrai en œuvre est censé être automatisé et c'est tout( donc sauvegarde automatique et rafraichissement des TDB).
Donc pensez vous que cela est irréalisable???
Pour répondre à Aristide, le système que je mettrai en œuvre est censé être automatisé et c'est tout( donc sauvegarde automatique et rafraichissement des TDB).
Donc pensez vous que cela est irréalisable???
Si vous êtes seul sur ce projet et sans budget ( forcé à open source total ) , oui.
Il faudrait réduire le périmètre du projet pour réussir , et encore...
Il faudrait réduire le périmètre du projet pour réussir , et encore...
Bonjour,
Nous sommes intéressés à mettre en place un entrepôt de données couplé à SPIP.
Votre projet nous intéresse, où en êtes vous ?
Voici une amorce de notre problématique :
- SPIP et « Entrepôts de données » en Open Source - Planification d’un développement
Meilleurs messages
François Daniel Giezendanner
Nous sommes intéressés à mettre en place un entrepôt de données couplé à SPIP.
Votre projet nous intéresse, où en êtes vous ?
Voici une amorce de notre problématique :
- SPIP et « Entrepôts de données » en Open Source - Planification d’un développement
Meilleurs messages
François Daniel Giezendanner
Bonjour,
je suis tombé sur votre post, il m'a beaucoup intéressé car en ce moment même, je dois développer la même application que la votre.
j'aurai aimé avoir plus de renseignements sur la solution pour laquelle vous avez opté.
je vous en remercie par avance.
cordialement.
je suis tombé sur votre post, il m'a beaucoup intéressé car en ce moment même, je dois développer la même application que la votre.
j'aurai aimé avoir plus de renseignements sur la solution pour laquelle vous avez opté.
je vous en remercie par avance.
cordialement.
bonjour tout le monde ,
je suis en train de m'inscrire en doctorat en BI et je chercher un sujet d'actualité dans ce domaine (datawarehouse,datamining, ETL,OLAP ..)
merci d'avance
je suis en train de m'inscrire en doctorat en BI et je chercher un sujet d'actualité dans ce domaine (datawarehouse,datamining, ETL,OLAP ..)
merci d'avance
Moi je dirai la MDM
Bonjour,
La BI et l'Open Source peut être un sujet intéressant en ce moment, ce monde là bouge assez vite et on s'y intéresse de + en +
Voilà pour mon idée
Victor
La BI et l'Open Source peut être un sujet intéressant en ce moment, ce monde là bouge assez vite et on s'y intéresse de + en +
Voilà pour mon idée
Victor
merci stefan et vector ;
mais en fait je cherche une spécialité là dans car BI est un domaine très vaste, peut etre pour MDM c'est sujet d'actualité et problèmatique en cours.
mais en fait je cherche une spécialité là dans car BI est un domaine très vaste, peut etre pour MDM c'est sujet d'actualité et problèmatique en cours.
Source : https://www.decideo.fr
Document réservé à l'usage exclusif du lecteur. La reproduction même partielle de tout ou partie de cet article est strictement interdite, sauf accord préalable écrit de l'éditeur. Copyright Philippe Nieuwbourg - www.nieuwbourg.com