Un seul objectif : permettre une adaptation souple du stockage en fonction des besoins des chercheurs.
Au sein de l’Institut National de Recherche Agronomique (INRA), l’URGI (Unité de Recherche en Génomique et Bio-Informatique) travaille sur le génome des plantes de grande culture.
Dans le cadre de ses activités, l’unité utilisait jusque-là une application traditionnelle de stockage en mode bloc. L’arrivée d’un important projet de séquençage d’un des chromosomes du blé a révélé la nécessité pour l’URGI d’anticiper la gestion de ses ressources de calcul et de stockage.
Entre 2005 et 2010, l’arrivée de nouvelles technologies d’analyse sur les données ADN a préfiguré ce que d’autres appellent aujourd’hui le Big Data.
Les capacités de stockage antérieures étaient devenues insuffisantes pour gérer la masse exponentielle de données à venir. A l’époque, l’URGI s’est équipé d’un cluster de calcul dédié et d’une solution simple de stockage de 8 To.
Consolider, stocker et analyser 200 To de données
En 2010, conscient des limites de cette première solution, l’URGI décide de lancer un appel d’offres public, afin de mettre en place le stockage d’un nouveau cluster de calcul.
Fort de son expérience antérieure avec d’autres unités de l’INRA, Stordata préconise une technologie de stockage unifié, permettant de couvrir les besoins de l’unité pour les 2 années suivantes.
Au travers de ses fonctionnalités, la solution, reposant sur du matériel NetApp, a mis en œuvre un stockage très polyvalent, avec une forte orientation capacitive. Dès 2011, 50 To sont déployés.
En 2012, voyant le nombre de ses nouveaux projets scientifiques augmenter, l’URGI doit à la fois prendre en compte un accroissement des volumétries, et une nouvelle problématique de performance.
Stordata propose alors de doper la solution de gestion de données en remplaçant le contrôleur existant par un nouveau, plus puissant, doté de mémoire Flash ; et ce sans remettre en cause les investissements disques précédents.
L’URGI a ainsi pu disposer d’une solution totalement adaptée aux nouveaux besoins de capacité et de performance.
En 2013, nouvelle année, nouveaux projets scientifiques. Le cluster de calcul et ses données devenant de plus en plus stratégiques, l’URGI mène un projet de consolidation, centré sur la robustesse de la solution et sa capacité à monter significativement en charge.
Stordata redéfinit l’architecture de stockage et décline le concept de scale-out storage en commençant par un doublement de contrôleur et une migration de la solution en Clustered Ontap (cOT).
L’URGI bascule du mode traditionnel 7-mode vers le cOT. Le nouvel ensemble permet de consolider pas moins de 200 To de stockage performant sur la base de disques capacitifs et en capitalisant sur les investissements réalisés depuis 2010.
L’évolutivité du mode cOT permet également à l’URGI d’envisager des ajouts de capacités, de protocoles, de fonctionnalités et de puissance, presqu’à l’infini et sans aucun arrêt de service.
Evolutivité, simplicité : l’URGI peut concentrer ses ressources sur la science
L’évolutivité est sans doute le point fort de la dernière évolution: la possibilité de rajouter facilement de la volumétrie ou de multiplier à volonté la puissance de stockage et de traitement, tout en permettant des interventions à chaud.
Stordata a intégré et maintient la solution sur la durée. « Grâce à la solution recommandée, nous sommes à même de suivre les ambitions posées par l’URGI. Aujourd’hui, l’URGI est en capacité d’adresser son stockage en mode fichier et en mode bloc, grâce à une solution pérenne», déclare Patrice Lavirotte, ingénieur d’affaires en charge de l’INRA chez Stordata.
Selon Patrick Dufour, Directeur avant-vente et stratégie chez Stordata : « Grâce aux technologies NetApp et au clustered mode, administrer un système en perpétuelle évolution de façon simple, sans souci ni effort, est devenu possible. Nous avons conseillé cette solution à l’état de l’art en convaincant notre client sur la conduite d’une migration minimisant les impacts sur la production et les risques sur les données. ».
Hadi Quesneville, Directeur de l’URGI, affirme : « Stordata n’est lié à aucun constructeur en particulier et nous a préconisé la solution la plus adaptée à nos besoins. Nous avons largement utilisé leurs conseils pour faire évoluer notre infrastructure, nous appuyant sur leur large vision du marché ». Il précise : « Stordata dispose d’un puissant support qui nous fait gagner du temps au quotidien. Leur proximité et la réactivité de leurs équipes ont été des points forts dans notre partenariat».
Un système capable de traiter le séquençage du génome du blé
L’URGI fait partie du Consortium International de séquençage du génome du blé et met à disposition ses résultats de grands projets collaboratifs de recherche.
Chaque jour, l’URGI travaille non seulement avec la France, mais aussi avec l’étranger. Les calculs sont parfois très longs, jusqu’à plusieurs semaines. La sécurité des données est primordiale car, en effet, la communauté internationale des scientifiques concernés par la grande culture (plantes et champignons) attend les résultats des analyses portant essentiellement sur la vigne ou le blé.
A titre de comparaison, le génome du blé est quatre fois plus grand que le génome humain. L’équipe de chercheurs de l’URGI a participé au séquençage du plus gros chromosome du blé, grâce aux capacités d’analyse de NetApp.
L’URGI intègre également des données extérieures dans son SI et les mixe avec ses propres résultats d’analyses. Ces données sont des séquences ADN (de gros fichiers volatils de plusieurs gigaoctets chacun, re-traités), des données utilisateurs, des données d’archivage (plus stables dans le temps) et des données de backup/snapshots pour la reprise d’activité.
Les calculs étant réalisés sur l’ensemble des données, l’URGI devait trouver une solution au problème de performance de calcul et d’accès simultanés et concurrents aux données. Le système devait pouvoir gérer plusieurs demandes simultanées de calcul avec accès au même fichier. Jusqu’ici, seule la solution en clustered mode de Stordata a permis d’y faire face.
« Avec l’URGI, nous avons certainement réalisé l’une des premières opérations de migration 7-mode vers clustered mode en France », ajoute M. Lavirotte. Il conclut : « Une vraie relation de confiance est née au fil des années. L’URGI fait face à des chantiers technologiques délicats, et la confiance en notre relation durable nous permet de répondre aux besoins et exigences des chercheurs de l’URGI».
Les enjeux futurs
A l’horizon 2014, l’URGI devra faire face à de nouveaux défis informatiques. La performance revient au cœur des évolutions attendues, notamment autour de quelques bases de données critiques.
L’URGI réfléchit à de nouvelles extensions de puissance de traitement (par l’ajout de nouveaux contrôleurs) pour les intégrer à sa solution de stockage, en parallèle de l’évolution naturelle des données déjà présentes aujourd’hui.
Au sein de l’Institut National de Recherche Agronomique (INRA), l’URGI (Unité de Recherche en Génomique et Bio-Informatique) travaille sur le génome des plantes de grande culture.
Dans le cadre de ses activités, l’unité utilisait jusque-là une application traditionnelle de stockage en mode bloc. L’arrivée d’un important projet de séquençage d’un des chromosomes du blé a révélé la nécessité pour l’URGI d’anticiper la gestion de ses ressources de calcul et de stockage.
Entre 2005 et 2010, l’arrivée de nouvelles technologies d’analyse sur les données ADN a préfiguré ce que d’autres appellent aujourd’hui le Big Data.
Les capacités de stockage antérieures étaient devenues insuffisantes pour gérer la masse exponentielle de données à venir. A l’époque, l’URGI s’est équipé d’un cluster de calcul dédié et d’une solution simple de stockage de 8 To.
Consolider, stocker et analyser 200 To de données
En 2010, conscient des limites de cette première solution, l’URGI décide de lancer un appel d’offres public, afin de mettre en place le stockage d’un nouveau cluster de calcul.
Fort de son expérience antérieure avec d’autres unités de l’INRA, Stordata préconise une technologie de stockage unifié, permettant de couvrir les besoins de l’unité pour les 2 années suivantes.
Au travers de ses fonctionnalités, la solution, reposant sur du matériel NetApp, a mis en œuvre un stockage très polyvalent, avec une forte orientation capacitive. Dès 2011, 50 To sont déployés.
En 2012, voyant le nombre de ses nouveaux projets scientifiques augmenter, l’URGI doit à la fois prendre en compte un accroissement des volumétries, et une nouvelle problématique de performance.
Stordata propose alors de doper la solution de gestion de données en remplaçant le contrôleur existant par un nouveau, plus puissant, doté de mémoire Flash ; et ce sans remettre en cause les investissements disques précédents.
L’URGI a ainsi pu disposer d’une solution totalement adaptée aux nouveaux besoins de capacité et de performance.
En 2013, nouvelle année, nouveaux projets scientifiques. Le cluster de calcul et ses données devenant de plus en plus stratégiques, l’URGI mène un projet de consolidation, centré sur la robustesse de la solution et sa capacité à monter significativement en charge.
Stordata redéfinit l’architecture de stockage et décline le concept de scale-out storage en commençant par un doublement de contrôleur et une migration de la solution en Clustered Ontap (cOT).
L’URGI bascule du mode traditionnel 7-mode vers le cOT. Le nouvel ensemble permet de consolider pas moins de 200 To de stockage performant sur la base de disques capacitifs et en capitalisant sur les investissements réalisés depuis 2010.
L’évolutivité du mode cOT permet également à l’URGI d’envisager des ajouts de capacités, de protocoles, de fonctionnalités et de puissance, presqu’à l’infini et sans aucun arrêt de service.
Evolutivité, simplicité : l’URGI peut concentrer ses ressources sur la science
L’évolutivité est sans doute le point fort de la dernière évolution: la possibilité de rajouter facilement de la volumétrie ou de multiplier à volonté la puissance de stockage et de traitement, tout en permettant des interventions à chaud.
Stordata a intégré et maintient la solution sur la durée. « Grâce à la solution recommandée, nous sommes à même de suivre les ambitions posées par l’URGI. Aujourd’hui, l’URGI est en capacité d’adresser son stockage en mode fichier et en mode bloc, grâce à une solution pérenne», déclare Patrice Lavirotte, ingénieur d’affaires en charge de l’INRA chez Stordata.
Selon Patrick Dufour, Directeur avant-vente et stratégie chez Stordata : « Grâce aux technologies NetApp et au clustered mode, administrer un système en perpétuelle évolution de façon simple, sans souci ni effort, est devenu possible. Nous avons conseillé cette solution à l’état de l’art en convaincant notre client sur la conduite d’une migration minimisant les impacts sur la production et les risques sur les données. ».
Hadi Quesneville, Directeur de l’URGI, affirme : « Stordata n’est lié à aucun constructeur en particulier et nous a préconisé la solution la plus adaptée à nos besoins. Nous avons largement utilisé leurs conseils pour faire évoluer notre infrastructure, nous appuyant sur leur large vision du marché ». Il précise : « Stordata dispose d’un puissant support qui nous fait gagner du temps au quotidien. Leur proximité et la réactivité de leurs équipes ont été des points forts dans notre partenariat».
Un système capable de traiter le séquençage du génome du blé
L’URGI fait partie du Consortium International de séquençage du génome du blé et met à disposition ses résultats de grands projets collaboratifs de recherche.
Chaque jour, l’URGI travaille non seulement avec la France, mais aussi avec l’étranger. Les calculs sont parfois très longs, jusqu’à plusieurs semaines. La sécurité des données est primordiale car, en effet, la communauté internationale des scientifiques concernés par la grande culture (plantes et champignons) attend les résultats des analyses portant essentiellement sur la vigne ou le blé.
A titre de comparaison, le génome du blé est quatre fois plus grand que le génome humain. L’équipe de chercheurs de l’URGI a participé au séquençage du plus gros chromosome du blé, grâce aux capacités d’analyse de NetApp.
L’URGI intègre également des données extérieures dans son SI et les mixe avec ses propres résultats d’analyses. Ces données sont des séquences ADN (de gros fichiers volatils de plusieurs gigaoctets chacun, re-traités), des données utilisateurs, des données d’archivage (plus stables dans le temps) et des données de backup/snapshots pour la reprise d’activité.
Les calculs étant réalisés sur l’ensemble des données, l’URGI devait trouver une solution au problème de performance de calcul et d’accès simultanés et concurrents aux données. Le système devait pouvoir gérer plusieurs demandes simultanées de calcul avec accès au même fichier. Jusqu’ici, seule la solution en clustered mode de Stordata a permis d’y faire face.
« Avec l’URGI, nous avons certainement réalisé l’une des premières opérations de migration 7-mode vers clustered mode en France », ajoute M. Lavirotte. Il conclut : « Une vraie relation de confiance est née au fil des années. L’URGI fait face à des chantiers technologiques délicats, et la confiance en notre relation durable nous permet de répondre aux besoins et exigences des chercheurs de l’URGI».
Les enjeux futurs
A l’horizon 2014, l’URGI devra faire face à de nouveaux défis informatiques. La performance revient au cœur des évolutions attendues, notamment autour de quelques bases de données critiques.
L’URGI réfléchit à de nouvelles extensions de puissance de traitement (par l’ajout de nouveaux contrôleurs) pour les intégrer à sa solution de stockage, en parallèle de l’évolution naturelle des données déjà présentes aujourd’hui.
