Les « LLM » ou grands modèles de langage sont des algorithmes d’apprentissage profond entraînés avec d’innombrables textes pour apprendre des milliards de relations mathématiques entre les mots (également appelés «paramètres»). La plupart d’entre nous les connaissent, car ils constituent la base algorithmique de chatbots comme ChatGPT d’OpenAI et PaLM, utilisé pour Bard de Google. Les plus grands modèles d’aujourd’hui possèdent des centaines de milliards de paramètres, et leur entraînement coûte également des milliards de dollars.
Alors que les modèles généralistes à grande échelle comme ChatGPT peuvent aider les utilisatrices et utilisateurs à accomplir un ensemble de tâches, comme rédiger des e-mails ou créer des poèmes, le fait de cibler un domaine de connaissance spécifique peut permettre aux modèles d’être plus petits et plus accessibles. Par exemple, les LLM qui sont entraînés avec des connaissances médicales de qualité peuvent potentiellement démocratiser l’accès à des informations fondées sur la science pour aider dans les prises de décisions cliniques.
De nombreux efforts ont déjà été déployés pour exploiter et améliorer les connaissances médicales et les capacités de raisonnement des LLM. Pourtant, à ce jour, l’IA qui en découle est soit fermée (par exemple MedPaLM et GPT-4), soit limitée à une échelle d’environ 13 milliards de paramètres, ce qui en restreint l’accès ou la capacité.
À des fins d’amélioration de l’accès et de la représentation, des chercheuses et chercheurs de la Faculté informatique et communications de l’EPFL ont mis au point Meditron 7B et 70B, une paire de LLM open source comportant respectivement 7 et 70 milliards de paramètres et adaptés au domaine médical, et les ont présentés dans leur article en prépublication intitulé Meditron-70B: Scaling Medical Pretraining for Large Language Models.
S’appuyant sur le modèle Llama-2 en libre accès lancé par Meta, avec la contribution continue de cliniciennes et cliniciens ainsi que de biologistes, Meditron a été entraîné avec des sources de données médicales soigneusement sélectionnées. Ces dernières incluaient la littérature médicale évaluée par des pairs et issue de référentiels en libre accès comme PubMed, et un ensemble unique de directives de pratiques cliniques diverses, couvrant de nombreux pays, régions, hôpitaux et organisations internationales.
«Après avoir développé Meditron, nous l’avons évalué par rapport à quatre points de référence médicaux majeurs, montrant que ses performances dépassent celles de tous les autres modèles open source disponibles, ainsi que celles des modèles fermés GPT-3.5 et Med-PaLM. Meditron-70B est même à moins de 5% de GPT-4 et 10% de Med-PaLM-2, les deux modèles les plus performants, mais fermés, actuellement adaptés aux connaissances médicales», explique Zeming Chen, principal auteur de l’étude et doctorant au sein du Laboratoire de traitement du langage naturel (NLP) dirigé par le professeur Antoine Bosselut, chercheur principal du projet.
Dans un monde où la plupart des gens se méfient, voire redoutent, les progrès rapides de l’intelligence artificielle, le professeur Martin Jaggi, responsable du Laboratoire d’apprentissage machine et d’optimisation (MLO) de l’EPFL, souligne l’importance de la particularité open source de Meditron, y compris le code de sélection du corpus médical de préentraînement et les poids des modèles.
«Il y a une transparence sur la manière dont Meditron a été entraîné et les données qui ont été utilisées. Nous souhaitons que les chercheuses et chercheurs testent notre modèle et le rendent plus fiable et plus robuste grâce à leurs améliorations, en renforçant sa sécurité dans la validation en conditions réelles, un processus long et nécessaire. Rien de tout cela n’est disponible avec les modèles fermés développés par les grandes entreprises technologiques», explique-t-il.
La professeure Mary-Anne Hartley, médecin et responsable du Laboratory for intelligent Global Health Technologies, hébergé conjointement au Laboratoire MLO de l’EPFL et à l’École de médecine de Yale, dirige les aspects médicaux de l’étude. «La sécurité était au centre de nos préoccupations dès le début de la conception de Meditron. Ce qui est unique, c’est qu’il code les connaissances médicales à partir de sources transparentes d’informations de qualité. Il s’agit maintenant de s’assurer que le modèle est capable de fournir ces informations de manière appropriée et en toute sécurité.»
Les directives de pratiques cliniques du Comité international de la Croix-Rouge (CICR) constituent l’une de ces sources d’informations de qualité.
«Il n’est pas fréquent que les nouveaux outils de santé soient pertinents pour les besoins humanitaires», souligne Javier Elkin, qui dirige le Programme de santé numérique au CICR. «Le CICR est un gardien essentiel des principes humanitaires. Nous sommes ravis de collaborer avec cette initiative de l’EPFL qui nous permet d’intégrer nos directives à la technologie.»
Grâce à une bourse Humanitarian Action Challenge coordonnée par l’EssentialTech Centre de l’EPFL, début décembre, un atelier commun à Genève explorera le potentiel, ainsi que les limites et les risques, de ce type de technologie, avec une session spéciale sur Meditron par les autrices et auteurs.
«Nous avons développé Meditron car l’accès aux connaissances médicales devrait être un droit universel, » conclut Antoine Bosselut. «Nous espérons qu’il sera un point de départ utile pour les chercheuses et chercheurs qui souhaitent adapter et valider cette technologie en toute sécurité dans leur pratique.»
Le lancement de Meditron s’inscrit dans la mission du nouveau Centre IA de l’EPFL qui porte sur la manière dont une IA responsable et efficace peut faire progresser l’innovation technologique au profit de tous les secteurs de la société. Le Centre IA de l’EPFL veut tirer parti de la vaste expertise du corps enseignant et de la communauté de recherche. Il encourage un engagement multidisciplinaire dans la recherche, l’enseignement et l’innovation en matière d’IA, ainsi que des partenariats plus larges avec différents acteurs de la société.
Alors que les modèles généralistes à grande échelle comme ChatGPT peuvent aider les utilisatrices et utilisateurs à accomplir un ensemble de tâches, comme rédiger des e-mails ou créer des poèmes, le fait de cibler un domaine de connaissance spécifique peut permettre aux modèles d’être plus petits et plus accessibles. Par exemple, les LLM qui sont entraînés avec des connaissances médicales de qualité peuvent potentiellement démocratiser l’accès à des informations fondées sur la science pour aider dans les prises de décisions cliniques.
De nombreux efforts ont déjà été déployés pour exploiter et améliorer les connaissances médicales et les capacités de raisonnement des LLM. Pourtant, à ce jour, l’IA qui en découle est soit fermée (par exemple MedPaLM et GPT-4), soit limitée à une échelle d’environ 13 milliards de paramètres, ce qui en restreint l’accès ou la capacité.
À des fins d’amélioration de l’accès et de la représentation, des chercheuses et chercheurs de la Faculté informatique et communications de l’EPFL ont mis au point Meditron 7B et 70B, une paire de LLM open source comportant respectivement 7 et 70 milliards de paramètres et adaptés au domaine médical, et les ont présentés dans leur article en prépublication intitulé Meditron-70B: Scaling Medical Pretraining for Large Language Models.
S’appuyant sur le modèle Llama-2 en libre accès lancé par Meta, avec la contribution continue de cliniciennes et cliniciens ainsi que de biologistes, Meditron a été entraîné avec des sources de données médicales soigneusement sélectionnées. Ces dernières incluaient la littérature médicale évaluée par des pairs et issue de référentiels en libre accès comme PubMed, et un ensemble unique de directives de pratiques cliniques diverses, couvrant de nombreux pays, régions, hôpitaux et organisations internationales.
«Après avoir développé Meditron, nous l’avons évalué par rapport à quatre points de référence médicaux majeurs, montrant que ses performances dépassent celles de tous les autres modèles open source disponibles, ainsi que celles des modèles fermés GPT-3.5 et Med-PaLM. Meditron-70B est même à moins de 5% de GPT-4 et 10% de Med-PaLM-2, les deux modèles les plus performants, mais fermés, actuellement adaptés aux connaissances médicales», explique Zeming Chen, principal auteur de l’étude et doctorant au sein du Laboratoire de traitement du langage naturel (NLP) dirigé par le professeur Antoine Bosselut, chercheur principal du projet.
Dans un monde où la plupart des gens se méfient, voire redoutent, les progrès rapides de l’intelligence artificielle, le professeur Martin Jaggi, responsable du Laboratoire d’apprentissage machine et d’optimisation (MLO) de l’EPFL, souligne l’importance de la particularité open source de Meditron, y compris le code de sélection du corpus médical de préentraînement et les poids des modèles.
«Il y a une transparence sur la manière dont Meditron a été entraîné et les données qui ont été utilisées. Nous souhaitons que les chercheuses et chercheurs testent notre modèle et le rendent plus fiable et plus robuste grâce à leurs améliorations, en renforçant sa sécurité dans la validation en conditions réelles, un processus long et nécessaire. Rien de tout cela n’est disponible avec les modèles fermés développés par les grandes entreprises technologiques», explique-t-il.
La professeure Mary-Anne Hartley, médecin et responsable du Laboratory for intelligent Global Health Technologies, hébergé conjointement au Laboratoire MLO de l’EPFL et à l’École de médecine de Yale, dirige les aspects médicaux de l’étude. «La sécurité était au centre de nos préoccupations dès le début de la conception de Meditron. Ce qui est unique, c’est qu’il code les connaissances médicales à partir de sources transparentes d’informations de qualité. Il s’agit maintenant de s’assurer que le modèle est capable de fournir ces informations de manière appropriée et en toute sécurité.»
Les directives de pratiques cliniques du Comité international de la Croix-Rouge (CICR) constituent l’une de ces sources d’informations de qualité.
«Il n’est pas fréquent que les nouveaux outils de santé soient pertinents pour les besoins humanitaires», souligne Javier Elkin, qui dirige le Programme de santé numérique au CICR. «Le CICR est un gardien essentiel des principes humanitaires. Nous sommes ravis de collaborer avec cette initiative de l’EPFL qui nous permet d’intégrer nos directives à la technologie.»
Grâce à une bourse Humanitarian Action Challenge coordonnée par l’EssentialTech Centre de l’EPFL, début décembre, un atelier commun à Genève explorera le potentiel, ainsi que les limites et les risques, de ce type de technologie, avec une session spéciale sur Meditron par les autrices et auteurs.
«Nous avons développé Meditron car l’accès aux connaissances médicales devrait être un droit universel, » conclut Antoine Bosselut. «Nous espérons qu’il sera un point de départ utile pour les chercheuses et chercheurs qui souhaitent adapter et valider cette technologie en toute sécurité dans leur pratique.»
Le lancement de Meditron s’inscrit dans la mission du nouveau Centre IA de l’EPFL qui porte sur la manière dont une IA responsable et efficace peut faire progresser l’innovation technologique au profit de tous les secteurs de la société. Le Centre IA de l’EPFL veut tirer parti de la vaste expertise du corps enseignant et de la communauté de recherche. Il encourage un engagement multidisciplinaire dans la recherche, l’enseignement et l’innovation en matière d’IA, ainsi que des partenariats plus larges avec différents acteurs de la société.
Autres articles
-
L'IA pour surveiller et détecter les défauts des infrastructures
-
Des synapses nanofluidiques pour stocker la mémoire computationelle
-
L'algorithme qui entraîne des réseaux de neurones physiques profonds
-
Ensemble pour une intelligence artificielle digne de confiance
-
Un outil d'analyse de données pour saisir la complexité du monde réel
