L’organisation de recherche en intelligence artificielle Ai2, fondée par le regretté Paul Allen, a présenté OLMo 2, une famille de modèles linguistiques qui se distingue par son caractère véritablement open source.
Conçus pour concurrencer les modèles populaires tels que Llama de Meta, ces nouveaux modèles promettent des performances élevées tout en respectant les principes de transparence et d’accessibilité.
Lire aussi :
- Comment Pestle simplifie-t-elle la transformation des vidéos TikTok en recettes étape par étape ?
- Pourquoi Apple privilégie-t-il les applications traditionnelles à celles basées sur l’intelligence artificielle dans ses nominations ?
OLMo 2 : une définition rigoureuse de l’open source
OLMo, acronyme de Open Language Model, est une série de modèles qui respectent strictement la définition de l’intelligence artificielle open source établie par l’Open Source Initiative en octobre dernier. Cela implique que toutes les données, outils et méthodes utilisés pour le développement de ces modèles sont disponibles publiquement.
Le modèle OLMo 2 a été créé avec un ensemble d’outils incluant des données d’entraînement accessibles, du code source ouvert, des recettes de formation reproductibles et des évaluations transparentes. L’objectif d’Ai2 est de fournir à la communauté open source les ressources nécessaires pour innover davantage dans le domaine de l’IA.
Des modèles performants avec des données robustes
La famille OLMo 2 comprend deux modèles principaux : OLMo 7B avec 7 milliards de paramètres et OLMo 13B avec 13 milliards de paramètres. Plus un modèle possède de paramètres, plus il est capable de résoudre des problèmes complexes avec précision.
Les modèles ont été entraînés sur un ensemble de données impressionnant de 5 000 milliards de tokens, équivalent à environ 3 750 milliards de mots. Ces données proviennent de sources variées : sites web filtrés pour leur qualité, articles académiques, forums de discussion, et cahiers de mathématiques générés par des humains ou de manière synthétique.
Résultat ? OLMo 2 offre des performances comparables, voire supérieures, à celles des modèles ouverts comme Llama 3.1. Selon Ai2, le modèle OLMo 7B surpasse même Llama 3.1 8B sur plusieurs tâches.
Applications et perspectives éthiques
Comme la plupart des modèles de langage, OLMo 2 peut effectuer diverses tâches textuelles : répondre à des questions, résumer des documents ou encore écrire du code. Distribué sous la licence Apache 2.0, il est accessible à des fins commerciales, ouvrant ainsi de nombreuses possibilités pour les développeurs et entreprises.
Cependant, l’ouverture totale de ces modèles soulève des questions éthiques. Certains craignent que des modèles comme OLMo soient détournés à des fins nuisibles. Mais Ai2 défend sa position, affirmant que la transparence permet non seulement de vérifier et reproduire les travaux, mais aussi de démocratiser l’accès à l’IA et d’encourager des développements plus responsables.
Une avancée majeure pour l’IA open source
OLMo 2 marque une étape significative dans le domaine des modèles de langage entièrement ouverts. Avec ses performances de pointe et sa philosophie axée sur la collaboration et la transparence, il promet de repousser les limites de l’innovation tout en garantissant un accès équitable aux outils d’intelligence artificielle.
