Les modèles d’IA générative, comme GPT-4, ne traitent pas le texte comme les humains.
Ils utilisent des jetons pour décomposer et analyser le texte, ce qui crée certaines limitations et comportements inattendus.
Lire aussi :
- Comment les entreprises peuvent-elles améliorer la représentation visuelle de l’intelligence artificielle pour mieux informer les utilisateurs de ses capacités et limites ?
- Comment désactiver les réactions vidéo intégrées sur les appareils Apple pour éviter les distractions pendant les appels professionnels ?
Qu’est-ce que la tokenisation ?
La tokenisation est le processus de décomposition du texte en unités plus petites appelées jetons. Un jeton peut être un mot entier, une syllabe ou même un caractère individuel. Par exemple, le mot fantastique peut être décomposé en fan, tas et tique. Cette méthode permet aux modèles de transformer de gérer plus d’informations, mais elle introduit aussi des biais et des incohérences. Par exemple, les modèles peuvent traiter Bonjour différemment de BONJOUR, ce qui peut entraîner des résultats inattendus.
Quelles sont les principales réserves de Rodney Brooks concernant les capacités de l’IA générative ?
Les défis multilingues
Les modèles de tokenisation sont souvent conçus pour l’anglais, ce qui pose des problèmes pour les autres langues. Par exemple, le chinois et le japonais n’utilisent pas d’espaces pour séparer les mots, rendant la tokenisation plus complexe. Une étude d’Oxford a montré que les tâches en langues non anglaises prennent souvent plus de temps et coûtent plus cher à traiter. Les systèmes logographiques, comme le chinois, traitent chaque caractère comme un jeton distinct, augmentant ainsi le nombre de jetons nécessaires. Les langues agglutinatives, comme le turc, sont également affectées, chaque morphème étant traité comme un jeton.
Impact sur les capacités mathématiques
La tokenisation pose également des problèmes pour les capacités mathématiques des modèles d’IA. Les chiffres ne sont pas toujours tokenisés de manière cohérente, ce qui perturbe les relations entre les chiffres et les résultats dans les équations et les formules. Par exemple, un modèle peut traiter 380 comme un seul jeton mais 381 comme deux jetons, ce qui complique les calculs.
Des solutions comme les modèles byte-level tels que MambaByte sont en développement. Ces modèles travaillent directement avec des octets bruts représentant du texte et d’autres données, éliminant le besoin de tokenisation. MambaByte, bien que compétitif avec certains modèles de transformateurs dans les tâches d’analyse linguistique, est encore en phase de recherche et nécessite plus de développement avant d’être largement adopté.
Les défis posés par la tokenisation sont significatifs pour l’IA générative actuelle. Bien que des solutions telles que les modèles byte-level soient prometteuses, de nouvelles architectures de modèles seront probablement nécessaires pour surmonter ces limitations. En attendant, il est crucial de continuer à améliorer la tokenisation pour faire progresser les capacités des modèles d’IA et garantir des performances équitables et efficaces pour toutes les langues.
