L’Institut d’innovation technologique (TII), un centre de recherche scientifique et le pilier de la recherche appliquée du Conseil de recherche en technologie avancée (ATRC) d’Abu Dhabi aux Émirats arabes unis (EAU), a amélioré ses références en matière d’IA générative avec le lancement de « Falcon LLM », un modèle fondamental de grand langage (LLM) avec 40 milliards de paramètres. L’équipe derrière la construction de Noor, le plus grand modèle de langue arabe au monde, a donc construit Falcon LLM, "le modèle 40B qui surpasse GPT3" affirme TII dans un communiqué du 15 mars dernier. 

Pour rappel, les LLM peuvent être utilisés dans un large éventail d’applications, telles que les chatbots, les assistants virtuels, la traduction linguistique, la génération de contenu et l’analyse des sentiments. Parlant de cette percée LLM, le Dr Ray O. Johnson, PDG de TII, a déclaré : « L’année 2023 s’avère être l’année de l’IA. Falcon LLM est une annonce historique pour nous, mais ce n’est que le début. D’ici la fin de l’année, nous partagerons des nouvelles sur une énorme augmentation des capacités dans ce domaine. Nous comprenons que c’est le début d’un voyage capital », a poursuivi Johnson, « nous ferons pression pour donner à cette région ses propres réussites en matière d’IA, bien alignées sur la stratégie nationale IA des EAU ».

Le Dr Ebtesam Almazroui, chef de projet LLM à TII, déclarait : « Nous sommes ravis d’annoncer la réalisation révolutionnaire de notre modèle Falcon LLM 40B qui surpasse considérablement des modèles comme BLOOM et GPT-3, même à une fraction de la taille. Grâce à un pipeline de données de pointe, Falcon LLM améliore également les modèles de nouvelle génération. Par exemple, il correspond aux performances de Chinchilla (de DeepMind) et PaLM-62B (de Google), à des coûts de formation considérablement inférieurs en comparaison. Falcon LLM est formé aux lois de mise à l’échelle de Hoffmann, et al, et le modèle a été maintenu relativement modeste en taille avec une qualité de données sans précédent. Nous adressons nos sincères félicitations à toute l’équipe pour leurs efforts inlassables dans cette entreprise révolutionnaire. Avec Falcon LLM 40B comme modèle phare LLM, nous sommes convaincus que les EAU continueront à montrer la voie dans l’économie du savoir, stimulant le progrès et la prospérité ».

Source : TII, 15/03/2023