Alibaba a publié jeudi un nouveau modèle d’intelligence artificielle (IA), connu sous le nom de Qwen with Questions (QwQ), qui constitue le dernier concurrent open source du modèle de raisonnement OpenAI o1.
Lancé en avant-première, le modèle de langage large (LLM) QwQ-32B surpasserait GPT-o1-preview dans plusieurs tests de raisonnement mathématique et logique. Le nouveau modèle d’IA est disponible en téléchargement sur Hugging Face, mais il n’est pas entièrement open source.
Qu’est-ce que Qwen with Questions (QwQ) ?
Comme d’autres modèles de raisonnement large (LRM), QwQ utilise des cycles de calcul supplémentaires pendant l’inférence pour examiner ses réponses et corriger ses erreurs, ce qui le rend plus adapté aux tâches qui nécessitent un raisonnement logique et une planification comme les mathématiques et le codage.
Dans un article de blog, Alibaba a détaillé son nouveau LLM axé sur le raisonnement et a souligné ses capacités et ses limites. Le QwQ-32B, comme son nom l’indique, est construit sur 32 milliards de paramètres et dispose d’une fenêtre contextuelle de 32 000 jetons. Le modèle a terminé les étapes de pré-formation et de post-formation. Le modèle est actuellement en préversion, ce qui signifie qu’une version plus performante est susceptible de suivre.
En ce qui concerne son architecture, le géant chinois de la technologie a révélé que le modèle d’IA est basé sur la technologie des transformateurs. Pour l’encodage positionnel, QwQ utilise les fonctions Rotary Position Embeddings (RoPE), ainsi que les fonctions Switched Gated Linear Unit (SwiGLU) et Root Mean Square Normalization (RMSNorm), ainsi que le biais Attention Query-Key-Value (Attention QKV).
Selon les tests d’Alibaba, QwQ bat o1-preview sur les benchmarks AIME et MATH, qui évaluent les capacités de résolution de problèmes mathématiques. Il surpasse également o1-mini sur GPQA, un benchmark pour le raisonnement scientifique. QwQ est inférieur à o1 sur les benchmarks de codage LiveCodeBench mais surpasse toujours d’autres modèles de pointe tels que GPT-4o et Claude 3.5 Sonnet.
QwQ n’est pas accompagné d’un document d’accompagnement décrivant les données ou le processus utilisé pour entraîner le modèle, ce qui rend difficile la reproduction des résultats du modèle. Cependant, comme le modèle est ouvert, contrairement à OpenAI o1, son « processus de réflexion » n’est pas caché et peut être utilisé pour comprendre la façon dont le modèle raisonne lors de la résolution de problèmes.
Notamment, Alibaba a mis le modèle d’IA à disposition via une liste Hugging Face et les particuliers comme les entreprises peuvent le télécharger à des fins personnelles, académiques et commerciales sous la licence Apache 2.0.