Une startup axée sur la construction de modèles d'IA personnalisés pour les grandes entreprises a annoncé le lancement public de Reka Core, un modèle de langage multimodal capable de traiter du texte, des images, des vidéos et des entrées audio.
La société de logiciels d'entreprise Reka AI a été fondée en 2022 par des chercheurs de DeepMind de Google, du géant chinois de la technologie Baidu et de Meta. Elle a déjà levé 60 millions de dollars de financement auprès d'investisseurs, dont New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global, et l'entrepreneur investisseur Nat Friedman.
Reka Core est le plus grand et le plus performant modèle de l'entreprise à ce jour. Et Reka AI, faisant référence à ses propres tests, affirme qu'il se compare favorablement à de nombreux modèles beaucoup plus grands et mieux financés. Dans un document de recherche regroupant les résultats de plusieurs benchmarks synthétiques, Reka affirme que son modèle Core peut rivaliser avec les outils d'IA d'OpenAI, Anthropic et Google.
L'un des principaux indicateurs est le MMMU, le Massive Multi-discipline Multimodal Understanding and Reasoning benchmark. Il s'agit d'un ensemble de données conçu pour tester les capacités des grands modèles de langage (LLM) en matière de compréhension et de raisonnement multimodal à un niveau comparable à celui des experts humains.
«Core est comparable à GPT-4V sur le MMMU, surpasse Claude-3 Opus lors de notre évaluation multimodale réalisée par un tiers indépendant, et dépasse Gemini Ultra sur les tâches vidéo,» a déclaré Reka AI dans son article de recherche. «Sur les tâches de langage, Core est compétitif avec d'autres modèles de pointe sur des benchmarks bien établis.»
En ce qui concerne la compréhension des entrées vidéo, mesurée avec le benchmark Perception-Test, Core bat Gemini Ultra, le seul autre modèle capable de traiter des vidéos.
Dans l'ensemble, Reka Core a des capacités multimodales (image et vidéo), de bonnes capacités de raisonnement, peut générer du code et a une fluidité multilingue. L'interface du chatbot est gratuite à utiliser, et Reka Core est également disponible via API. Pour accéder à l'API, les développeurs peuvent s'attendre à payer 10 $ pour chaque 1 million de jetons et 25 $ pour le même nombre de jetons de sortie.
Cependant, le modèle a du mal avec les longues invitations. Sa version gratuite ne gère que 4 000 jetons de contexte pour des raisons d'efficacité, avec un contexte étendu allant jusqu'à 128 000 jetons, selon Reka. Les modèles concurrents d'OpenAI, d'Anthropic et de Google ont une fenêtre de contexte standard de 128 000 avec des versions expérimentales gérant jusqu'à 1 million de jetons.
Reka Core a été formé à partir de zéro sur des milliers de GPU pendant plusieurs mois. La société a déclaré avoir utilisé des données textuelles provenant de 32 langues, ce qui lui permet d'être fluent en anglais ainsi que dans plusieurs langues asiatiques et européennes. Ses développeurs affirment qu'il a également assimilé une formation multilingue à partir d'un ensemble de données de Wikipedia contenant 110 langues, lui donnant une connaissance de base limitée de nombreuses langues et dialectes peu communs.
Reka Core est disponible pour des tests gratuits, mais n'est pas open source. Reka AI affirme qu'elle travaille avec de nombreuses plateformes technologiques mondiales de premier plan et des organisations gouvernementales telles que Snowflake, Oracle et AI Singapore.
Test de Reka
Decrypt a mis Reka Core à l'épreuve, via son interface de chat public. Cela ressemble beaucoup à celui de ChatGPT, avec un affichage en mode sombre avec des nuances de bleu et de violet.
Capacités visuelles
Les capacités visuelles de Reka Core sont impressionnantes, mais il est important de noter qu'il ne peut pas générer d'images comme ChatGPT Plus, Meta AI ou Google Gemini.
Cependant, les capacités de vision de Reka sont rapides et précises, ce qui en fait un excellent outil pour les tâches nécessitant une analyse visuelle.
Lors de nos tests, Reka s'est révélé plus rapide que GPT-4 et a fourni des résultats précis, que ce soit pour décrire quelque chose ou pour utiliser des informations visuelles de manière contextuelle pour répondre à une tâche. Par exemple, nous avons montré à Reka une photo de la Tour Eiffel et lui avons demandé ce que nous pourrions faire pour profiter d'un week-end dans cette ville. Reka a compris le contexte et nous a donné un itinéraire avec des endroits à visiter à Paris, sans inclure la Tour Eiffel.
Reka AI semble bien consciente de la manière dont les capacités visuelles de leur modèle se comparent à la concurrence. Ils ont construit une vitrine spéciale d'exemples de différentes sorties fournies par Reka, GPT-4 et Claude 3 Opus.
Reka écrit du code
Reka Core est un assistant de codage capable, mais il a certaines limitations. Dans les tests de Decrypt, Reka nécessitait une formulation précise avant de fournir des résultats précis, car elle prend tout très littéralement. Cela peut être un défi pour les utilisateurs novices qui ne savent pas comment expliquer les choses de manière à ce que Reka puisse comprendre.
Une fois les instructions formulées correctement, Reka peut générer un bon code et des résultats satisfaisants.
Decrypt a demandé au modèle de créer le code pour un jeu qui n'existe pas. Le premier résultat n'a pas fonctionné, même s'il a effectivement écrit exactement ce que nous avons demandé. Lorsque nous avons été plus explicites et avons reformulé notre demande, il a créé du code fonctionnel mais imparfait du premier coup, avec de meilleurs résultats que ceux fournis par Claude 3 Opus.
L'échantillon de code est disponible ici — ainsi que les versions générées par d'autres LLMs.
Reka dispose de paramètres de sécurité stricts
Reka Core possède des contrôles de sécurité intégrés et refuse de générer des résultats considérés comme nuisibles ou contraires à l'éthique, même s'ils sont légaux. Par exemple, il a refusé de donner des conseils pour séduire le partenaire romantique d'un ami.
Lors de nos tests, Reka a résisté aux techniques de jailbreak de base et s'est montré plus neutre que d'autres modèles tels que GPT-4, Llama-3 et Claude. Lorsqu'on lui a posé des questions sur des sujets controversés tels que l'identité de genre et les idéologies politiques, Reka a fourni des réponses équilibrées et impartiales.
Dans un autre exemple, il a fourni des arguments pour et contre le capitalisme et le socialisme, même s'il lui avait été demandé de décider quel modèle était le meilleur. De plus, lorsqu'on lui a demandé de définir une femme, Reka a donné une réponse détaillée et nuancée qui reconnaissait à la fois les facteurs biologiques et sociologiques, en étant précis en définissant une femme comme «un être humain adulte de sexe féminin, caractérisé par des attributs biologiques, psychologiques et sociaux généralement associés au genre féminin».
De plus, Reka a veillé à reconnaître les complexités de l'identité de genre et à fournir une réponse respectueuse et inclusive.
Reka essaie l'écriture créative
Les capacités d'écriture créative de Reka Core sont solides, mais pas exceptionnelles.
Nous avons demandé au modèle de créer une histoire sur une personne qui voyageait de l'année 2160 à l'année 1000 pour résoudre un problème tout en causant involontairement un paradoxe temporel.
Le style narratif de Reka est clair et captivant, avec quelques belles touches descriptives ici et là. Cependant, la prose ne parvient pas tout à fait aux sommets imaginatifs d'autres IA comme Claude. L'intrigue semble également un peu sous-développée et a une ambiance fabriquée par une IA.
Comme mentionné précédemment, un point faible pour Reka est son manque de capacités contextuelles, ce qui pourrait rendre difficile la génération de longues histoires ou le maintien d'une narration cohérente à travers différents chapitres.
Dans ce domaine, le grand gagnant est Claude. En termes de compétence narrative pure - la capacité à créer une histoire captivante et émotionnellement résonnante avec une prose magnifique et une voix narrative confiante - Claude se démarque des autres. En termes généraux, la prose de Claude a une qualité littéraire merveilleuse.
Un échantillon des histoires générées par Reka, Claude, ChatGPT, Mistral et Llama-3 peut être trouvé ici.
Connaissance et raisonnement
Les capacités de connaissance et de raisonnement de Reka Core sont vraiment bonnes. Dans les tests de Decrypt, Reka a été capable de traiter des questions complexes nécessitant une analyse, et elle a démontré certaines capacités mathématiques. De plus, Reka a été capable d'expliquer son raisonnement logique de manière claire et concise.
Elle est également douée pour les questions de suivi, itérant sur le même problème sans perdre le contexte, tant que les questions de suivi ne poussent pas le modèle au-delà de ses limites techniques. Si cela se produit, il devient impossible de continuer à interagir avec lui.
Reka a également publié une vidéo expliquant comment les utilisateurs pourraient déployer des agents d'IA en utilisant son API, ce qui pourrait étendre davantage ses capacités, le rendant ainsi plus puissant à cet égard.
Compréhension du langage
Les capacités de compréhension du langage de Reka Core sont excellentes. Dans nos tests, Reka a été capable de comprendre du texte même s'il contenait de nombreuses erreurs. Il était également un bon correcteur, capable d'adopter différents styles et tons dans un récit.
Le modèle comprend également les nuances des différentes langues. Il était capable à la fois de traduire et d'extraire un encadrement contextuel pour comprendre pleinement le message d'une traduction. Il a compris un dicton courant en espagnol, nous a donné l'équivalent culturel correctement adapté, et en a expliqué le sens.
Conclusion
Decrypt a été assez impressionné par Reka Core.
Reka est meilleur que Google Gemini en termes de résultats et de travail global, mais Gemini offre 2 To de stockage et une intégration avec la suite de produits Google, un grand avantage pour certains utilisateurs.
Si les capacités visuelles sont une priorité, Reka vaut vraiment la peine d'être considéré. Comme il est à la fois gratuit et rapide, il pourrait conquérir le cœur de nombreux passionnés d'IA impatients d'explorer la prochaine grande nouveauté avant les masses.
Si vous avez besoin de vous concentrer sur l'écriture créative, Claude reste le grand gagnant. Si ce n'est pas une priorité, il n'y a pas beaucoup de différence entre Claude et Reka. Claude est le meilleur pour ses capacités de contexte long, et Reka est le meilleur pour ses capacités de vision exceptionnelles.
En termes généraux, si les gens ont besoin d'un chatbot avancé avec une large gamme de capacités, Reka est une excellente alternative pour économiser de l'argent pour les utilisateurs qui envisageraient autrement un abonnement mensuel à un service payant.
Édité par Stacy Elliott.