Les chatbots IA doivent mieux mémoriser les choses. Les scientifiques viennent-ils de résoudre leur terrible problème de mémoire ?


Les chatbots d'intelligence artificielle (IA) sont terribles pour se souvenir des choses, à la fois entre des conversations distinctes et même pendant la même conversation. Mais deux avancées récentes pourraient complètement changer la donne.

Si vous parlez assez longtemps à un grand modèle de langage (LLM) comme ChatGPT d'OpenAI, il commencera à oublier des informations cruciales, surtout si la conversation s'étend sur plus de 4 millions de mots d'entrée. Ses performances commencent alors à se dégrader rapidement.

Pendant ce temps, ChatGPT et autres LLM ne peuvent pas conserver les informations entre les conversations. Par exemple, si vous terminez une conversation et redémarrez ChatGPT une semaine plus tard, le chatbot ne se souviendra de rien de l'échange précédent.

Mais deux équipes distinctes ont potentiellement trouvé des solutions à ces problèmes de mémoire. Une équipe de scientifiques dirigée par le Massachusetts Institute of Technology (MIT) a identifié la raison pour laquelle l'IA oublie des choses au milieu d'une conversation et a trouvé une méthode pour y remédier, tandis que les développeurs d'OpenAI ont commencé à tester la mémoire à long terme, dans laquelle vous pouvez dites à ChatGPT de se souvenir de parties de conversations, demandez-lui ce dont il se souvient et dites-lui plus tard d'oublier quelque chose – ou effacez complètement sa mémoire.

Améliorer les performances à mi-conversation

Les scientifiques ont découvert qu'ils pouvaient améliorer la mémoire à court terme des chatbots en modifiant la façon dont le cache clé-valeur (la mémoire à court terme du chatbot) stocke et remplace les jetons, où un jeton est un morceau de texte saisi. Les scientifiques ont baptisé leur nouvelle approche « StreamingLLM » et ont présenté leurs résultats dans un article publié le 12 décembre 2023 sur le serveur de pré-impression. arXiv.

En rapport: ChatGPT mentira, trichera et aura recours aux délits d'initiés lorsqu'il sera sous pression pour gagner de l'argent, selon une étude

La mémoire d'un chatbot est limitée, il supprime donc les jetons les plus anciens et les remplace par des jetons plus récents au fur et à mesure que la conversation se poursuit. Mais appliquer StreamingLLM à un LLM signifie qu’il peut conserver les quatre premiers jetons – avant d’expulser le cinquième jeton. Cela signifie qu’il oubliera toujours des choses – en raison de la nature de sa mémoire limitée – mais se souviendra des toutes premières interactions.

L'ordre des jetons (et s'ils sont étiquetés en premier, deuxième, troisième, etc.) est également important car ils alimentent une « carte d'attention » pour la conversation active. Cela montre dans quelle mesure chaque jeton est lié aux autres jetons.

Par exemple, si le cinquième jeton est expulsé, vous pouvez vous attendre à ce que le sixième jeton devienne le nouveau cinquième jeton. Mais pour que StreamingLLM fonctionne, les jetons doivent rester codés tels qu’ils l’étaient à l’origine. Dans cet exemple, le sixième jeton ne doit pas être codé comme le nouveau « cinquième » jeton simplement parce qu'il est désormais le cinquième dans la ligne — mais doit rester codé comme le sixième jeton.

Les jetons alimentent une « carte d'attention » pour chaque conversation, le chatbot IA établissant des liens entre les jetons et déterminant leur pertinence les uns par rapport aux autres.

Ces deux changements signifient qu’un chatbot fonctionne tout aussi efficacement au-delà de 4 millions de mots qu’auparavant, affirment les scientifiques dans leur article. C'est également 22 fois plus rapide qu'une autre méthode de mémoire à court terme qui évite les pannes de performances en recalculant constamment une partie de la conversation précédente.

“Maintenant, avec cette méthode, nous pouvons déployer de manière persistante ces grands modèles de langage. En créant un chatbot avec lequel nous pouvons toujours discuter et qui peut toujours nous répondre en fonction de nos conversations récentes, nous pourrions utiliser ces chatbots dans de nouvelles applications, ” a déclaré l'auteur principal de l'étude, Guangxuan Xiao, étudiant diplômé en génie électrique et en informatique au MIT, dans un communiqué.

StreamingLLM a déjà été intégré à la bibliothèque open source d'optimisation de modèles LLM de Nvidia appelée TensorRT-LLM, qui est utilisée par les développeurs comme base pour leurs propres modèles d'IA. Les chercheurs prévoient également d'améliorer StreamingLLM en le concevant pour rechercher et réincorporer les jetons qui ont été expulsés s'ils sont à nouveau nécessaires.

ChatGPT n'oubliera jamais

OpenAI teste également une méthode pour améliorer la mémoire à long terme de ChatGPT, afin que les utilisateurs puissent poursuivre leurs conversations et établir efficacement une relation de travail avec le chatbot IA.

Lors d'une conversation avec le LLM, les utilisateurs peuvent demander à ChatGPT de se souvenir de quelque chose de spécifique ou de lui accorder l'autonomie pour mémoriser les éléments de la conversation qu'il juge opportun de stocker pour plus tard. Ces souvenirs ne sont pas liés à des conversations spécifiques, donc la suppression des discussions n'efface pas les souvenirs : la mémoire elle-même doit être supprimée dans une interface distincte. À moins que ceux-ci ne soient supprimés manuellement, le démarrage d’une nouvelle discussion préchargera ChatGPT avec les souvenirs précédemment enregistrés.

OpenAI a fourni plusieurs exemples de la façon dont cela serait utile. Dans un exemple, le chatbot se souvient qu'un enseignant de maternelle avec 25 élèves préfère les cours de 50 minutes avec des activités de suivi, et rappelle ces informations lorsqu'il l'aide à créer un plan de cours. Dans un autre, quelqu'un dit à ChatGPT que son tout-petit adore les méduses – et l'outil d'IA s'en souvient lors de la conception d'une carte d'anniversaire pour lui.

La société a déployé les nouvelles fonctionnalités de mémoire auprès d'une petite partie des utilisateurs de ChatGPT, ont déclaré des représentants dans un communiqué. déclaration le 13 février, avant un déploiement plus large prévu auprès de tous les utilisateurs.

OpenAI utilisera les informations issues de ses mémoires pour améliorer ses modèles, ont indiqué les représentants de l'entreprise dans le communiqué. Ils ont toutefois ajouté que les scientifiques prenaient des mesures pour évaluer et atténuer les préjugés et empêcher ChatGPT de mémoriser des informations sensibles telles que des détails sur la santé, à moins qu'un utilisateur ne le demande explicitement. Les utilisateurs disposant d'un accès à la mémoire peuvent également utiliser un « chat temporaire » dans lequel la mémoire est entièrement désactivée.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*