LMi-MAG20 Dec - Flipbook - Page 53
© Ivan Milovanov - iStock
ressante qui devrait s’améliorer au fur et à mesure que
les modèles open source deviendront plus performants.
En plus de l’application de chatbot, GPT4All a également
des liens pour Python, Node et une interface de ligne de
commande (CLI). Il existe aussi un mode serveur pour
interagir avec le LLM local par le biais d’une API HTTP
structurée de manière très similaire à celle d’OpenAI.
L’objectif est d’être en capacité de remplacer un LLM
local par OpenAI en changeant quelques lignes de code.
Les LLM en ligne de commande
Pour faire tourner des grands modèles de langage,
pas besoin nécessairement de faire appel
à une configuration trop musclée pour commencer.
configurer. Il comprend des options pour les modèles
qui fonctionnent sur son propre système, et il existe des
versions pour Windows, macOS et Ubuntu. Lorsque l’on
ouvre l’application de bureau GPT4All pour la première
fois, des options pour télécharger une dizaine de modèles
(à l’heure où nous écrivons ces lignes) fonctionnent localement. Parmi eux figure Llama-2-7B, un modèle de Meta
AI. On peut également configurer les modèles GPT-3.5 et
GPT-4 d’OpenAI (sous réserve d’y avoir accès) pour une
utilisation non locale en disposant d’une clé API.
Nouvelle version bêta du plugin LocalDocs
La partie de l’interface GPT4All consacrée au téléchargement des modèles était un peu confuse au début. Après
avoir téléchargé plusieurs modèles, l’option pour tous
les télécharger est encore présente, suggérant que les
téléchargements ne fonctionnaient pas. Cependant, une
vérification de chemin de téléchargement montrait bien
que les modèles étaient là.
Il existe également une nouvelle version bêta du plugin LocalDocs pour « chatter » avec ses propres documents localement. Il est possible de l’activer dans l’onglet Paramètres > Plugins, où sera indiqué en en-tête
« LocalDocs Plugin (BETA) Settings » et une option pour
créer une collection dans un chemin de dossier spécifique.
Le plugin est en cours d’élaboration et la documentation
prévient que le LLM peut encore « halluciner » (inventer
des choses) même s’il a accès aux informations d’expert
ajoutées. Néanmoins, il s’agit d’une fonctionnalité inté-
Le LLM de Simon Willison est l’un des moyens les plus
simples pour télécharger et utiliser des LLM open source
localement sur sa propre machine. Bien qu’il n’y ait pas
besoin d’installer Python pour le faire fonctionner, on
ne doit pas avoir besoin de toucher au code Python. En
cas d’utilisation d’un Mac et d’Homebrew, il faut simplement l’installer avec « brew install llm ». Avec un
système Windows, il faudra recourir à l’installation de
bibliothèques Python telle que « pip install llm ».
Ce LLM par défaut n’utilise pas les modèles OpenAI,
mais il est possible d’utiliser des plugins pour exécuter
d’autres modèles localement. Par exemple, en installant
le plugin gpt4all, l’utilisateur aura accès à des modèles
locaux supplémentaires de GPT4All. Il existe également
des plugins pour Llama, le projet MLC et MPT-30B, ainsi
que des modèles distants supplémentaires. L’installation
d’un plugin en ligne de commande se fait avec llm install
model-name: llm install llm-gpt4all. [Lire l’intégralité de
l’article sur lemondeinformatique.fr]
APPROFONDIR
ÉCOUTER EN LIGNE
Podcast
tinyurl.com/LLM-podcast
LIRE EN LIGNE
Article
tinyurl.com/article-LLM
53