Modèles locaux avec Ollama

#Prérequis

Ollama doit être installé et en cours d’exécution sur le PC, avec au moins un modèle téléchargé. OSIA interroge l’instance locale et n’affiche que les modèles effectivement disponibles.

• Démarrage rapide OllamaDocumentation officielle↗

#Capacités variables

• La mémoire requise dépend du modèle et de sa quantification.
• Vision et appels d’outils ne sont pas garantis pour tous les modèles.
• Une réponse locale peut être plus lente sur CPU.
• Le service Ollama et le modèle ont leur propre cycle de mise à jour.
• Un modèle local n’empêche pas un outil ou connecteur explicitement appelé de joindre un service externe.

#Confidentialité

Le prompt du modèle peut rester sur le PC lorsque le modèle et le service Ollama sont réellement locaux. STUN, relais, connecteurs, mises à jour ou pages Web sont des flux séparés. Vérifiez le réseau effectif si votre exigence est un fonctionnement strictement hors ligne.

#Diagnostic

1. 1
   Vérifier qu’Ollama répond localement.
2. 2
   Vérifier qu’un modèle est installé.
3. 3
   Rafraîchir le catalogue OSIA.
4. 4
   Choisir un modèle compatible et envoyer un texte court.
5. 5
   Consulter les ressources système si le processus est tué ou très lent.