L’IA Locale : Rêve ou Réalité ?
Je ne crois toujours pas aux remplacements des développeurs par les IA ! J’ai reçu mon nouveau laptop !! Ce n'est pas le plus récent, mais vu les prix des composants vs la puissance que je voulais, il a fallu faire des compromis : beaucoup de RAM, beaucoup de VRAM. Nous sommes partis sur un tank : Lenovo ThinkPad P17 G1 (64G / 16G, ancien mais suffisant). Cela me permet de faire tourner des IA localement et d’essayer de mettre en place des workflows pour voir si c’est viable, et à quel prix, temps, etc. Voici un résumé de ma semaine avec n8n, Ollama et plein de petits modèles.
Introduction au Vocabulaire
Ollama est un outil open source permettant de charger des modèles localement. Cela me donne accès à une API pour télécharger, exécuter et interagir avec des modèles.
Les Modèles Testés
Voici les modèles testés :
| NAME | ID | SIZE | MODIFIED |
|---|---|---|---|
| llama3.2-vision:latest | 6f2f9757ae97 | 7.8 GB | 17 hours ago |
| qwen2.5:14b | 7cdf5a0187d5 | 9.0 GB | 2 days ago |
| codellama:latest | 8fdf8f752f6e | 3.8 GB | 2 days ago |
| magicoder:latest | 8007de06f5d9 | 3.8 GB | 2 days ago |
| qwen3.5:27b | 7653528ba5cb | 17 GB | 3 days ago |
| qwen3.5:9b | 7653528ba5cb | 17 GB | 3 days ago |
| qwen3.5:27b | 7653528ba5cb | 17 GB | 3 days ago |
Pourquoi Faire Tourner des IA Locales ?
Avantages du Local :
- Confidentialité : Lorsque j’éteins mon PC, je n’ai pas de risque de laisser tourner une IA consommant des tokens ou de sortir des mots de passe ou des infos sensibles : pas d’accès internet (sauf via n8n, sous contrôle).
- Contrôle : On a un meilleur contrôle sur les ressources et on peut adapter nos workflows à notre niveau de puissance.
- Coût : Si on considère le coût réel des machines nécessaires pour obtenir une vitesse de réponse acceptable, c’est illusoire d’avoir un junior à 200€ par mois. La vitesse n’est pas toujours synonyme de qualité en développement. Pareil pour le volume : la dette technique se crée plus vite !
Inconvénients du Local
Inconvénients du Local :
- Efficacité : On perd en efficacité et « intelligence » par rapport aux solutions cloud.
- Complexité de Configuration : L’intégration dans les IDE n’est pas toujours simple et peut nécessiter des redémarrages fréquents pour maintenir la stabilité.
- Coût Matériel : Le coût initial pour obtenir une machine suffisamment puissante peut être élevé.
Conclusion
En conclusion, faire tourner des IA localement est viable sur le long terme, mais il faut bien peser les avantages et les inconvénients. Pour des besoins spécifiques en matière de confidentialité et de contrôle, cela peut être une solution intéressante. Cependant, pour des projets nécessitant une grande efficacité et une intelligence avancée, les solutions cloud restent souvent plus adaptées.