N1 · Simple à mettre en placeNouveau
Moteur d'inférence LLM en C/C++ pour faire tourner un modèle sans GPU dédié (llama.cpp)
Format de quantization GGUF pour distribuer des modèles compacts, exécutables sur un ordinateur portable, un téléphone ou un petit serveur
Vendu par MagicMate
Ce qu'il faut
- Niveau
- N1 · Simple à mettre en place — Vous déposez un fichier fourni dans un outil que vous utilisez déjà. Rien à héberger ni à configurer en profondeur.
- Serveur requis
- Non
- Réglages requis
- Non (dépôt d'un fichier)
- Licence
- Projet tiers sous licence permissive (MIT) : utilisation, modification et redistribution permises selon ses termes, avec conservation des mentions de droit d'auteur et du texte de licence. Le texte de la licence d'origine, publié dans le dépôt source, fait foi.
llama.cpp est le moteur d'inférence en C/C++ qui a rendu possible de faire tourner un grand modèle de langage sur un ordinateur portable, un téléphone ou un petit serveur, sans GPU dédié ni dépendance Python lourde. Son format de quantization GGUF sert à distribuer des modèles compacts.
Licence et attribution : Source : https://github.com/ggml-org/llama.cpp. Licence : MIT (https://raw.githubusercontent.com/ggml-org/llama.cpp/master/LICENSE). Tous droits conservés par ses auteurs ; cette fiche est une présentation rédigée par Marketia.