metadata
license: apache-2.0
datasets:
- cosimoiaia/Loquace-102k
language:
- it
tags:
- Italian
- GGUF
- Loquace
- conversational
- text generation
Description
This repo contains GGUF format model files for Loquace-7B-Mistral
Versione GGUF per di Loquace l'utilizzo su CPU (Senza GPU!!!):
La versione GGUF 8bit di Loquace è una versione ridotta per essere utilizzata su computer o portatili anche senza l'utilizzo di una GPU.
Qui c'è una lista incompleta di clienti e librerie che sono conosciute per supportare GGUF (Grazie a TheBloke per questa lista e per il suo fantastico lavoro):
- llama.cpp. Il progetto primario per il formato GGUF. Fornisce un'interfaccia a riga di comando e una versione server.
- [text- generation-webui](https://github.com/oobabooga/text- generation-webui), L'interfaccia web più usata, con molte funzionalità ed estensioni. Supporta anche GPU locali.
- KoboldCpp, un'interfaccia utente Web completa, con accelerazione GPU su tutte le piattaforme e architetture GPU. Particolarmente adatto per raccontare storie.
- LM Studio, una GUI locale potente e facile da usare per Windows e macOS (Silicon), con accelerazione GPU.
- Interfaccia utente Web di LoLLMS, una fantastica interfaccia utente Web con molte funzionalità interessanti e uniche, inclusa una libreria di modelli completa per una facile selezione del modello.
- Faraday.dev, una GUI di chat basata sui caratteri attraente e facile da usare per Windows e macOS (sia Silicon che Intel), con accelerazione GPU.
- ctransformers, una libreria Python con accelerazione GPU, supporto LangChain e server AI compatibile con OpenAI.
- llama-cpp-python, una libreria Python con accelerazione GPU, supporto LangChain e server API compatibile con OpenAI.
- candle, un framework Rust ML incentrato sulle prestazioni, incluso il supporto GPU e sulla facilità d'uso.