license: cc-by-4.0
LLaVa 1.5 eğitim çerçevesi ve Trendyol Mistral v1.0 Chat modeli kullanılarak eğitilmiş bir büyük görüntü dil modelidir. VQA, image captioning, visual grounding ve visual reasoning görevleri için eğitilmiştir.
Kurulum:
git clone https://github.com/SkunkworksAI/BakLLaVA.git
cd BakLLaVA
conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip # enable PEP 660 support
pip install -e .
pip install numpy==1.26.4
pip install transformers==4.34.1
conda install chardet
Kullanım:
python -m llava.serve.cli \
--model-path 99eren99/Turkish-LLaVa1.5-Mistral \
--image-file "resim için relative path veya url" \
--conv-mode llava_llama_2
Prompt Şablonları
Lütfen bu bölge için kısa bir açıklama yapınız: [x1, y1, x2, y2].
-Lütfen bu bölge için kısa bir açıklama yapınız: [0. 62, 0. 65, 0. 66, 0. 8].
-BBox koordinatları 0-1 aralığında x1,y1,x2,y2 koordinatlarını temsil ediyor. Resmin sol üst köşesi (0,0).
Lütfen bu cümlenin tanımladığı bölgenin sınırlayıcı kutu koordinatını sağlayın: {cümle}.
-Lütfen bu cümlenin tanımladığı bölgenin sınırlayıcı kutu koordinatını sağlayın: plajda duran kişi.
Verilen resmin öğeleri hakkında ayrıntılı bilgi verebilir misiniz?
Verilen görsel için tek cümlelik bir başlık girin.
Resmin görsel içeriğini çok ayrıntılı olarak açıklayın.
{soru}?\nA. {seçenek}\nB. {seçenek}\nC. {seçenek}\nD. {seçenek}\nVerilen seçeneklerden doğru olanıyla cevap verin.
-Lambanın üzerinde ne tür bir abajur var?\nA. temiz cam\nB. saçak\nC. kumaş\nD. tiffany tarzı\nVerilen seçeneklerden doğru olanıyla cevap verin.