about 8bit quantization (8bit量子化問題について)
#1
by
yz23
- opened
GPUは24Gの3090で、8bitの量子化モデルを読み込もうとした処失敗してしまいました。当llm-jpは8bit量子化をサポートしてないでしょうか？
yz23
changed discussion status to
closed
Please read the code for load_in_8bit option in train.py of llm-jp/llm-jp-sft repo. @yz23
hiroshi-matsuda-rit
changed discussion title from
8bit量子化問題について
to about 8bit quantization (8bit量子化問題について)