Commit
•
159e652
1
Parent(s):
66e1bd5
Upload folder using huggingface_hub
Browse files
README.md
CHANGED
|
@@ -19,7 +19,7 @@ InternVL 2.0 is trained with an 8k context window and utilizes training data con
|
|
| 19 |
|
| 20 |
## Model Details
|
| 21 |
|
| 22 |
-
|
| 23 |
|
| 24 |
## Performance
|
| 25 |
|
|
@@ -247,3 +247,69 @@ If you find this project useful in your research, please consider citing:
|
|
| 247 |
year={2024}
|
| 248 |
}
|
| 249 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 19 |
|
| 20 |
## Model Details
|
| 21 |
|
| 22 |
+
InternVL 2.0 is a multimodal large language model series, featuring models of various sizes. For each size, we release instruction-tuned models optimized for multimodal tasks. InternVL2-4B consists of [InternViT-300M-448px](https://huggingface.co/OpenGVLab/InternViT-300M-448px), an MLP projector, and [Phi-3-mini-128k-instruct](https://huggingface.co/microsoft/Phi-3-mini-128k-instruct).
|
| 23 |
|
| 24 |
## Performance
|
| 25 |
|
|
|
|
| 247 |
year={2024}
|
| 248 |
}
|
| 249 |
```
|
| 250 |
+
|
| 251 |
+
## 简介
|
| 252 |
+
|
| 253 |
+
我们很高兴宣布 InternVL 2.0 的发布，这是 InternVL 系列多模态大语言模型的最新版本。InternVL 2.0 提供了多种指令微调的模型，参数从 20 亿到 1080 亿不等。此仓库包含经过指令微调的 InternVL2-4B 模型。
|
| 254 |
+
|
| 255 |
+
与最先进的开源多模态大语言模型相比，InternVL 2.0 超越了大多数开源模型。它在各种能力上表现出与闭源商业模型相媲美的竞争力，包括文档和图表理解、信息图表问答、场景文本理解和 OCR 任务、科学和数学问题解决，以及文化理解和综合多模态能力。
|
| 256 |
+
|
| 257 |
+
InternVL 2.0 使用 8k 上下文窗口进行训练，训练数据包含长文本、多图和视频数据，与 InternVL 1.5 相比，其处理这些类型输入的能力显著提高。更多详细信息，请参阅我们的博客和 GitHub。
|
| 258 |
+
|
| 259 |
+
## 模型细节
|
| 260 |
+
|
| 261 |
+
InternVL2 是一个多模态大语言模型系列，包含各种规模的模型。对于每个规模的模型，我们都会发布针对多模态任务优化的指令微调模型。InternVL2-2B 包含 [InternViT-300M-448px](https://huggingface.co/OpenGVLab/InternViT-300M-448px)、一个 MLP 投影器和 [internlm2-chat-1_8b](https://huggingface.co/internlm/internlm2-chat-1_8b)。
|
| 262 |
+
|
| 263 |
+
## 性能测试
|
| 264 |
+
|
| 265 |
+
| 评测数据集 | PaliGemma-3B | Phi-3-Vision | Mini-InternVL-4B-1.5 | InternVL2-4B |
|
| 266 |
+
| :--------------------------: | :----------: | :----------: | :------------------: | :----------: |
|
| 267 |
+
| 模型大小 | 2.9B | 4.2B | 4.2B | 4.2B |
|
| 268 |
+
| | | | | |
|
| 269 |
+
| DocVQA<sub>test</sub> | - | - | 87.7 | 89.2 |
|
| 270 |
+
| ChartQA<sub>test</sub> | - | 81.4 | 81.0 | 81.5 |
|
| 271 |
+
| InfoVQA<sub>test</sub> | - | - | 64.6 | 67.0 |
|
| 272 |
+
| TextVQA<sub>val</sub> | 68.1 | 70.9 | 72.5 | 74.4 |
|
| 273 |
+
| OCRBench | 614 | 639 | 638 | 788 |
|
| 274 |
+
| MME<sub>sum</sub> | 1686.1 | 1508.0 | 2053.6 | 2064.1 |
|
| 275 |
+
| RealWorldQA | 55.2 | 58.8 | 60.1 | 60.7 |
|
| 276 |
+
| AI2D<sub>test</sub> | 68.3 | 76.7 | 76.9 | 78.9 |
|
| 277 |
+
| MMMU<sub>val</sub> | 34.9 | 40.4 | 43.3 | 47.0 |
|
| 278 |
+
| MMBench-EN<sub>test</sub> | 71.0 | 73.6 | 76.2 | 78.6 |
|
| 279 |
+
| MMBench-CN<sub>test</sub> | 63.6 | - | 70.3 | 73.9 |
|
| 280 |
+
| CCBench<sub>dev</sub> | 29.6 | 24.1 | 58.8 | 66.5 |
|
| 281 |
+
| MMVet<sub>GPT-4-0613</sub> | 33.1 | - | 46.7 | 55.7 |
|
| 282 |
+
| SEED-Image | 69.6 | 70.9 | 72.5 | 73.7 |
|
| 283 |
+
| HallBench<sub>avg</sub> | 32.2 | 39.0 | 42.8 | 41.9 |
|
| 284 |
+
| MathVista<sub>testmini</sub> | 28.7 | 44.5 | 53.7 | 58.6 |
|
| 285 |
+
|
| 286 |
+
- 我们同时使用 InternVL 和 VLMEvalKit 仓库进行模型评估。具体来说，DocVQA、ChartQA、InfoVQA、TextVQA、MME、AI2D、MMBench、CCBench、MMVet 和 SEED-Image 的结果是使用 InternVL 仓库测试的。MMMU、OCRBench、RealWorldQA、HallBench 和 MathVista 是使用 VLMEvalKit 进行评估的。
|
| 287 |
+
|
| 288 |
+
- 请注意，使用不同的测试工具包（如 InternVL 和 VLMEvalKit）评估同一模型可能会导致细微差异，这是正常的。代码版本的更新、环境和硬件的变化也可能导致结果的微小差异。
|
| 289 |
+
|
| 290 |
+
- 需要提到的是，我们报告的 MMVet 分数是使用 GPT-4-0613 作为评判模型评估的。不同版本的 GPT-4 会导致该数据集分数的显著变化。例如，使用 GPT-4-Turbo 会导致分数显著降低。
|
| 291 |
+
|
| 292 |
+
限制：尽管在训练过程中我们非常注重模型的安全性，尽力促使模型输出符合伦理和法律要求的文本，但受限于模型大小以及概率生成范式，模型可能会产生各种不符合预期的输出，例如回复内容包含偏见、歧视等有害内容，请勿传播这些内容。由于传播不良信息导致的任何后果，本项目不承担责任。
|
| 293 |
+
|
| 294 |
+
## 开源许可证
|
| 295 |
+
|
| 296 |
+
该项目采用 MIT 许可证发布。
|
| 297 |
+
|
| 298 |
+
## 引用
|
| 299 |
+
|
| 300 |
+
如果您发现此项目对您的研究有用，可以考虑引用我们的论文：
|
| 301 |
+
|
| 302 |
+
```BibTeX
|
| 303 |
+
@article{chen2023internvl,
|
| 304 |
+
title={InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks},
|
| 305 |
+
author={Chen, Zhe and Wu, Jiannan and Wang, Wenhai and Su, Weijie and Chen, Guo and Xing, Sen and Zhong, Muyan and Zhang, Qinglong and Zhu, Xizhou and Lu, Lewei and Li, Bin and Luo, Ping and Lu, Tong and Qiao, Yu and Dai, Jifeng},
|
| 306 |
+
journal={arXiv preprint arXiv:2312.14238},
|
| 307 |
+
year={2023}
|
| 308 |
+
}
|
| 309 |
+
@article{chen2024far,
|
| 310 |
+
title={How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites},
|
| 311 |
+
author={Chen, Zhe and Wang, Weiyun and Tian, Hao and Ye, Shenglong and Gao, Zhangwei and Cui, Erfei and Tong, Wenwen and Hu, Kongzhi and Luo, Jiapeng and Ma, Zheng and others},
|
| 312 |
+
journal={arXiv preprint arXiv:2404.16821},
|
| 313 |
+
year={2024}
|
| 314 |
+
}
|
| 315 |
+
```
|