大模型指令微调数据集
·
1.MMDU（Multi-Turn Multi-Image Dialog Understanding）
大型视觉语言模型（LVLMs）的核心能力之一是生成自然且有意义的回答，从而能够与人类进行流畅的图文对话。
尽管目前开源的LVLMs在如单轮单图输入等简化场景中展示出了不错的潜力，但在具有长上下文长度，且需要多轮对话和多图输入的真实对话场景中，表现则相对不足。
此外，现有的LVLM Benchmarks主要采用单项选择题或简短回答的形式，难以全面评估LVLMs在真实世界人机互动应用中的表现。
为此，研究团队在论文A Multi-Turn Multi-Image Dialog Understanding Benchmark and Instruction-Tuning Dataset for LVLMs中提出了全新多图多轮评测基准MMDU及大规模指令微调数据集MMDU-45k，旨在评估和提升LVLMs在多轮及多图像对话中的性能。
（摘抄自一次可输入多张图像，还能多轮对话！最新开源数据集，让AI聊天更接近现实...-CSDN博客）
数据集下载地址：laolao77/MMDU · Datasets at Hugging Face
2. InfinityInstruct
-----虽然主要关注点可能不在图像上，但作为一个大规模的指令微调数据集，它可能包含涉及图像理解的任务。
InfinityInstruct-3M 启动千万级指令微调数据集 / 数据集 / 超神经
| 文本 | 弱智吧数据1 | https://github.com/FunnySaltyFish/Better-Ruozhiba/blob/main/ruozhiba_qa.json |
| 图像 | Osprey | https://huggingface.co/datasets/AntGroup-MI/Osprey-724K |
| 图像 | MMDU-45k | https://huggingface.co/datasets/laolao77/MMDU?row=0 |
| 图像 | LAMM-Dataset 包括一个包含 186,098 个图像语言指令-响应对的图像指令调整数据集和一个包含 10,262 个点云语言指令-响应对的点云指令调整数据集。 | OpenDataLab 引领AI大模型时代的开放数据平台 |
| 文本 | InfinityInstruct-3M | InfinityInstruct-3M 启动千万级指令微调数据集 / 数据集 / 超神经 |
| 文本 | M2Lingual 多语言多轮次指令微调数据集 | M2Lingual 多语言多轮次指令微调数据集 / 数据集 / 超神经 |
| 文本 | 中文问答数据集 | https://github.com/DRCKnowledgeTeam/DRCD |
| 文本 | 由BELLE项目生成的约200万个中文指令数据 | OpenDataLab 引领AI大模型时代的开放数据平台 |
| 文本 | AgentInstruct | https://huggingface.co/datasets/THUDM/AgentInstruct |
| 图像 | GeoChat Instruct 数据集是一个为遥感领域设计的多模态指令跟踪数据集 | https://huggingface.co/datasets/MBZUAI/GeoChat_Instruct |
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献2条内容
所有评论(0)