TCM-Vision多模态中医药图像问答数据集-7204条涵盖饮片药材舌诊手诊眼诊推拿全息7大类别-中医AI模型训练评测基准

引言与背景

中医药作为中华民族的传统医学瑰宝，承载着数千年的医疗智慧与文化积淀。随着人工智能技术的快速发展，将现代AI技术与传统中医药知识相结合，已成为推动中医药现代化、智能化的重要方向。然而，中医药领域的高质量多模态数据集相对匮乏，制约了相关AI模型的研发与评测。TCM-Vision Benchmark数据集正是为解决这一问题而构建的专业级中医药视觉问答评测基准，该数据集完整包含7204条精心标注的图像-问答对，覆盖中药饮片识别、中药材鉴别、舌诊分析、手诊诊断、眼诊辨证、推拿手法、全息诊断七大核心领域。每条数据均配有高清原始图像文件、标准化问题描述、多选项答案及正确答案标注，形成了完整的元数据-原始文件-标注信息三位一体的数据结构。该数据集源自多本权威中医药图谱典籍，经过系统化整理与标准化标注，可为中医药多模态大语言模型的训练、微调与评测提供可靠的数据支撑，对推动中医AI辅助诊断、智能教学、知识图谱构建等研究具有重要价值。

获取数据请私信

数据基本信息

数据字段说明

字段名称	字段类型	字段含义	数据示例	完整性
image	字符串数组	图像文件路径，指向对应的原始图像文件	[“tcm_bench_images/0001.jpg”]	100%
question	字符串	针对图像内容提出的问题描述	“请根据这张图片，判断它属于下面哪一种？”	100%
options	字典	问题的备选答案，键为选项标识(A/B/C/D)，值为选项内容	{“A”: “巴戟肉”, “B”: “盐巴戟天”, “C”: “制白附子片”, “D”: “生白附子片”}	100%
answer	字符串	问题的正确答案内容	“巴戟肉”	100%
answer_idx	字符串	正确答案对应的选项索引	“A”	100%
category	字符串	数据所属类别，标识中医药应用领域	“TCM Patent”	100%

数据类别分布

类别名称	记录数量	占比	累计占比	类别说明
TCM Material（中药材）	1020	14.16%	14.16%	原药材形态识别与鉴别
TCM Patent（中药饮片）	1119	15.53%	29.69%	炮制后饮片的分类识别
TCM Herb（中草药）	1100	15.27%	44.96%	草药植物形态鉴别
Tongue（舌诊）	768	10.66%	55.62%	舌象特征分析与辨证
Palm（手诊）	640	8.88%	64.50%	掌纹与手部特征诊断
Holism（全息诊断）	1011	14.03%	78.53%	中医全息理论应用
Tuina（推拿）	831	11.53%	90.06%	推拿手法识别与应用
Eye（眼诊）	715	9.92%	100.00%	眼部特征与脏腑辨证

问题类型分布

问题类型	记录数量	占比	说明
饮片/药材/草药识别类	约3200条	44.4%	“请根据这张图片，判断它属于下面哪一种？”
舌诊辨证类	约700条	9.7%	舌苔、舌质特征判断
手诊分析类	约600条	8.3%	掌纹、手型诊断
眼诊辨证类	约700条	9.7%	眼部特征与脏腑关联
推拿手法类	约800条	11.1%	手法识别与操作部位
全息诊断类	约1000条	13.9%	多维度综合诊断

选项数量分布

选项数量	记录数量	占比	说明
3个选项	1361	18.89%	主要用于眼诊、部分饮片识别
4个选项	5843	81.11%	标准选择题格式，覆盖大部分类别

答案索引分布

答案选项	记录数量	占比
A	1548	21.49%
B	2733	37.94%
C	1833	25.44%
D	1090	15.13%

数据优势

优势特征	具体表现	应用价值
完整原始图像	数据集包含7204张高清原始图像文件（JPG格式），涵盖中药材、饮片、舌象、手纹、眼部、推拿操作等真实场景图像	支持基于完整图像内容的深度学习训练，适用于图像分类、目标检测、视觉问答等多模态任务
权威数据来源	数据源自多本权威中医药图谱典籍，经专业领域专家审核，确保内容的准确性与权威性	可作为中医AI模型的可信训练数据源，降低模型学习错误知识的风险
标准化标注	所有数据采用统一格式标注，包含图像路径、问题、选项、答案、类别等完整字段	便于数据加载与模型训练，支持快速构建数据流水线
多维度覆盖	涵盖中药、诊断、治疗三大领域共7个细分方向，形成完整的中医药知识体系	支持构建综合性的中医多模态大模型，实现跨领域知识融合
问答式结构	采用选择题形式的问答对设计，符合人类认知与考试评测习惯	可直接用于模型评测与能力评估，便于量化模型性能
平衡性设计	各类别样本数量分布相对均衡，答案选项分布合理	避免模型训练时的类别偏置问题，提升模型泛化能力
中文原生	全部内容采用中文表述，符合中医药领域术语习惯	更适用于中文中医AI模型的训练与评测

数据样例

说明：由于文章格式限制，以下仅展示元数据样例。实际数据集中每条记录均配有完整的高清原始图像文件（存储于tcm_bench_images目录），可供直接使用。

样例1：中药饮片识别（TCM Patent）

{
  "image": ["tcm_bench_images/0001.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "巴戟肉",
    "B": "盐巴戟天",
    "C": "制白附子片",
    "D": "生白附子片"
  },
  "answer": "巴戟肉",
  "answer_idx": "A",
  "category": "TCM Patent"
}

样例2：中药饮片识别（TCM Patent）

{
  "image": ["tcm_bench_images/0033.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "百部段",
    "B": "对叶百部",
    "C": "蜜百部",
    "D": "香港百部"
  },
  "answer": "百部段",
  "answer_idx": "A",
  "category": "TCM Patent"
}

样例3：中药材识别（TCM Material）

{
  "image": ["tcm_bench_images/1119.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "温郁金",
    "B": "片姜黄",
    "C": "广西莪术",
    "D": "蓬莪术"
  },
  "answer": "温郁金",
  "answer_idx": "A",
  "category": "TCM Material"
}

样例4：中草药识别（TCM Herb）

{
  "image": ["tcm_bench_images/2239.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "美舌藻",
    "B": "海带",
    "C": "海蒿子（海藻）",
    "D": "冬虫夏草"
  },
  "answer": "美舌藻",
  "answer_idx": "A",
  "category": "TCM Herb"
}

样例5：舌诊分析（Tongue）

{
  "image": ["tcm_bench_images/3339.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "腻苔",
    "B": "腐苔",
    "C": "滑苔",
    "D": "燥苔"
  },
  "answer": "腻苔",
  "answer_idx": "A",
  "category": "Tongue"
}

样例6：舌诊分析（Tongue）

{
  "image": ["tcm_bench_images/3400.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "白色",
    "B": "黄色",
    "C": "灰黑色",
    "D": "红色"
  },
  "answer": "白色",
  "answer_idx": "A",
  "category": "Tongue"
}

样例7：手诊分析（Palm）

{
  "image": ["tcm_bench_images/4107.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "涡纹",
    "B": "流纹",
    "C": "弓形纹",
    "D": "螺旋纹"
  },
  "answer": "涡纹",
  "answer_idx": "A",
  "category": "Palm"
}

样例8：手诊分析（Palm）

{
  "image": ["tcm_bench_images/4200.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "中指",
    "B": "食指",
    "C": "无名指",
    "D": "小指"
  },
  "answer": "中指",
  "answer_idx": "A",
  "category": "Palm"
}

样例9：眼诊辨证（Eye）

{
  "image": ["tcm_bench_images/4747.jpg"],
  "question": "根据图片所示，该患者眼睑的颜色，下列哪项描述最准确？",
  "options": {
    "A": "红色",
    "B": "淡白",
    "C": "黄色",
    "D": "青色"
  },
  "answer": "红色",
  "answer_idx": "A",
  "category": "Eye"
}

样例10：眼诊辨证（Eye）

{
  "image": ["tcm_bench_images/4800.jpg"],
  "question": "根据图片和郑氏望眼辨证，该眼部信息提示可能存在哪个脏腑的问题？",
  "options": {
    "A": "肝",
    "B": "心",
    "C": "脾",
    "D": "肾"
  },
  "answer": "肝",
  "answer_idx": "A",
  "category": "Eye"
}

样例11：推拿手法（Tuina）

{
  "image": ["tcm_bench_images/5462.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "按揉法",
    "B": "推法",
    "C": "滚法",
    "D": "拿法"
  },
  "answer": "按揉法",
  "answer_idx": "A",
  "category": "Tuina"
}

样例12：推拿手法（Tuina）

{
  "image": ["tcm_bench_images/5500.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "拇指",
    "B": "食指",
    "C": "中指",
    "D": "无名指"
  },
  "answer": "拇指",
  "answer_idx": "A",
  "category": "Tuina"
}

样例13：全息诊断（Holism）

{
  "image": ["tcm_bench_images/6293.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "苔薄白",
    "B": "苔少",
    "C": "苔黄腻",
    "D": "苔厚"
  },
  "answer": "苔薄白",
  "answer_idx": "A",
  "category": "Holism"
}

样例14：全息诊断（Holism）

{
  "image": ["tcm_bench_images/6400.jpg"],
  "question": "请根据这张图片，判断它属于下面哪一种？",
  "options": {
    "A": "岛纹",
    "B": "十字纹",
    "C": "三角纹",
    "D": "星纹"
  },
  "answer": "岛纹",
  "answer_idx": "A",
  "category": "Holism"
}

样例15：眼诊辨证（Eye）- 复杂辨证

{
  "image": ["tcm_bench_images/4900.jpg"],
  "question": "根据图片所示的眼像特征，该患者最可能患有以下哪种中医证型？",
  "options": {
    "A": "肝火上炎",
    "B": "肝郁脾虚",
    "C": "肝肾阴虚",
    "D": "心火亢盛"
  },
  "answer": "肝火上炎",
  "answer_idx": "A",
  "category": "Eye"
}

应用场景

中医多模态大语言模型训练与评测

TCM-Vision Benchmark数据集可作为中医领域多模态大语言模型的核心训练与评测资源。该数据集包含7204条高质量的图像-文本问答对，覆盖中药识别、中医诊断、治疗手法等多个维度，为构建具备中医药专业知识的视觉语言模型提供了充足的数据支撑。研究人员可利用该数据集对通用多模态大模型进行领域适配微调，使其掌握中医药专业术语、诊断逻辑与图像识别能力。同时，标准化的问答格式与明确的正确答案标注，使该数据集成为评测模型中医视觉理解能力的可靠基准，支持准确率、F1分数等量化指标的评估。通过在该数据集上的训练与测试，可有效提升模型在中医药领域的专业化水平，推动中医AI辅助诊断系统的发展。

中药材与饮片智能识别系统

数据集中3239条中药相关数据（含中药材1020条、中药饮片1119条、中草药1100条）为构建中药材智能识别系统提供了坚实基础。每张图像均配有明确的药材名称标注，涵盖多种易混淆品种（如不同产地的白术、不同炮制方法的百部等），可有效训练模型区分细微差异。该应用场景可延伸至中药材质量检测、智能药房配药、中药材电商平台自动识别等实际业务场景。基于完整原始图像的训练，模型可学习到药材的形态特征、颜色纹理、断面特征等关键识别要素，实现高精度的自动化识别，显著提升中药材流通与使用环节的效率与准确性。

中医舌诊辅助诊断系统

舌诊是中医四诊中的重要组成部分，数据集中768条舌诊数据为开发智能舌诊系统提供了专业资源。数据涵盖舌苔（腻苔、腐苔、薄苔、厚苔等）、舌质（淡白、红、绛、紫等）等多个维度的分类识别，支持模型学习舌象与中医证型的关联规律。基于该数据集训练的模型可部署于中医诊所、健康体检中心等场景，通过拍摄舌部图像自动分析舌象特征，为医师提供辅助诊断建议。完整的原始图像数据确保了模型能够捕捉到舌色、苔质、舌体形态等细微特征，提升诊断的准确性与可靠性，推动中医诊断的客观化与标准化进程。

中医眼诊与全息诊断智能分析

数据集中1726条眼诊与全息诊断数据（眼诊715条、全息诊断1011条）支持构建基于中医理论的智能诊断系统。眼诊数据涵盖眼部颜色、血管形态、眼睑特征等多个观察维度，与肝、心、脾、肺、肾等脏腑辨证相关联；全息诊断数据则整合了舌、甲、掌等多部位信息，体现中医整体观念。该数据集可用于训练模型识别眼象、甲象等特征与中医证型的对应关系，开发面向亚健康人群、慢性病患者的中医体质辨识与健康管理工具。完整的高清图像数据使模型能够学习到细微的眼部血管变化、色素沉着等诊断特征，为中医特色诊断技术的现代化应用提供数据支撑。

推拿手法教学与智能评估

数据集中831条推拿数据涵盖多种推拿手法（按揉法、推法、滚法、拿法等）与操作部位（拇指、掌根、肘部等），为推拿教学与智能评估系统开发提供了专业数据。该数据集可用于训练模型识别推拿手法的类型、操作部位与力度特征，支持开发推拿教学辅助系统，帮助学员规范操作手法。在临床应用层面，可构建推拿治疗质量监控工具，通过图像分析评估手法的规范性与一致性。完整的操作图像数据使模型能够学习到手法的姿态特征、接触面积、运动轨迹等关键要素，为中医推拿技术的传承与标准化提供技术支持。

中医知识图谱构建与推理

数据集中丰富的中医药实体（药材名称、证型名称、手法名称等）与实体间关系（图像-名称对应、症状-证型关联等）为中医知识图谱构建提供了结构化数据基础。通过抽取数据中的实体与关系，可构建涵盖中药、诊断、治疗等领域的知识图谱，支持中医知识的结构化存储与推理应用。结合图像数据，可进一步构建多模态知识图谱，实现视觉信息与知识语义的融合。该知识图谱可应用于中医智能问答、知识检索、临床决策支持等场景，推动中医知识的数字化传承与智能化应用。

结尾

TCM-Vision Benchmark数据集作为专业的中医药多模态视觉问答评测基准，以其7204条高质量数据、7大核心类别覆盖、完整原始图像资源与标准化标注体系，为中医人工智能研究提供了宝贵的数据资产。该数据集不仅填补了中医药领域大规模多模态数据集的空白，更为中医AI模型的训练、评测与应用奠定了坚实基础。数据集中包含的完整原始图像文件是其核心优势所在，使研究人员能够基于真实的视觉内容进行深度学习模型的开发与优化。无论是构建中医多模态大语言模型、开发智能诊断辅助系统，还是推进中医知识图谱建设，该数据集都能提供强有力的数据支撑。随着人工智能技术在中医药领域的深入应用，TCM-Vision Benchmark将持续发挥其价值，助力传统中医药智慧与现代科技的深度融合，推动中医药事业的创新发展。如需获取更多关于该数据集的详细信息或探讨合作可能，欢迎私信联系。