COCO-CN:为多语言图像任务设计的双语图像描述数据集
在人工智能的视觉语言领域,多语言能力是一个重要的研究方向。COCO-CN数据集是一个双语图像描述数据集,它通过为MS-COCO数据集中的图像添加手动编写的中文句子和标签,为图像标注、描述和检索等多语言任务提供了丰富的资源。
关键技术元素:
双语图像描述:包含中文和英文描述的MS-COCO图像数据集。
手动编写的中文句子:数据集中包含手动编写的中文句子和标签。
机器翻译:包含百度机器翻译的中文句子。
多任务应用:适用于图像标注、描述、检索等跨语言设置的任务。
数据集描述:
数据集版本:201805版本,包含20,341张图像,分为训练集、验证集和测试集。
中文句子:22,218条手动编写的中文句子和5,000条手动翻译的句子。
数据获取:数据可应请求免费提供,需要通过Google表单提交请求。
数据集结构:
图像特征:提供ResNext-101预计算的图像特征。
结果查看器:COCO-CN-Results-Viewer,一个由Tilburg University的Emiel van Miltenburg开发的工具,用于检查不同图像描述系统在COCO-CN测试集上的结果。
额外测试集:包含NUS-WIDE100的额外测试集。
更新进度:
引用信息:
如果您发现COCO-CN数据集对您的研究有用,请考虑引用以下论文:
- Xirong Li, Chaoxi Xu, Xiaoxu Wang, Weiyu Lan, Zhengxiong Jia, Gang Yang, Jieping Xu, COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval, IEEE Transactions on Multimedia, Volume 21, Number 9, pages 2347-2360, 2019
数据集地址:
对于想要获取coco-cn数据集的研究人员和开发者,可以访问以下链接:
通过上述内容,我们可以看到COCO-CN数据集的主要技术元素包括其为MS-COCO数据集提供的双语描述,以及对多语言图像处理任务的支持。这些元素共同构成了数据集的核心特性,使其成为一个在跨语言视觉语言处理领域非常有用的工具。