COCO-CN:为多语言图像任务设计的双语图像描述数据集
来源: | 作者:DE.Tech | 发布时间: 2024-05-09 | 357 次浏览 | 分享到:

COCO-CN:为多语言图像任务设计的双语图像描述数据集

    

    在人工智能的视觉语言领域,多语言能力是一个重要的研究方向。COCO-CN数据集是一个双语图像描述数据集,它通过为MS-COCO数据集中的图像添加手动编写的中文句子和标签,为图像标注、描述和检索等多语言任务提供了丰富的资源。

关键技术元素:

  1. 双语图像描述:包含中文和英文描述的MS-COCO图像数据集。

  2. 手动编写的中文句子:数据集中包含手动编写的中文句子和标签。

  3. 机器翻译:包含百度机器翻译的中文句子。

  4. 多任务应用:适用于图像标注、描述、检索等跨语言设置的任务。

数据集描述:

  • 数据集版本:201805版本,包含20,341张图像,分为训练集、验证集和测试集。

  • 中文句子:22,218条手动编写的中文句子和5,000条手动翻译的句子。

  • 数据获取:数据可应请求免费提供,需要通过Google表单提交请求。

数据集结构:

  • 图像特征:提供ResNext-101预计算的图像特征。

  • 结果查看器:COCO-CN-Results-Viewer,一个由Tilburg University的Emiel van Miltenburg开发的工具,用于检查不同图像描述系统在COCO-CN测试集上的结果。

  • 额外测试集:包含NUS-WIDE100的额外测试集。

更新进度:

  • 发布了跨语言图像标注和描述的代码。

  • 发布了跨语言图像检索和图像注释系统的代码。

  • COCO-CN论文被T-MM期刊接受为常规论文。

  • 发布了通过iCap交互式图像描述系统收集的新注释(4,573张图像和4,712条手动编写的句子)。

引用信息:

如果您发现COCO-CN数据集对您的研究有用,请考虑引用以下论文:

- Xirong Li, Chaoxi Xu, Xiaoxu Wang, Weiyu Lan, Zhengxiong Jia, Gang Yang, Jieping Xu, COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval, IEEE Transactions on Multimedia, Volume 21, Number 9, pages 2347-2360, 2019

数据集地址:

对于想要获取coco-cn数据集的研究人员和开发者,可以访问以下链接:

通过上述内容,我们可以看到COCO-CN数据集的主要技术元素包括其为MS-COCO数据集提供的双语描述,以及对多语言图像处理任务的支持。这些元素共同构成了数据集的核心特性,使其成为一个在跨语言视觉语言处理领域非常有用的工具。


返回
深度元素科技,您的信赖之选