近日，微软研究人员开发了一种AI系统，通过模仿人类增进对世界了解的方式来训练图像-文本对，即人工智能的一种。
Unified VLP ：“一群人撑着伞站在雨中。”
Question ：“他们穿的都一样吗”？
Unified VLP : “是的。”
众所周知，没有详细的随附注释，机器人很难理解场景和语言。
但是标记通常耗时久、成本高，且最好的标记也只能传达对场景的理解，不能传达对语言的理解。
为了解决该问题，微软开发了此系统。
研究人员表示，单模型编码器/解码器视觉语言预训练（VLP）模型既可以生成图像描述，又可以回答有关场景的自然语言问题，为将来可能达到人类同等水平奠定了基础。
GitHub上提供了使用三百万个图像-文本对进行预训练的模型。
GitHub：https://github.com/LuoweiZhou/VLP
“对周围世界的感知是我们从小就开始学习的一种技能……我们与身体环境的互动越多……就越能理解和使用语言来解释存在的事物”微软高级研究员Hamid Palangi在博客中写道。
“另一方面，对于机器而言，场景理解和语言理解非常具有挑战性，特别是在弱监督的情况下，本质上来说，能够被间接学习的人很好地利用。”
正如Palangi及其同事所解释的那样，图像字幕和视觉问答质量算法通常表现不佳，原因如下：
（1）无法利用上下文描述图像并进行推理；
（2）没有利用大规模的训练数据进行预训练；
（3）架构在设计语言，视觉对齐和语言生成任务时表现不佳。
该团队对包含编码器（学习给定数据的数字表示形式）和解码器（将编码器的表示形式转换为人类可解释的信息）的架构进行了预训练，并针对两种预测进行了优化。
研究人员表示，该架构最终创建了更好地对齐的编码器和解码器表示形式，使他们可以用相同的模型来实现不同的目标，如图像字幕和视觉问题回答。
微软发布新AI：能生成图像描述，还能回答场景相关问题
研究人员评估了VLP在公开基准（包括COCO，Flickr30K和VQA 2.0）上对图片进行说明和推理的能力。
研究人员表示，VLP不仅在几个图像标题和视觉问题回答指标方面优于最新模型，而且还设法回答了与先前模型有关的图像问题（例如与服装设计相似的图像），而之前只接受过语言训练的模型很难回答这些问题。
“通过智能模型设计和智能数据选择，我们可以利用现有的公共资源，在语言和场景理解方面达到更高的水平，VLP就是证明，” Palangi写道。
“通过VLP，我们展示了统一模型在语言和场景理解水平的潜力，这是成功完成各种不同的下游任务所必需的——单个模型在不牺牲性能的情况下高效地完成多个任务。
这意味着更有效，更强大的视觉语言系统，无需花费多个单独训练的模型来达到相同的目标。”
在未来的工作中，该团队将强化模型的架构，同时在预训练期间添加更多数据。
