UC伯克利提出新型视觉描述系统,物体描述无需大量样本

机器之心   2017-08-13 11:10

选自BAIR

作者:Subhashini Venugopalan、Lisa Anne Hendricks

机器之心经授权编译

参与:路雪

现在的视觉描述只能描述现有的训练数据集中出现过的图像,且需要大量训练样本。近日,UC 伯克利提出一种新型视觉描述系统,无需成对的新物体图像和语句数据就可描述该物体。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

给出一个图像,人类可以轻松推断出其中最明显的实体,并有效描述该场景,比如,物体所处地点(在森林里还是在厨房?)、物体具备什么属性(棕色还是白色?),以及更重要的一点:一个物体如何与其他物体互动(在地上跑,还是被一个人抓着等等)。视觉描述的任务旨在开发为图像中的物体生成语境描述的视觉系统。视觉描述正面临挑战,因为它不仅需要识别物体(熊),还要识别其他元素,如动作(站立)和属性(棕色),并构建一个流畅的句子来描述物体、动作和属性在图像中的关系(如一头棕熊站在森林里的一块岩石上)。

视觉描述的现状

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

LRCN [Donahue et al. '15]:一头棕熊站在绿色的地面上。

MS CaptionBot [Tran et al. '16]:一头大棕熊穿行在森林中。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

LRCN [Donahue et al. '15]:一头黑熊站在草地中间。

MS CaptionBot [Tran et al. '16]:一头熊在吃草。

以上为目前描述生成器(captioner)对两幅图片生成的描述。第一幅是训练数据中出现的物体(熊)图像,第二幅是模型在训练过程中未见过的物体(食蚁兽)图像。

当前的视觉描述或图像字幕生成模型效果已经很好,但是它们只能描述现有的图像字幕训练数据集中出现过的物体,且需要大量训练样本来生成好的描述。要学习如何在语境中描述类似「豺」或「食蚁兽」的物体,大多数视觉描述模型需要大量带有对应描述的豺或食蚁兽样本。但是,当前的视觉描述数据集,如 MSCOCO,不包含对所有物体的描述。与之相反的是,近期使用卷积神经网络(CNN)的目标识别工作能够识别出数百种类别的物体。尽管目标识别模型能够识别豺和食蚁兽,但是描述模型不能生成这些识别动物在语境中的准确描述语句。我们构建的视觉描述系统克服了这一难题,该系统无需成对的新物体图像和语句数据就可描述该物体。

任务:描述新物体

这里,我们正式地定义一下我们的任务。给定一个包含成对图像和描述(图像-句子对数据,如 MSCOCO)的数据集以及带有物体标签但没有描述的图像(非成对图像数据,如 ImageNet),我们希望能够学习如何描述在图像-句子对数据中未出现的物体。为此我们必须构建一个模型,该模型能够识别不同的视觉要素(如豺、棕色、站立和地面),并用新的方式将其组合成流畅的描述。以下是我们的描述模型的关键模块。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

我们的目标是描述训练图像中的多种物体。

使用数据的外部资源

为了给图像-字幕训练数据之外的多种物体生成描述,我们利用了外部数据源。具体来说,我们使用带物体标签的 ImageNet 图像作为非成对图像的数据源,将没有标注的文本语料库(如 Wikipedia)中的句子作为我们的文本数据源。它们分别用于训练我们的视觉识别 CNN 和语言模型。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

在外部资源上进行高效训练

捕捉语义相似度

我们希望能够描述在图像-句子对训练数据中未见过但与之类似的物体(如 ImageNet 中的物体)。我们使用密集词嵌入(dense word embedding)来达到该目的。词嵌入是词密集的高维表征,意义接近的词在嵌入空间中比较接近。在我们之前的工作「深度合成字幕(Deep Compositional Captioning,DCC)」[1] 中,我们首次在 MSCOCO 成对图像-字幕数据集上训练字幕模型。然后,为了描述新物体,我们对于每一个新物体(如霍加狓鹿)都使用词嵌入方法来确定一个在 MSCOCO 数据集所有物体中与新物体最相似的物体(在此案例中该物体是斑马)。之后,我们将该模型学得的参数从已见过的物体传输(复制)到未见过的物体(即将斑马对应的网络权重复制到霍加狓鹿)。

新物体字幕生成

DCC 模型能够描述多个未见过的物体类别,而将参数从一个物体复制到另一个物体可以创造符合语法的句子,如物体「网球拍」,模型从「网球」复制权重至「网球拍」,生成句子如「一个男人在球场打网球拍」。在我们近期的工作 [2] 中,我们直接将词嵌入纳入我们的语言模型。具体来说,我们在语言模型的输入和输出中使用 GloVe 嵌入。这使得该模型在描述未见过的物体时悄悄地捕捉语义相似度,进而生成句子,如「一个网球运动员挥舞球拍击球」。另外,直接将词嵌入纳入网络使我们的模型可以进行端到端的训练。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

将密集词嵌入纳入语言模型以捕捉语义相似度。

字幕模型和神经网络中的遗忘问题

我们将视觉网络的和语言模型的输出与字幕模型联合起来。该模型与现有的 ImageNet 预训练字幕模型相似。但是,我们观察到尽管该模型在 ImageNet 上接受预训练,当该模型在 COCO 图像-字幕对数据集上进行训练/微调时,它倾向于遗忘之前见过的物体。蒙特利尔和 Google DeepMind 的研究者也观察到了神经网络中的遗忘问题。我们在研究中,使用联合训练策略可以解决遗忘问题。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

在不同的数据/任务上共享参数、联合训练,以克服「遗忘」问题

具体来说,我们的工作包含三个部分:一个视觉识别网络、一个字幕模型和一个语言模型。这三个部分共享参数,共同训练。在训练过程中,每一批输入包含部分带标注的图像、一系列图像-描述对,以及部分句子。这三种输入训练网络的三个部分。由于三个部分共享参数,所以该网络接受联合训练,以识别图像中的物体、生成图像字幕和句子。联合训练帮助该网络克服遗忘问题,使模型能够对很多新的物体类别生成描述。

未来会怎样?

我们的模型中最常见的一个错误是无法识别物体,一种缓解方式是使用更好的视觉特征。另一个常见错误是生成的句子不够流畅(A cat and a cat on a bed)或不符合「常识」(如:「A woman is playing gymnastics」不完全正确,因为一个人无法「play」gymnastics,动词搭配不当)。提出这些问题的解决办法应该会很有趣。尽管我们在该研究中提出把联合训练作为克服遗忘问题的策略,但是在大量不同任务和数据集上训练模型并不总能够实现。另一种解决方法是构建一个基于视觉信息和物体标签生成描述的模型。这样的模型还能够在计算机运行中集成物体,即当我们在选中的物体集合上对模型进行预训练时,我们还应该思考如何渐进地在具备新概念的新数据上训练模型。解决这些问题可以帮助研究者开发出更好、更鲁棒的视觉描述模型。

UC伯克利提出新型视觉描述系统,物体描述无需大量样本

内容推荐
更多阅读

· 馆藏品鉴|元天历刻本《唐书》

· 二胎再怀女孩儿,婆婆对孕妇的态度让邻居们另眼相看

· 不是谁都认识“珍惜”两个字

· 种的是黄桃,收的是“黄金”

· 三国名人籍贯盘点,看看你和哪些三国名人是老乡?

· Uber创始人雇了一家公司帮他修复形象 卷土重来的节奏?

· 「7月大盘点」你不应错过的十大“热点”微信

· 停车不想被划?记住以下几点,不然被划都没处喊冤!

· 日系三杰:雅阁、凯美瑞、天籁真的没人买了吗?

· 成功女翻男,B超是女孩婆婆叫我流掉,剖出胖小子她都合不拢嘴了

· 终于知道影版三生为什么遭吐槽,致命缺陷在这,大多数人都没发现

· 中国足坛五大旗帜球员,一人入选英名人堂,一人留4年23球纪录

· Respawn:《泰坦天降2》卖的不错,但本该更好

· 钦定uzi接班人,未赛先成名?走a怪是强,但强的有限

· 三国时期,魏国鱼豢著《典略》说刘备本是临邑侯枝属,可能吗

· 在古代当个官有多累?哪个朝代早朝结束就可以回家睡大觉?

· 65岁农村大妈卖梨子赚钱不惧高温 40多岁儿子今天破例没陪妈

· 《火星情报局3》最新一期薛之谦回归景甜也来了!收视率上升!

· 号称是东方《冰与火之歌》的《海上牧云记》演员角色揭秘

· 败笔之作 斯柯达柯迪亚克

· 中美两市大跌墨西哥市场超丰田,现代放弃中国市场?

· 马塔将把工资的1%捐给慈善,并呼吁队友们加入

· 湖人腾七千万空间,等待詹姆斯“决定三”这是他唯一反超科比机会

· 张津镭:非农周结束,黄金下周操作建议

· 世界上最开放的国家荷兰的文化

· 抗战老兵刘支球出殡 曾率机枪队痛扫日军 国民党以党旗覆棺致敬

· 老人病重之后

· 男子好奇钻进涵洞 遭水流冲出大难不死

· 在什么情况下才能开双闪灯?

· 电子警察拍照扣分原理分析,明白以后再也不用担心开车被拍照了

· 黄斌汉:一次讲话IPO就降了?他值A股三万点!

· 名模克洛伊古德曼在特内里费岛度假

· 叶神coser,混乱之雨,你的千机伞,真的很避雷!

· 三岁男孩还不断奶,邻居好心提醒,妈妈的话叫大家无言以对

· 张玉宁,下一个张稀哲?不莱梅发胶型前锋VS狼堡销售型中场

· 8月5日全国玉米价格行情,玉米价格还会跌么

· 西南地区首家民营医院肺科中心成立

· 习近平“医术高明”

· 银都股份IPO“闪电”过会或涉嫌虚增境外收入

· 埃及供应部否认将取消月收入超过1500埃镑者的补贴卡

· 爱摄影:孙允珠秀身材,同色搭配,简单素净

· 英雄传说闪之轨迹PC版全屏设置方法 闪之轨迹怎么设置全屏

· 此人在司马炎称帝之后,在夷陵出奇招让西晋吃了一场大败仗

· 一直喝酒喝不醉的妹子

· 如果你遇到这三种人,请务必感激

· 卫冕冠亚军都退出美网,费德勒有望一年三捧大满贯

· 农民朋友注意,拆迁新规来了,这3种拆迁行为被禁止!

· 电影里踩上不炸,抬脚才炸的松发地雷,战场上真的存在吗?

· 「韩娱」8千名韩国网友选出的最漂亮的女团成员TOP10出炉!看看有你的本命吗?

· 苹果要造车,考虑在华投产纯电汽车,与中国电池供应商谈判

· 女排又一新人通过验收!23岁冠军二传获新帅朱婷齐称赞

· 吴晓波:对痴迷房产的中国人来说,灰犀牛比黑天鹅恐怖1万倍

· LPL封神榜,看三皇五帝八贤王如何横扫LPL赛场

· 他一手拉开三国乱世的序幕

· 揭秘中国古代十大名剑

· 原发性肝癌预防的那点事儿

· 人生就是这样的跌宕起伏

· 《我的前半生》突然宣布,最有背景的原来是白光,难怪每集都有他

· 我们来了2第一期:素人比明星更抢镜,汪涵这句话让关之琳尴尬了

· 苹果准备推出新手表:能打电话 芯片来自英特尔

· 【原创】绕道海外,国内资本巨头收购德国汽车轻量化企业,这家A股公司却“养在深闺人未识

· JDG对战NB:中单飞机这是什么鬼伤害?

· 姐妹俩为了钱财,最后连命都拼上了

· 高温下农民工站着就能睡着 工头一再提醒一睡就再也醒不了了

· 6大明星指名道姓拒绝合作,一人直言对方只是个花瓶不会演戏!

· “哈飞汽车制造”诞生背后:哈飞以资质、品牌入股,背水一战

· 拳击第一天才洛马琴科称重结束,明日决战重炮手

· 留加学生须防电话诈骗 嫌犯扮领馆人员索个人资料

· 朱元璋为权杀臣却能容忍他七年?他是谁?

· 夏季虾蟹池塘水质不良?大家都在这么干!

· 蒙恬自杀后,蒙氏后人都去了哪里?

· 《快乐男声》黄榕生失信于洪雨雷,踢馆成功后,表示赢得不光彩

· 日本第一个未成年死刑犯,闯入家中尸奸妇女并摔死幼婴,惨绝人寰

· 趣味推箱子:Blicke

· 赵匡胤黄袍加身后,立了一块三行字的石碑,保宋朝300年江山

· 读书越多,颜值越高

· 我发现了养猪致富的宝藏!谁能打开它,就可以靠养猪赚钱

· 《河神》注意12集11分25秒这个镜头,网友都说:没看明白

· 美上将询问中国将建几艘航母,我海军上将的回答太幽默了!

· 别担心孩子将来不好看,有这几个特征将来肯定长不残!

· 农村常见这种草,专治膝盖,疼颈椎病,一用一个准

· 我们吃得有多脏?葡萄干、臭豆腐、小龙虾、麻辣烫……

· 未来十年内,农村男青年的婚姻或成“老大难”,农村人要重视!

· 埃隆·马斯克的超级高铁计划和最初的设想可能有所不同

· 50℃战车舱内没有空调士兵怎样消暑?这一构造解决舱内高温问题

· 杜特尔特:如果你们比我聪明,为什么做总统的是我?

· 《飞碟探索》——解读宇宙奥秘

· 看完,我的前半生,要明白的几段话

· 曾被喊话滚出娱乐圈的十大明星们,如今都逆袭!

· 国内最强的6家自主汽车工厂 德系三宝都不敢不防

· 限定版豪车!连王思聪都没有,揭秘电竞主播们的豪车

· 洗洁精可以洗水果吗 洗洁精清洗果蔬的正确做法

· 这些5种常见食物,是血管垃圾的“清洁工”,保护血液健康

· 走入“吴敦义时代”的国民党却出现“两个太阳” 洪秀柱:俩不够

· 瓦城地底突然发现好多玉石,市民瞬间沸腾,纷纷挖宝去

· 华为入选国家品牌计划 成手机企业独苗

· 够脏!世锦赛三国队员联合“下黑手” 法拉赫宣布不再跑万米

· 为何将马蒂奇卖给曼联?孔蒂:你得去问俱乐部

· 妈,不是我想让八十岁的你流落街头,这是你偏心的报应啊

· 泡水车原来是这样翻新的,去买车的兄弟们,要注意了!

· 米兰CEO:锋线引援目标六人!谁才是最适合的X先生?

· “胭脂水粉”遇到了“气垫BB”

· 英国VS美国,谁是最不会吃的国家?

· 做人,必备的四种心机!

· 岳母要20万彩礼,爸妈砸锅卖铁凑齐,我儿子满月她送一份大礼

· 孩子有这3个“坏毛病”,恰恰说明他很聪明,妈妈别嫌孩子烦了

· 牛蒡晒干可以泡水喝吗 牛蒡茶一天喝多少合适

· 农村九十岁老太太讲了一个故事,一大堆人听了笑翻了!

· 生日祝福语大全,值得抄下来

· 足球马拉松,一踢20年-职业生涯超长球星,布冯、马尔蒂尼领衔

· 奥迪刷新在华7月销量记录 售出5.12万辆增长10.3%

· 伦敦世锦赛 | 男子万米决赛:莫·法拉赢得最吃力的一场恶战

· 北京国安离进军亚冠有多远 中超七轮之后将见分晓

· 月薪三万,为什么撑不起孩子的一个暑假

· 洪森:反对党別想获多个参议院高职

· 日本街头自带freestyle的中文,到底有多奇葩,保证笑到腹肌出!

· 魂斗罗归来8.8公测倒计时3天 曝全新3V3

· 秦桧后世拒绝秦桧跪拜岳飞母亲墓!已跪岳飞千年,何须跪岳母?

· 奥尼尔因罚球不准憾失完美,乔丹科比詹姆斯又被上帝剥夺了什么?

· 子女不养老被母亲告上法庭 法院判每月付赡养费

· 防风险之江西样本:十几部门“拉网式” 盯防重点企业

· 正能量语录:人生很艰辛,可还是要经常给自己打气

· 考古最新:(稍重口)北极附近现900年前保存完好的极地公主

· 英国人每人每年平均犯法32次,贴邮票、放风筝、偷wifi,敲门都算犯法!

· 一个妈妈的自述:我是如何让幼儿园的女儿成了班级的“透明娃”

· 一个吻把宝宝亲成了脑瘫!表达爱的方式千万种,别再随便亲孩子!

· 鸭肉和什么一起吃最好 鸭肉不能和什么一起吃

· 一悲一喜一枉然,一嗟一叹一轮回,一寸相思一寸灰!

· 10万本田车,哥瑞在锋范面前还能再坑一点吗?

· 基金经理一拖多愈演愈烈

· 山寨UA要死了,但UA自己也病得不轻|商圈

· 两架KODIAK 100获航摄系统改装STC证件

· 中国最古老的城市,不差钱为啥不建机场

· 揭秘挑起“七七事变”的那位“被消失”的日本人,最终下场如何

· 科学家沙漠中研究登录火星后的饮食问题,不但种出了粮食还有辣椒

· 盘点票房赔到底的口碑影片,你看过几部?

· 他们同是娱乐圈里的富二代,一个天天炫富,一个却如此的低调

· 中超提点:阵容不整体能堪忧 苏宁主场难胜

· 西部各省市区上半年经济数据观察

· 四川云南交界有座仙境,美得无法形容!重点是夏日避暑地一抹多!

· 空中巾帼显威抗美援朝战场

· 洛马公司新一代太空望远镜技术SPIDER首批实验成像公布

· 农村夫妻路边卖“宫廷御品”特色美食,23元一斤不愁卖

· 爱过,句句灼心

· 权力的游戏第七季第四集,龙母团灭兰尼斯特,波隆上演射龙英雄传

· 球星背后的她-第37期:上港队长妻子是申花球迷

· 二战德军投降前自沉200多艘军舰,不为敌人所获的传统来自一战

· 印度最值得称赞的地方,令人唏嘘

· 欧美超模海边晒日光浴,黑色连体泳衣凸显诱人身材

· 这顿晚饭花了11块,你是觉得贵还是便宜,这种调调你是否喜欢?

· 三河古镇一个永远让正阳人心痛的地方,为何前者光彩照人,后者蓬头垢面~

· 网传广西首批宫颈癌疫苗下周抵达,什么时候可以接种?

· 六合彩幽默故事-升棺发财

· 横店群演中要想分得一杯羹,长相很重要,其次还要深谙规则

· 五道智力题,考验智力和眼力,脑子不用都要生锈了!

· 吴敦义删“和平协议”引发党内忧虑 两岸论述重“异”趋近绿营

· 女人三十,废寝忘食!

· 终极PK?谁才是真正的烂片导演之王!

· Lastpass新计划引众怒:年费增一倍 新用户移除共享文件夹功能

· 32岁穷到老婆跑了,失业没文凭,现比肩盖茨身家500亿美金

· 清凉避暑|大邑的这些地方才是夏日里的“天然空调房”

· 卧底 | 1024

· 惨痛!一家7口开车冲进河里,父母脱险5名子女全部落难!

· 无用阶级,一个充满负能量的词

· 五年日系护肤!价格门清,详说SK、CPB等7品牌本土专柜价!

· 有多OP?迦娜护盾配合香炉可在中期取得4500经济的数据收益

· 腾讯与华为数据之争,请注意用户信息安全的边界

· 一字母之差 LED和OLED技术区别在哪?

· 新星房车小知识库|房车上牌需注意什么

· 中国山寨食品大盘点,来看看你们都吃过哪些?

· 中美若爆发贸易战,中国人需警惕这6个投资机会!

· 中国最大常规潜艇这次出动又要射新导弹,巴铁要买两艘震慑老对手

· 钱学森眼里的年轻人:“北斗之父”孙家栋

· 潮炸天的10个时髦款 我用5块钱帮你找到了平替

· 揭秘苏武拒降背后的真相是什么 苏武品质有哪些

· 谁放的屁“好臭哦”你今天放屁了吗?建议大家“有屁尽情放”

· 我的特斯拉梦 谈MODEL S提车始末

· 济源殡仪馆死者遗体“张冠李戴” 家属质疑管理混乱急报警

· 鹿邑一农民科学家因心系环卫工人 获国家专利

· 他是观众眼中的荧幕硬汉,真实身份却很少有人知道

· 娱乐圈嫁给爱情的女星,网友:受到万点暴击伤害,这碗狗粮我干了

· 迷茫的年轻人,从20岁到70岁,马云都已经帮你规划好了!

· 伊万卡,一个集女神,慈母,贤妻,女强人一身的新时代女性典范

· 户外骑行旅游,累趴后如何快速“满血复活”?小绝招高效实用

· 这种常见的红果果,5块钱能买一大筐,保健功能非常强大!

· 梦幻西游175五开边玩几率边刷经验 直到全号化圣

· 博阿斯:联赛再战,望延续好状态再次战胜权健

· 搞趣网:诛仙手游蓬莱仙境最后一关应龙BOSS击杀指南

· Little Orbit解释接手的《Unsung Story》烂摊子:不可能变得更糟

· 自古乱世出英雄,中国古代的12位武将盘点,你更喜欢谁?

· 9月入园倒计时!宝宝入园攻略一定要收藏

· 2017年流行的4大骗局,请大家谨慎了

· 孙红雷比邓超逗比?揭秘《跑男》PK《极限挑战》落败的原因

· 生涯第21季!天王暗示明夏不退役!能成历史第5

· 4000多人企业一年离职1300人!离职率为何高达34%?

· 广南县板蚌乡等8 个乡镇生活垃圾收集及清运设备工程公开招标公告

· 看完这些图,你还想去迪拜打工吗

· 西部战区76军某陆航旅联合某特战旅开展陌生地域机降等训练

· 你知道哪些中国车型在埃及汽车市场上比较畅销吗?

· 这是历史最大黑马,差点一黑到底!99年的尼克斯做到了什么?

精彩图片