Reddit热门话题:你是否也对NLP的现状感到失望?

机器之心   2017-11-14 14:52

选自Reddit

机器之心编译

参与:李泽南、黄小天、刘晓坤

众所周知,自然语言处理(NLP)与计算机视觉(CV)是人工智能的两大热门领域。近年来,随着深度学习等技术的发展,计算机视觉领域发展很快,越来越多的应用开始落地。与之相比,NLP 领域目前的进展如何?昨天,有人在 Reddit 上发出了疑问:是否我们和 NLP 的突破之间还有很长一段距离?这个问题引发了人们的热烈讨论。

问题

Reddit热门话题:你是否也对NLP的现状感到失望?

我现在对于自然语言处理(NLP)领域的进展稍感失望。

在 2014 年-2015 年期间,NLP 上有许多有趣的发展方向:外部存储器(external memory)、推理、无监督/半监督学习、聊天机器人、问答系统、为图像生成文字描述……然而在今天,其中的很多似乎没有多少进展,而人们研究的热点纷纷转向了 GAN 和强化学习。

你觉得是这样吗?谈论 NLP 领域的突破是否为时尚早?

Reddit热门话题:你是否也对NLP的现状感到失望?

回答与讨论

Jean-Porte:当前最优结果正稳步增长。一些结果令人印象深刻,比如在 SNLI 上表现超越人类的最佳方法,尽管我不认为这是人类的真实水平。无监督学习在 NLP 中获得成功(如下所示为两篇介绍无监督机器学习的 ICLR 论文),虽然机器学习会议(ICLR)中的 NLP 论文相当少。很多高效方法也已在开发之中(比如 fasttext)。我认为 2014-2015 期间有很多新的有趣且艰难的问题已解决,并取得了相当好的结果。这一领域在这些问题方面越发成熟,相比以往突破性不大,但肯定有进步。

https://arxiv.org/pdf/1711.00043.pdf

https://arxiv.org/pdf/1710.11041.pdf

hapliniste:我认为真正好的 NLP 要远比我们想的更艰难,也许等到我们实现了通用人工智能(AGI)才会到来(正如语言来自现实世界,不了解这个世界肯定行不通)。

adammathias:你是对的,NLP 非常难。不仅仅是任务难(当然这样也要看我们选择的任务),分析和表征结果更难。很多图像任务中间层的输出的可视化可以获得任何研究委员会、工程经理甚至是纽约时报读者的肯定,就像认可一些计算机艺术一样。

但是作为两个句子的平均的一个句子呢?或者生成自向量空间的一个点?并且这假设训练数据是英文。结果就是一切难上加难。进入门槛越高,即刻的奖励越低。因此很多研究者改变了研究领域,渐渐变的妥协。

作为一个具体实例,向世界顶级研究与工程组织的非常有才华、善意且做事高效的同僚解释为什么Блацк Форест或者тхроугх是不可接受的输出并且是彻底的失败,是一场艰苦异常的战斗。因此,五年之后,这依然存在。并且这是一个很简单的问题,更像是一个数据通道 bug,实际上非常好解决。

hapliniste:没错,我也认为语言处理是一个大难题。假如可以制造一个「hyppocampus」控制网络中的信息路由选择,就能拥有一个开发强大 NLP 的坚实基础,但目前看来还远远无法实现。

我目前对于如何实现「AGI」和 NLP 的观点如下:

需要一种系统,其拥有两种基本结构:函数和表示(类型)。函数就是模型,表示是函数作用的对象(且只能使用一种表示),然后尽可能分解函数,并在其它函数中复用;

需要一种系统,以找到函数的能给出基于输入的正确的输出的路由。它需要在初始表示(比如一张图像)之间找到最好或最短的路由并发送到所要求的表示上(比如文本描述)。所用的表示或类型必须强制网络只使用合理的路径;

可以使用由「hyppocampus」生成的路径,并将其转换为文本描述。这样就能实现一种强大的 NLP 了。

不过也请别太较真,这些都还是未被证明过的观点。

请注意我谈到了「AGI」,但似乎很多人都把 AGI 当做一种进化过程的结果,并且是有生命的。但用我的方法不太可能会实现这种 AGI。它可能更像一个 app 商城,其中人类设计的模型以一种监督方式解决任务(这就是为什么我会称它为「AGI」,而不是 AGI)。

adammathias:至于 2017 年第 4 季度,我们甚至没有尝试。任何真实任务,比如 Nice truck attack、Pope's Baby Steps on Gays、Loving PR 或者省略语言中的一半语句 (今天的实例),没有额外语境的帮助无法完成。但是绝大多数基准不包含语境。即使我们有一些超级神经网络,并在训练和测试中输入这般的字符串,我们也无法期望该网络会工作。某种意义上在给定输入的情况下,今天的机器学习的性能已几近最优。

为了兑现承诺,Google Now 及其他类似应用确实使用了语境,并且 Manning 的斯坦福实验室已经关注首语重复法研究。制作语境数据集也面临挑战,它们必须足够大,但是迁移可能不太好。一旦有了这样的数据集,会涌现出更多有关自然语言的 AGI 研究。

automated_reckoning:这些是绝佳的实例!如此容易地在你心中转变意思非常有趣,这很好地证明了语境的重要性,以及自然语言是多么微妙。

adammathias:实例 The Pope's Baby Steps 来自 Chris Manning:The Future of AI – June 23, 2016 - https://vimeo.com/173057086。

关于神经图片标注:其实那个东西不是 NLP。

关于机器翻译:我们现在只看到谷歌、IBM 微软等公司展示的对话到对话 demo,而其中最引人关注的点是语音识别技术,这意味着它并不全是 NLP。现在湾区的公司有多少真正需要机器翻译的?NMT 真正的用户群是那些不会说英语,但却在工作和生活上需要用到英语的人群。

mljoe:我认为除了计算机视觉中存在的典型堆栈和池化方法以外,我们还需要其他一些东西。上述方法可以抓取物理世界结构的本质(引自 Henry W. Lin 等人的论文《Why does deep and cheap learning work so well?》)。但我认为在自然语言中它们不起作用。我认为 Geoffrey Hinton 的 Capsule 理念或许可以为 NLP 带来新的希望。

Syphon8:让我进一步来说说自然语言处理的本质吧,它和你如何看待一个人有关,这其实和通用人工智能是同一个问题。

或许这只是 Sapir–Whorf 假说的一次复现,但我认为它的可能性很大(Sapir–Whorf 假说:一个关于人类语言的假说,由语言学家兼人类学家 Edward Sapir 及其学生 Benjamin Whorf 所提出,是一个心理学及语言学假说。它认为,人类的思考模式受到其使用语言的影响,因而面对同一事物时可能会有不同的看法)。

任何可以像人类一样处理自然语言的机器都可以拥有相应的观点,同时可以完成其语言中所描述的任务。

同样,任何真正的人工智能都需要有某种程度的处理语言的能力,这样才能与其他智能体进行交互。

torvoraptor:看看最近的论文吧,已经出现无监督神经机器翻译了,我根本不认为 NLP 领域停滞了(《Word Translation Without Parallel Data》:https://arxiv.org/abs/1710.04087)

eMPiko:我不觉得这令人失望,更愿意当作一种警醒。总会有一些人一旦有什么有趣的新发现,就大肆宣扬在什么 20 年内获得通用人工智能。深度 NLP 已经取得很大进步,它使用的是相当通用的和可复用的架构,可以在每一种虚拟的 NLP 任务中达到当前最佳结果。我们在短短几年内就(在某些案例中)超越了过去几十年的研究成果。例如,所有在 2015 年之前使用统计机器翻译的研究进展现在实际上都变得无关紧要了,因为我们已经开始使用数据驱动的编码器—解码器(encoder-decoder)。

Phylliida:我很喜欢那篇论文。可惜的是据我所知,和常规的机器翻译不一样,它不能转移到聊天机器人上。

evc123:NLP 将继续保持颓势,直到情境语言学习(Situated Language Learning)得到应用:https://arxiv.org/abs/1610.03585。

disappointedwithnlp:我并不认为这是当前困境的解决办法。

由于不可能学到比智能体知道的更多的东西,任何从其它智能体学习的智能体都有所局限。任何学习人类的智能体在学习其它东西的时候都必须非常高效地使用样本(sample efficient)。因此,我们首先需要更好的无监督学习获得高效使用样本的能力。

你对 NLP 目前的发展有何看法?欢迎留言进行讨论。

内容推荐
更多阅读

· 纽约时报:多年以前的亚裔学霸们,毕业以后都过得如何?

· 盘点那些傲娇的宠物造型|雪纳瑞造型

· 小伙陪老婆吃火锅,好吃不贵,可惜不能喝酒

· 图虫风光摄影:旅游随拍泸沽湖

· 图虫人像摄影:798某灯光展

· 年度最值得期待电视剧排行榜TOP10

· 蓝军主帅难长久 孔蒂在切尔西的命运已经转折?

· 印度大把美元买战机,只买贵的为啥还被坑?

· 中国十大镇宅之宝

· 动画电影《哥斯拉:怪兽行星》发布“超强武器”预告

· 时光无垠的荒野里遇见你——琥珀历史的由来

· 鸡爪鸡翅烧饼做成的糖葫芦,这“黑暗料理”你吃过吗?

· 图虫摄影:秋天 银杏 人像

· 玉米割苗轻松增产30%!是骗子还是救星?

· 高尔夫和福克斯,二选一,你选谁?

· 控卫詹姆斯致敬NBA上古大神,但难掩骑士一尴尬,心疼韦德罗斯

· 詹皇改打控卫被质疑霸权,欧文离开正因如此,这回应却直接打脸!

· 我的支付宝花呗、借呗被封!希望大家引以为戒!

· 通知公告|提醒中国公民通过合法途径与老挝公民办理结婚登记手续

· 怎样才能买到白菜又实用的外贸服装?这几家店准没错

· 做到这几点,高血压再也不会来烦你!

· 动物图集:身为熊猫 我们肩负着憨态可掬的任务

· 晚清真实老照片:图1让人心酸、图5女子行为让人唾弃、图9很残忍

· 为了残障孩子,30万奖金她全捐出

· 邪教识别方法

· 一家三代五人“渐冻症” 四十年照料无怨无悔

· TCL集团再创22个月新高,6日累涨14%!明日留意这只环保PPP概念股

· 探密牛仔裤色落篇之美国拉夫劳伦RRL原牛16OZ修身直筒养4年洗4次

· 山地车配件大全,有了它组装车简单多了(持续更新……)

· 养宠物到底是猫好还养狗好?听听科学 专家 怎么说(上)

· 容易被忽视的15个癌症早期症状,看看你中招了吗?

· “我们是什么关系你又不是不知道,低调一点不行吗?”

· 中国人民解放军版的千手观音!超震撼!

· 全亚洲最适合亲子游的国家,它排第二,没人敢称第一!

· 你们当年一定有人在课桌上刻过这个图案

· 图虫摄影:百子湾美术馆街区拍摄?

· 奧必概念香港办公室现场实景摄影

· 翻译《几何原本》的徐光启、利玛窦,为什么半途而废

· 去日本看最美的红叶,住最棒的民宿

· 中国乒乓球“梦之队”为何连连失守——创业难,守业更难

· “一带一路”大数据报告发布,国家急需这方面的人才!

· 故事:村里人笑他娶了丑女人,十年后的变化让大家都羡慕

· 精彩的瞬间 走进城子山风景区 奇松怪石古迹林海堪称城子山四绝

· 图虫人像摄影:银杏树下

· 一代人的骄傲,潮汕地区曾经的商业传奇典范-李嘉诚!

· 图虫摄影:游客

· 能将豪华舒适和越野能力完美结合,也只有这款车能做到

· PDD:这次S7总决赛最可恨的是黄牛,一张120的票炒到5000

· 千万不要和情商低的星座去旅行,揭露12星座旅商大排名!

· 香妃真的存在吗?揭秘乾隆的妃子香妃来历

· “唔该,败家仔一杯”港式茶餐厅的术语,你又知几多?!

· 3万块的包我自己买,你给我写情书就好

· 世界上五大最奢华的铁路旅行,领略绝美的风光,探索各种文化古城

· 图虫风光摄影:浦江的秋色

· 内蒙谷子大丰收,产量增两成收入却减四成,农民不知道明年种什么

· 除了西藏,国内这些名山高铁都能直达!

· 一干二三年,心得四五点,隐患六七处,八九十警言

· 理财|许小年:P2P为什么总出问题

· 市值 6 万亿美金的自动驾驶产业,能分得一杯羹的不止是汽车本身

· 二战德国的三大黑科技 个个都是超越时代 至今仍无人能造出来

· 最古老的恒星

· 诗词丨后半生,让自己舒服

· 真正的富有,就在你的脸上

· 图虫人像摄影:阳光正当时

· 图虫风光摄影:独一无二的童趣~

· 湖北宜昌:农民章爷爷地头种菜,累了,锄头当板凳,坐着歇歇!

· 《七十七天》电影原型很犇,窦唯为他写歌,江一燕为他歌唱

· 17款霸道2700到底有几款配置 价格多少

· 三亚:南山长寿节 长寿老人的长寿”密码“

· 欧洲爆发新型勒索病毒“坏兔子”已经开始向美国扩散

· 如果诸葛亮取代刘禅自立为帝,他会不会获得天下,实现三国统一

· 用这个代替水揉面,做出的全麦面包竟能拉丝,连孩子都喜欢吃

· 中国绝版老酒居然有50多种,家里有一款就价值连城了

· 把房子给了大儿子,大儿子连二儿子的婚房首付都不肯出,做娘太苦

· 女儿满月酒,亲妈来农村看我,一顿饭吃下来,我妈脸都“绿”了

· 最美“胜利之吻”城市——圣地亚哥

· 影响武则天一生的13个男人,最后10个皆横祸而死

· 峨眉东冬游,雪景最美的几个地方,你值得一去!

· 有谁能告诉我这一藤的红果实是什么?能吃否?

· 李世民为母修建常宁宫 胡宗南改为蒋行宫 今天人们去寻访蒋宋爱情

· 山西省举办首届剪纸职业技能大赛

· 围棋经典实战趣题——严厉冲击

· 德国只有多特蒙德球迷会玩?错!第三级别球队征服大黄蜂!

· 10月空瓶记|如果预算有限,请先买精华而不是面膜!

· S7总决赛门票遭黄牛疯炒!LPL负责人金亦波:没法管

· 解密——为什么Rekkles的VN会出飓风

· 孙云晓:儿童需要生活化的教育

· 同事生孩子我送件衣服,我结婚她装不知道,我做一事她打电话骂我

· 北京故宫,一生必去的旅游目的地!

· 图虫风光摄影:周日看展览,逛滨江大道

· 成都武侯祠照片

· 花店都在学习的圣诞花环松果精灵,无名花艺师分享原创花环图解

· 图虫风光摄影:今日海湾日出

· 没那么简单!越南男子拆炸弹失败致两死两伤

· 小米电视4A突破1000元底线,另一小众品牌乘胜追击!

· 库里的弹跳和力量很弱吗?和威少对比了体测数据结论让人大跌眼镜

· 历史上对日作战战绩最牛的四位“战神”

· 这些东西还可以和灵芝一起吃?快看有什么功效与作用及食用方法!

· 老大打老二,到底管不管?

· 能在一起的人,都是相互“需要”

· 这种海螺非常稀罕,价格是普通海螺的四倍,你见过没?

· 排水量5万吨 解放军首艘901补给舰抵达青岛古镇口军港

· 图虫风光摄影:顽固少女

· 你知道红酒橡木桶怎么做成的吗?看了你就懂了

· 消费全返返利增值模式分析

· 中国好领导:他的车企年入400亿,妻子却在基层做了一辈子维修员

· 万向集团创始人鲁冠球逝世 旗下产业横跨金融、汽车、农业、能源

· 三季度18家药企上市,谁是千亿市值“潜力股”?

· 主妇们请注意:警惕潜伏的致癌日用品

· 梁山108将谁的杀伤力最大?林冲还是武松

· 尘埃落定!安倍着手组阁 小池成“败走女王”

· 被性格毁掉的五大球星,一人天赋比科比还高,一人征服斯台普斯

· 乳企承压 圣元开辟新赛道

· 余秀华的诗《被一个院子囚禁着》是诗人冲撞心灵壁垒的反映

· 四川这6个免费红叶观赏地,知道一半你就是个老司机!

· 科学家观察到「索伦之眼」中的彗星正融合成巨大行星

· 紧急警惕:睡眠少也会得口疮?

· 娱乐圈十二张罕见的老照片:青涩的张国荣梅艳芳,那些年的谢霆锋

· 惊了,33岁打出生涯最高的61%+44%+88%命中率,詹姆斯还在进步!

· 英医院打击医疗旅游 海外人士需先付费后治疗

· 《绝地求生》Steam差评数再暴涨 讨论区卖挂太猖獗

· 名叫“Tiny”的蜥蜴类生物化石遗迹揭示了人与鱼之间“缺失联系”

· 古代孩子们平日里都在玩些啥?第三张的孩子都要被玩坏了!

· 图虫风光摄影:雨夜拍学长

· 令人瞠目结舌的上海人力车

· 爱因斯坦两张手写便条拍卖 以180万美元高价成交

· 新气象!新作为!

· 妈妈,您在那儿?崇阳籍企业家百万重金寻找失踪24年的母亲

· 2次分叉成功9小时跌2000元,比特币进下降通道?

· 不想戒烟或戒不掉烟,没事,清清自己的肺吧

· 压舱石!德国财长高票当选联邦议院议长

· 这些潮牌死掉以后,感觉我的青春全都喂了狗

· 《英雄联盟》官博解释:会和大麦继续沟通,请大家也抵制黄牛

· 洛阳看红叶去哪里?最佳红叶线路盘点

· 秦始皇嬴政是如何断送了大秦帝国?

· 慈禧的亲弟弟不满姐姐,卖其字画发泄情绪,结果被整凄惨

· 2017视频级快速扫描原子力显微镜应用研讨会-诚邀您参加!

· 掌握这几点,韭菜种植绝对优质又高产

· 故事:三姨的婚姻

· 西班牙十大最有特色的小镇,第十最适合私奔,第八蓝精灵拍摄地

· 拐枣,世界上最古老的植物之一!

· 女生们,如果这个世界上有两个帅哥盯着你看……

· 图看姚明NBA生涯那些敌人,永远的对手大鲨鱼,阿联大致亦敌亦友

· 放松一下,一组国外的幽默漫画

· 图虫风光摄影:新场古镇

· 英国人的母亲河——泰晤士河

· 图虫人像摄影:我和你

· 国内电视剧9大老戏骨,谁的演技才是你心中第一?

· 一家三代7人63年坚守山村讲台:几乎每户乡邻都有吴家学生

· 向A股发起冲击 新三板湘企转板之路

· 心理测试|专属于你的个人魅力是什么

· 京西“小黄山”——双龙山

· 风景图集:巴黎荣军院,是一座用来安置军队中伤残军人的建筑

· 把自己化妆成这样,还有游客要跟其合影,表示欣赏不来这种审美

· “天下山峰何其多,唯有此处峰成林”——贵州兴义万峰林

· 图虫人像摄影:10月22日

· 图虫摄影:世博芦苇 20171022 摄于世愽公园

· 印度女性的自卫

· 看懂这些你就明白这世界,令人深思的灰暗系人生哲理

· 致父母:帮娃相亲的路上,有款车你们一定不能买

· 交易所问询“旧账” 梦网集团股权腾挪疑点重重

· 抗美援朝中的志愿军第35师

· 生活大分享,精致生活的居家小物件

· 当际大热穆勒鞋,真不考虑入手一双?

· 宗宁:优酷超级剧集改变影视剧IP营销格局

· 农民到底该不该焚烧秸秆?

· 火箭vs76人前瞻;哈登狂言:“只能拿这些状元榜眼探花们出气了”!

· 电竞第一毒奶黄旭东“祝福”大麦网:良心网站,祝越做越大

· 华人传奇:清朝一秀才,屡试不中,远走海外,十几年后竟建立一个国家!

· DNF:白手完美换装有多贵?不是土豪职业真的玩不起

· 除了乌镇西塘之外,浙江还有一座5A级的古镇,古朴清静

· 空调吹出面瘫 一觉醒来口歪嘴斜 到底是咋回事

· 乡下小子给大小姐做保镖被嫌弃,他直接露了一手让她心服口服

· 澳洲芭莎十一月刊 摄影Nino Munoz

· 2017款中东版尼桑途乐Y62改装前——后

· 老婆嫌猫胖给它剃毛,剃完后发现是虚胖,无脸出门

· 李善彬 最近在韩国很火的多才明星!推荐秋季服装,这种服装风格

· 安庆保卫战——被誉为太平天国战争史上最惨烈的一战

· 十大潮牌在国内是怎样发展的?

· 心情随笔,总有一句深入你心

· 亚洲一小国被日本灭亡,政府流亡中国26年,如今成观光景点

· 旧时光,两个人,他们你认识几个?

· 恐龙蛋化石最誉为最珍贵的生物化石,现在价值几何?

· 美食解锁:被《追龙》里刘德华带火的菠萝油到底是什么

· 惊险!孩子误吞硬币,家长这么做却差点害死他!

· 「收藏」看看你是哪种体质?医生给你专属健康tips

· 震撼世界的微信经典句子,夜深人静读一读

· 摄影艺术:令人心旷神怡的风景,嘎朗湖

· 东大“90后”科研团队突破“滴血验癌”难关

· 5万元入场,90后比特币玩家四年身家2亿

· 用理科生的角度看南昌,2017南昌年度热词发布!

· 中国商人连买两艘航母,西方国家害怕不敢出售,中国罕见发话!

· 明星代言腕表花样繁多,哪位才是自带流量?

· 石榴不管大小只要五块钱就可以买到二个真的便宜也吸引老百姓啊

· 摄影图集:法国是个浪漫之都,它的埃菲尔铁搭也是最著名的

· 风景图集:湖北铁寨,绝美风光,八仙同游,奇秀共赏

· 图虫风光摄影:蒸汽影像,上游1007

· 那些没有“妖术”的年代,这些人才是真正萝莉校花!你还记得哪个

· 教你一个早餐的新鲜做法,2个鸡蛋,1把白菜叶,做出异常的美味!

· 一张图,带你看懂新一届党的中央领导机构

精彩图片