人工智能学“说人话” 网络“水军”要下岗了

第一财经   2017-09-06 07:03

“眼见为实”?这一人们辨别真伪的通用法则,可能因为人工智能(AI)的到来而失效。

例如,充斥在互联网上的人类“水军”未来可能要被人工智能取代了。芝加哥大学计算机科学教授赵燕斌团队发现,人工智能可以被用来生成复杂的点评信息。这些虚假的点评不仅机器无法检测出来,就连人类读者也分辨不出来。“我们研究的目的在于提前预测,当人工智能威胁真正来临的时候,人们不会猝不及防。”赵燕斌对第一财经记者表示。

科技与人性博弈的“黑镜”正在向人类扑面而来,人工智能可能是最锋利的双刃剑。

人工智能学“说人话” 网络“水军”要下岗了普京在公开课后与学生合影(俄新社)

就在上周末,俄罗斯总统普京在一场演讲中罕见地评论人工智能。他说,“谁主导了人工智能领域,谁就将成为世界的统治者”。“钢铁侠”埃隆·马斯克于9月4日也再次发声称,各国都在竭力争取 AI 竞争的优势,才是最有可能导致第三次世界大战的原因。

点评里隐藏的“玄机”

近期一则“人工智能已经学会自动编写虚假点评”的消息广为流传。“我喜欢这个地方。我跟我哥一起去的,我们点了素食意大利面,很好吃。啤酒不错,服务也很棒。推荐这个地方,是个吃早餐的好去处。地儿小但是买卖大”。这个如假包换由AI操刀的点评,足以骗倒很多读者。

消息源于赵燕斌等发表的一篇题为《在线点评系统中的自动众包攻击和防御》的论文。在研究中,赵燕斌团队发现,人工智能可以被用来生成复杂的点评信息——就像上面列举的这一条,几乎是没有破绽地在“讲人话”。

这篇论文今年晚些时候会在计算机安全顶级会议——ACM CCS(美国计算机协会计算机与通信安全会议)上展示。早在2014年,赵燕斌团队还发表了题为《恶意众包工作者的实际对抗性检测》的论文,分析了怎样用人工智能检测社交网络中的人类“水军”。

赵燕斌接受了第一财经记者的采访。他的实验室一直在从事和网络安全相关的课题。最新的研究历时一年左右,是过去研究的延伸。“人工智能的技术很先进,好处也显而易见,但是我们的目的是提前预测出人工智能对于社会潜在的威胁,因此当这些威胁真正来临的时候,人们不会猝不及防。”赵燕斌对第一财经记者表示。

人工智能学“说人话” 网络“水军”要下岗了Yelp被称为美国的大众点评网。网络截图

他进一步解释道,在获得了美国的“大众点评网”Yelp的公开用户评论数据后,团队就开始做实验。具体而言,是从亚马逊上雇了600位用户,让他们对真人和人工智能编写的点评进行辨别。

“结果是几乎没有人看得出来哪些是机器撰写的点评。”赵燕斌对第一财经记者说道,“更让我们吃惊的是,用户不仅分辨不出真假,而且还觉得机器撰写的这些点评对他们很有帮助。”

他对第一财经记者表示:“目前这种技术仍然相对比较新,还无法做到十分精准。比如已经在微博或者Twitter上出现的有些基于简单模板产生的评论。”

赵燕斌认为,虽然他们无从得知是否已经有一些公司试图大规模利用人工智能的编程软件撰写虚假评论,但是这无疑会成为不法分子未来的一个“必要选项”,因为人工智能相比人类水军的优势非常明显:首先,人类“水军”发送虚假评论的时间控制不了,因为“水军”一见了工作都上去抢,所以很容易在被攻击的网页上发现异常,而人工智能发送消息的时间是可以控制的。其次,雇佣人类“水军”撰写评论的成本在增长,而人工智能可以反复频繁地被使用。

让人揪心的是,反抄袭软件也对这些虚假点评无能为力,因为这些“高段位”的AI点评是逐字生成的,而不是简单地替换已有点评中的用词。如果使用反抄袭软件检测,不但很难检测出虚假点评,而且会“误伤”一大批真实的点评。

人工智能学“说人话” 网络“水军”要下岗了赵燕斌教授在芝大的主页

“社交网站已经开始利用人工智能技术发布一些虚假的消息或评论。”人工智能初创公司WorkFusion创始人、CEO扬格列维奇(Max Yankelevich)告诉第一财经记者,“这些消息只有通过人工智能的手段才能加以制止。这不仅仅需要政府的努力,更需要科技公司和整个社会的努力。”

WorkFusion是一家为企业进行人工智能研发的科技公司。扬格列维奇介绍说,Fusion平台将自动化机器生产与机器学习相结合,可以帮助用户增加业务的灵活性和生产的自动化。

好消息是,人工智能有可能识别出机器中的“水军”。赵燕斌团队研究发现,用计算机去分析字符的分布等特征,他们就会发现真假点评之间存在着细微的差异。

假点评是从真实点评里学出来的,在这个过程中,难免会有信息流失。假点评注重的是流畅、可信,但像字符分布这种平时没人关注的特征,就做得不那么好了。

“在训练过程中发生的信息遗失,会传递到生成的文本中,因此生成文本和人类文本在基本字符分布上,有着统计上可检测的差异。”赵燕斌团队在论文中写道。

当然,攻击者也可以骗过检测。换好一点的硬件,做更复杂一点的神经网络就行。但这种检测至少提高了攻击的门槛,为攻击者设置了障碍。

赵燕斌对第一财经记者表示:“这就是一种胜利,所有的安全工作都是这样,提高攻击的门槛。当然,你永远没办法阻止那种目标坚定、身手老练的攻击者。”

赵燕斌表示,之所以会做这项研究,也是希望人们能关注这类攻击途径,把它们看做真实、迫切的威胁。“像Yelp、亚马逊这类网站集纳了大量消费者言论,如果他们的工程师们还没有开始考虑如何抵御,希望他们立刻开始思考。”

对于这一研究结果,Yelp发言人扬布莱德(Rachel Youngblade)发表声明回应称:“欺骗点评系统的手段越来越复杂,我们也持续迭代这些系统,来识别假点评。”

“不是仅为了设计出能防御这类攻击的系统,还想让更多人从大众的视角,看到人工智能在带来好处的同时,也存在真实的威胁。”赵燕斌说。不过,赵燕斌强调,虽然越来越多的研究致力于防御“假新闻”,但是并不是一切问题都能够用技术的手段来解决的。“我们需要更多地和社会学科学家以及心理学家合作,寻求共同的解决方案。”赵燕斌告诉第一财经记者。

福音还是灾难?

赵燕斌还提醒道“更值得注意的是,一些攻击当然是出于商业营利的目的,但是也不排除一些组织甚至政府机构利用虚假评论当做宣传的武器,这一旦发生,会很可怕。”

他认为,人工智能技术如果被滥用,对整个社会是一个巨大的威胁,不但会让依靠点评信息的用户失望,而且会以假乱真,破坏社会秩序,这样的后果更为严重。

美国商业内幕(Business Insider)网站在近期的一篇报道中就分析了科技的发展如何让人们难以辨别新闻真伪。报道还指出,鼓励“假新闻”,将加重人们对于传统主流媒体的不信任。然而不仅仅是在新闻领域,“假新闻”对于整个社会都将带来灾难性的影响。

“假新闻”将成为恶意敲诈者的工具,比如为很多无辜者制造合成的“艳照”;它还会让电话诈骗的手段变得更加技艺精湛而难以被发现,因为人们无法得知电话另一头的声音到底是真的还是被合成的。

这些听起来像科幻片的场景,事实上已经潜伏在我们身边的某个角落。人们现在能做的,就是让自己准备好应对的方法。

好在目前大多数合成的虚假视频和声音还都停留在实验室的展示阶段,作为科研人员的研究项目的形式出现,App应用也并没有被商业化。不过这些都暗示着未来的世界已经离我们不远了。

赵燕斌给记者举例说道,在去年的CCS大会上,卡内基梅隆大学的研究人员就展示了一个场景:只要人们戴上一副经过特殊打造的眼镜,人工智能对于人脸的辨认就会失败,比如一个白人女性可以被认为是一个黑人男性。

毫无疑问,这将对公共系统安全造成很大的隐患。

事实上,随着AI和计算机图像合成技术的发展,未来任何人都可以制造以假乱真的新闻、图片或者视频、音频。专家表示,这令信息“武器化”大战一触即发。

今年7月,华盛顿大学的研究人员就曾利用人工智能AI制作了一个关于美国前总统奥巴马演讲的假视频,该视频是基于对奥巴马过去几十个小时演讲的视频分析合成的,图像和声音都能达到以假乱真的水平。

而早在去年,一家名为Face2face的公司的研究人员对美国前总统布什、普京以及美国总统特朗普的视频进行分析,并且能够把他们的脸部表情实时合成到一个人类演员的身上,达到逼真的效果。

更可怕的是,人工智能已经可以做到“基于事实的胡编乱造”,这些内容在脸书(Facebook)和其他社交网站上广泛地流传开,很少有人会质疑它们的真伪。比如在2016年美国大选期间,特朗普就曾抨击Facebook上假新闻比真新闻多,甚至部分改变了选情。上个月底,Facebook宣布开始正式出手打击假新闻:将会禁止散布假新闻的主页在其网站上投放广告。

美国政府也开始加大对研发的资助来打击“假新闻”。9月初,宾夕法尼亚州的两名教授获得了美国国家自然科学基金会(NSF)资助的30万美元资金,以开发侦测“假新闻”的数字化设备。

人工智能学“说人话” 网络“水军”要下岗了杭州某连锁餐厅推出刷脸支付。摄影/何天骄

近日,杭州的某著名连锁快餐门店率先推出了“刷脸支付”服务,支付过程无需手机,只需由3D摄像头对准顾客的面部进行扫描就能验证身份、点餐付款。

但在赵燕斌看来,这种人脸支付的方式很容易受到攻击。“对抗这种攻击,不仅仅要大数据分析,还可能要用到计算机视觉。跨学科的融合是未来研究的趋势。” 赵燕斌对第一财经记者表示。

内容推荐
更多阅读

· 你们想成为什么样的人?是诸葛亮这样的?还是周瑜这样的?

· 终于备孕二胎成功,全家都沸腾了,传大家好孕气

· 每个人,都会有心情不好的时候

· 在诸葛亮读书的地方,吃上一顿卧龙农家饭,满满春天的味道

· 西南证券因鞍重股份忽悠重组领罚单 罚没共计600万元

· 自贡市交管处党总支书记、处长许引凯接受组织审查

· 《欢乐颂》2季袭来,你还记得1季那些闪瞎双眼的豪车吗

· 网易云安全(易盾)讲述互联网黑产那些事

· 韩国新任总统文在寅与黄教安会晤

· 与玛丽莲梦露一样的可怜女人,埃及艳后死因或是一场政治阴谋

· 苏东坡用一生去追随的人,在被历史遗忘的角落

· 长征途中中央红军为何从来没有中过埋伏

· 女性这里变大,是衰老的前兆!不可忽视!

· 民间故事:祖坟里遇狐仙

· 尔康制药实控人减持套现12.37亿元 预计15日复牌

· 【Rap动漫】“一带一路”上的名片——中欧班列

· 阿里巴巴市值创新高,首破3000亿美元

· “一带一路”来了,我们准备好了,你准备好了吗?(之一)

· 清朝戒备森严的皇家禁地,却被一百个手持刀刃的平民轻易攻破

· 三国最有前途的谋士,凭借过人谋略在乱世中得以善终

· 45岁之后,这几个特征,说明你的心脏超健康!看看你有吗?

· 我是怎么得上尖锐湿疣的?

· 记住头上的这些穴位,你的颈椎将不会再僵硬

· 商朝军神闻太师为何斗不过姜子牙,是天命注定,是技不如人?

· 「满月」莉娅-2017年5月11日天蝎座满月:忠诚的疑问

· 东莞男子遇车祸遭酒驾男持刀威胁 一句“你砍我试一下”竟引发血案……

· 搞事情!中国品牌日自主车企们想干嘛?

· 王者荣耀——选个英雄做保镖,你选谁?我一定选最后一个!

· 尼克松访华珍贵照片,三军仪仗队列队欢迎,周总理亲自接见

· 中国皇帝里写诗最烂的,写了4万多首垃圾,金庸都想骂人

· 二战中,希特勒在这一天被当街大骂,盖世太保也无人敢管!

· 数十亿年后太阳将吞噬地球,但人类或远等不到那时候就得离开地球

· 贵南高铁耗时仅2小时 途经河池这些站点 看看有没有经过你家乡

· 耶鲁终生成就教授:家长需要的并不是孩子的“孝顺”,震撼亿人!

· 世界上形状最完美的城市,竟然像中国的八阵图

· 绿盟科技与CCF成立鲲鹏基金,扶持5大领域院校科研成果转化

· 嘉盛股价一日跌近20%,福汇面临退市风险 ,外汇经纪商艰难开头

· 陈赫搞事王者级别,兄弟互怼根本不需要理由,走着!

· 36氪首发|治愈系社交平台“概率论”获数百万人民币天使轮融资

· 中国古代6大名刀:第一名自动成形连黄帝都认怂,最末位行刺祖龙

· 鲁肃不早逝 关羽不会死 孙刘联盟不会破 司马家一统三国就难了

· 一强国霸占中国一城几百年,今城市回归成首富,而强国却沦为二流

· 揭秘清朝最有气势的陵墓,陵墓已经被盗,至今没有对外开放

· 钱其琛同志逝世

· 瓶装水在中国的增长没那么猛了 品牌们开始劝小朋友喝水

· 昆明警方成功处置一起持枪劫持人质案 犯罪嫌疑人被击毙

· 这就是命运?勇士近几年的崛起真是令人意想不到

· 法国驻华使馆投资参赞:一带一路促进商业与投资持续发展

· 一个人的宾馆晚餐喝小酒吃肉,一共花了25块钱够幸福啦!

· 看这里!备孕男宝女宝也有技巧,最后一条超准!

· 相隔28年父子由同两位助产士接生

· 英朗旅行版?曝别克全新旅行车谍照

· 日媒狂赞朱婷!中国运动员强大了,日本都会真心佩服

· 官方:曼联下赛季客场球衣已正式公布

· C919与丰台不得不说的故事

· 冷知识(中国单身男数量将超过澳大利亚人口)

· 中越向北部湾投放4100万尾鱼苗

· 曹操打败吕布,吕布求饶,陈宫为何不求饶?

· 爱情有多甜蜜就有多伤人,这45首情诗写尽痴男怨女

· 邵婷WNBA之行 不问结果 享受整个过程

· 为了拯救油价!欧佩克俄罗斯或重新联手打击美国?

· 云南省一监逃犯张林苍今早9时05分在嵩明

· 揭秘:为何朱祐樘堪称历史上最完美的皇帝?

· 这才是民国时的上海:日本艺妓随处可见,第九张场景看起来好心酸

· 为什么还没有发现另一颗地球?

· 要想宝宝睡的好,发育好,这三件事情果断拒绝!

· 五年后,名城丽江要换书记了

· 商格科技成为海澜之家2017年1.5亿片RFID标签采购的中标企业

· 学会这几个技巧 再说自己会开自动挡吧

· 别再割肉了!你又被人家坑了(图)

· 中国C919大飞机恐怕拿不到美国适航证,您还敢坐么?

· “巴铁”机长邀中国美女驾驶舱伴飞2小时,巴基斯坦网民惊了!

· 美众院代表团访印却去见达赖 中方坚决反对

· 世界三大著名败将:日本将死后切腹成风,中国将死后留下千古勇名

· 吃了立马就食欲大振的凉拌菜!

· 让你家娃睡个安稳觉!夜奶最坑爹,事爹有话说

· 武磊20秒闪击!上港遭绝杀2-3西悉尼 16强战遇苏宁

· 5月10日晚间公告集锦:金隅股份子公司逾7亿元揽入唐山市三地块

· 公安局长储小悦:为百姓平安负重前行

· 不跑路!六年内免检车辆车主 西安申领年检合格标志快递到家

· 圈定速派、迈腾、帕萨特德系B级三架马车,三选一,最后还是选它

· 曼联动作慢还是根本不想买他?穆帅被克洛普抢先

· 对面有这个英雄,心慌;队友有这个英雄,心凉!

· 她是宋代才女,高产诗人,博通经史,主张守愚守拙,自号懒愚道人

· 南京也有一个故宫,它的面积比北京故宫还大,可惜已被彻底破坏

· 古代四大才女都有一个共同点

· 婴儿足内翻并不是小病小痛,将严重影响成年之后的生活!

· 没有中间商赚差价的瓜子,没了广告也活不下去了?

· 一直没卖出去的新车,4S店是如何处理的?

· 安倍加快解禁日本“开战权”

· 王健林截胡中铁 购下马来西亚首都的“CBD商圈”

· 揭秘大唐最悲壮的战争:睢阳之战6000人硬怼13万!

· 二战时,为啥不用原子弹炸日本的首都东京?美国专家告诉你真相

· 女人衰老时刻表,对症调养,让你回到18岁的貌美如花!

· 生命不是要超越别人,而是要超越自己

· 揭秘:泰森在监狱有一项俯卧撑纪录,至今无人打破

· 3人落选男篮名单令人意外,网友为2铁闸鸣不平,究竟为何?

· 季后赛40+场次最多的五位球员,詹科一起上都不如乔丹

· 【图解】中国已有131家“独角兽”企业 总估值4876亿美元

· 中国数千架报废战机最后命运曝光,谜底揭开让美航母相当难受

· 看了ZARA最新的产品目录,气得想打人

· 盘点城阳性价比超高的自助餐厅!

· 滴酒不沾竟长肝脏巨大肿瘤!肿瘤越大越严重吗

· 钱学森当年回国的主因并非为建新中国,而是一个不为人知的事情?

· 哈曼:拜仁急需罗贝里接班人,桑切斯就不错

· 原副总理钱其琛逝世,他是外交部首位新闻发言人

· 迪丽热巴是真吃货还是假吃货?吴昕一个眼神道出了真相!

· 品牌新媒体崛起,36氪、澎湃新闻、华尔街见闻成立 中国品牌新媒体联盟

· 单刀太难?门将已投降武磊单刀仍踢偏,带球过人世界级单刀业余!

· 遭遇挫折后的森林城市启动全球销售计划 碧桂园仍保持雄心勃勃

· 延续前作世界观《百鬼夜行:极》公布

· 揭秘:甲午战争前李鸿章为何避战求和?

· 任何时候,祖国是不可以讨价还价的,信陵君终于坐不住了

· 北京城最好吃的碳烤羊腿?散落在新街口甘家口广安门的那些烧烤店

· 外交部回应“习近平主席是否会在合适的时机访朝”

· 康熙皇帝看了杨紫这部新剧,估计棺材板要按不住了

· 梅赛德斯率先发布新涂装 FIA要求加大车号尺寸

· MUJI 在日本要跑郊区开综合性大门店,不是奥特莱斯折扣那种

· 朝鲜之所以跟中国关系甚好,完全靠这场战役,对于朝鲜损失惨重

· AG超玩会赛后采访:梦泪自信阿珂会被对手送上ban位

· 唐太宗满朝文武为什么缺房玄龄不可

· 朱元璋是个工作狂 从登基到去世全年无休

· 是谁将慈禧、乾隆墓盗掘,使众多珍宝从此绝迹?

· 相比于才华横溢的曹植,曹操为何选择了阴险狡诈的曹丕作为太子呢

· 【话题】数遍整个英超,仅1人有实力去皇马打主力?

· 以前的电视剧尺度真大,《少年天子》这些台词搁现在能播才怪!

· 运营商悲歌:日进三亿也只是表面风光

· 驻疆某军医训练大队举办“部队健康教育微视频”展示活动

· 大军阀杨森妻妾成群,难免红杏出墙,他是这样处置的

· 唯一一个鼓励丈夫纳妾的朝代,咋回事

· 老照片:东北王张作霖,遇害时现场照片,就无法分辨出人型

· 韩国教授说:中国只有四千年、而韩国有五千年,引来国际网友吐槽

· 上幼儿园后一月内两次感染肺炎住院 妈妈找到老师查明原因后崩溃

· 勿把喉癌当喉炎,6大症状须认清

· 谁能让你一见倾心?王者荣耀中美丽的女性英雄原画!

· 河北省除了雄安外,还有一个县、村是不能忘的

· 炉石机制研究:原谅色的卡牌不一定是原谅色的职业

· 文总统意欲“私人会见”金元帅:要给朝鲜半岛带来一线和平曙光?

· 青岛航空评选一季度服务明星 从地面到空中9人上榜

· 西汉名将一览,他是名将之后却恐遭羞辱,拒回大汉老死匈奴(下)

· 香港验血什么鬼?给你一个最详细的介绍流程

· 元素周期表第7周期终于填满 4个新化学元素中文名怎么读?

· 塞纳问题汇总1:关于版本与型号

· 外国人称他是海上王国的主宰,若非早逝,东南亚疆域皆可为汉土

· 10条育儿陋习真的把宝宝坑惨了,偏偏十妈九错,看看你占了几条

· 警惕|抑郁复发,可能跟不会吃药有关

· 明天还会跌吗?底在哪里?

· 试水“北美院线准同步”,爱奇艺开始和传统院线抢生意?

· 李勇:韩国当选文在寅 朝鲜核试武当道

· 魔兽世界中著名的组织有哪些(一)

· 郭松龄与杨宇霆

· 三国的顶尖风投世家,客户只限未来帝王,投资袁绍居然笑到最后

· 刘邦爱虞姬,怎么忍心逼死她?项羽也爱虞姬,怎么会让她先死?

· 郝龙斌批一中同表、和平协议:不可能 惹争议

· 钱其琛曾破例出版《外交十记》揭秘退休生活

· 柔宇科技获中泰创汇4亿元D轮融资,总融资额超10亿元

· 加入日籍,战胜中国男篮口出狂言,退役后竟想回国发展?

· 上海上港换半边天,或另有目的

· 赫内斯:拜仁尤文皇马欧洲最强,尤文会夺欧冠

· 一战中的美国真的只是政治投机?被一笔带过的美国背了大黑锅

· 女人多大更年期 介于45岁到55岁之间

· 又是白发人送黑发人的悲凉!警惕高血压脑出血的2大高危诱因!

· 毒鸡汤15句:有钱不是万能的,有很多钱才是万能的

· 朴树这次又火了,不过不是因为“著名前女友”周迅

· 珠海机场遭遇不明飞行物侵入 进出港航班受影响

· 今天全省最高超30度!更悲催的是……

· ofo内部大范围贪腐?官方称:对贪腐零容忍

· 投资人该如何评估 AI 早期创业公司?|投资人说

· 看看美国的十大财团如何垄断美国的经济,而又一步步走向衰败的!

· 三国顶级谋士排名,郭嘉,鲁肃,司马懿,服不服?

· 唐朝以后,中国的贵族为何消失了?

· 鱼类长相太刺激,然经过大厨烹饪后,秒变一道名菜

· 这顿饭花了63元,居然没吃饱,妹子还嫌我小气

· 放得下,才能走得远;看得开,心才不会累!

· 襄阳百位企业领导着汉服同饮酒在桃花岭上演“桃园结义”

· 我市高校征兵启动 大专生服役两年补16万

· 靳东更博《外科》收官,不舍庄医生,网友:再见庄恕,你好老谭!

· 没见萨德拦截导弹,韩系车销量却被拦截了

· 「乌兰夫的故事」乌兰夫与百灵庙暴动 起义官兵冲出百灵庙

· 犹太人智慧非凡?那他们国家分裂,一个被灭,一个苟延残喘?

· 尼泊尔活女神,比国王还要至高无上的存在,退休后却要孤独终老

· 1岁的宝宝竟然患上白血病,只因一张婴儿床导致,家长后悔不已!

· 一笑而过,是一种人生的优雅

· 高度自律并不是无聊,平庸才是

· 新911 GT3一言不合刷纽北 竟比老款快了十多秒!

· 论给自己打广告,胡歌称第二没人敢称第一!

· 出道9年一直不温不火,本想靠新剧翻身却被停播,上跑男却被黑

· 王者荣耀:6张动图演示!带你直观感受鬼谷子全技能效果

· 日本新“宅男”女神竟然长这样

· 你迁就我,我就要用听话报恩吗?

· 狐狸精为报恩嫁人割自身肉,婆婆怂恿儿子杀妻,丈夫命丧黄泉

· 石原慎太郎惊天爆料:奥巴马派CIA利用中国人杀我!

· 揭秘海湾战争前钱其琛与萨达姆的交锋

· 民德电子网上申购中签号出炉共30000个 5月11日缴款

· 重拳打击洗钱,香港密集开出两千万港元罚单

· 综述:美专家认为“一带一路”为美中合作提供新机遇

· 八阵图暗藏玄机,集《易经》精华,克敌屡试不爽!

· 一场惨败后,曹操依然本色不改,嘲笑刘备不懂兵法

· 同时迷倒曹操父子三人的一个三国美女是谁

· 中芯国际(00981)首季EBITDA创历史新高达3.12亿美元 同比升42.8%

精彩图片