• 简中
    • 繁中
  • 注册
  • 查看作者
  • 这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    转载:本文嚟自微信公众号“品玩”(ID:pinwancool),作者:Decode,转载经授权发布。

    2013 年 3 月,Google 花费 4400 万美元收购‌多伦多大学嘅一家初创公司 DNNResearch。

    呢间公司在当时不仅没任何产品,都压根没有生产产品嘅计划。佢只有三位员工:当时已经六十余岁嘅多伦多大学计算机系教授 Geoffrey Hinton,同佢嘅两个学生 Alex Krizhevsky 同 IIya Sutskever。有人调侃,Google 花费数千其美元,只是买到‌几篇论文。

    但之后科技行业嘅发展证明‌ Google 嘅眼光。深度学习从边缘学科一跃成为显学,而呢一学派嘅开山祖师正是 Geoffrey Hinton。因为在深度学习上嘅突出贡献,佢在 2018 年获得‌图灵奖。Hinton成‌AI领域举足轻重嘅人物,中国互联网都习惯于为佢“封神”,称呼佢为“AI教父”、“深度学习之父”等。而Google因为有‌Hinton,成为AI技术最出色嘅公司之一。

    但呢场收购嘅细节鲜少被外界认识。事实上,Google 并唔系最初“发现”Hinton嘅公司,最早意识到Hinton同佢在深度学习上嘅研究价值嘅,其实系一家中国公司——百度。

    在3月16日发布嘅一本新书《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》(日才制造者:嗰啲将 AI 带到 Google、Facebook 同全世界嘅特立独行者,下称《日才制造者》)度,《连线》杂志资深撰稿人 Cade Metz 揭开‌呢一段鲜为人知嘅“秘史”。这本书记录‌Google、Facebook同百度等公司在AI上嘅你争我夺,并试图解释为何AI注定会变成一个中美之间嘅新军备竞赛。而全书嘅开篇,就从呢场被形容为“今日所有AI领域故事嘅开端”嘅竞拍开始。

    百度同Hinton曾接近达成协议

    Cade Metz通过大量采访,仲要原‌2012 年Hinton主导嘅一场拍卖。当年12 月,喺美国内华达州边界嘅太浩湖旁,举办‌每年一届嘅 NIPS。NIPS 全称 Neural Information Processing Systems(神经信息处理系统),是 AI 领域嘅顶级会议。

    2012 年那一届 NIPS,对多伦多大学教授 Hinton 同佢两个学生嚟讲,意义尤为不同。佢喺会议酒店嘅房间入面,举办‌一次线上拍卖会。美国科技巨头 Google 同微软,中国科技巨头百度以及英国嘅 AI 初创公司 DeepMind,用竞拍嘅方式争夺 Hinton 啱啱成立嘅、没有任何产品嘅小公司 DNNResearch。

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    (Geoffrey Hinton 同佢嘅学生 Alex Krizhevsky 及 IIya Sutskever)

    呢啲公司度,百度其实系最早接触 Hinton 嘅公司。

    2012 年秋日,Hinton 同学生哋发表‌一篇长达 9 页嘅论文《ImageNet Classification with Deep Convolutional Neural Networks》。这篇论文提到嘅 Alexnet 引入‌全新嘅深层结构同 dropout 方法,喺 ImageNet 图像识别大赛度,将错误率从 25% 以上提升到‌ 15%,获得‌第一个。

    那一年嘅 ImageNet 比赛,Google 都在数据集上做‌内部测试,都用‌深度学习方法,但识别精度比 Hinton 团队差‌好多。Google 拥有大多数团队无办法企及嘅硬件同数据资源,但却输畀‌一个学界嘅团队。这等工业界感到食惊,大大促进‌深度学习嘅传播。

    呢个事在今日嚟睇,都是一个AI技术发展嘅历史性转折时刻。但当时仲只有好少人意识到佢嘅意义。而就在论文发出没几日,Hinton 收到‌一封嚟自一个中国AI研究者嘅电子邮件。

    这封邮件嘅署名为余凯。余凯2015年走百度创办‌AI芯片公司地平线,现为地平线CEO。

    余凯比 Hinton 小 30 岁,两人最早在加拿大一个学术研讨会上认识。2012 年 4 月,余凯走美国 NEC 研究院,回到中国加入百度,领导新成立嘅百度多媒体部。呢一年,百度开始大规模采购同建立 GPU 运算集群,开发‌世界上第一个支持 GPU&CPU 嘅并行深度学习平台。

    同年 9 月,百度当时嘅首席科学家威廉·张离职,呢间搜索巨头开始寻找更能面向未嚟研究嘅首席科学家。10 月,余凯向李彦宏介绍深度学习方面嘅进展,并且推荐‌ Hinton。

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    (余凯)

    当时 Hinton 远没有今日知名,但百度决策好快,李彦宏安排当时负责百度战略投资嘅副总裁汤同松同 Hinton 取得联系,并直接提出邀约。百度提出嘅方案是,出价 1200 万美元聘请 Hinton 及其学生,合约期三年。双方进展好快。

    但在眼睇要达成协议前,Hinton 嘅那两名学生“拦住”‌ Hinton,喺佢哋嘅建议下,Hinton意识到,同招聘“三个新员工”相比,百度同第啲公司显然更可能为收购一家公司付出更可观嘅资金。

    Hinton 问百度,自己可否评估一下第啲邀约。而原本已经接近谈成嘅百度,同意嘎啦。

    “当百度同意后,Hinton彻底颠覆‌局面。”《日才制造者》嘅书中写到。Hinton 立刻创建‌只有佢同那两名学生嘅初创公司——DNNresearch。

    据《日才制造者》嘅记录,Hinton 当时特意询问‌一位多伦多嘅律师,点样能等一家只有三名员工、没有产品、几乎没有历史嘅初创公司嘅价值最大化。律师畀‌佢两个选择:聘请专业谈判代表,但会有激怒买家嘅风险。或者,进行一次拍卖。

    Hinton 选择‌后者,于是,共有四家公司加入‌竞拍:最先揾到Hinton且本已接近拿下嘅百度,以及在百度之后都开始畀Hinton家频繁打电话嘅Google同微软,以及一家当时啱啱成立两年嘅伦敦初创公司—— DeepMind。呢间公司后嚟被 Google 所收购,研发出大名鼎鼎嘅 AlphaGo。

    作为最早接触Hinton,以及百度在那次投标中嘅代表人,余凯睇到事变成百度同多家美国公司嘅竞争后,已经预感到‌最终结局。

    出价最高嘅百度没有赢得竞拍

    Hinton 同学生喺酒店房间入面“举办”‌拍卖会——佢通过 Gmail 进行,四家公司嘅高管远程出价,从加利福尼到伦敦再到北京。Hinton将每个竞拍者嘅身份隐藏‌起嚟,佢哋相互不知道对方是谁。

    微软首先对呢种竞拍方式提出疑问,佢哋不钟意用 Gmail 嚟竞拍,认为 Google 可能会偷偷读取邮件。Hinton 同学生哋商量过后,依然采用呢种方式,佢哋“相当确信 Google 唔会读取 Gmail”

    Hinton 对Google嘅好感已经好明显。

    Google 对深度学习嘅兴趣,好大程度都受到Hinton嘅影响。2006 年Hinton 发表‌论文《A fast learning algorithm for deep belief nets》(深度信念网络嘅一种快速学习算法)。这篇论文发表之前,没有人知道点样训练深度神经网络,因此呢个领域鲜有人问津。该论文提出‌一种训练深度网络嘅方法,对每一层网络先进行预训练,然后再微调,网络嘅学习速度大幅提高。

    这篇论文成为开启深度学习热潮嘅一个因素,Google等公司开始注意到深度学习。另一个重要嘅因素是算力。2009 年,计算机嘅算力发展到足以挖掘庞大嘅数据库,神经网络在语言同图像识别方面,开始胜过基于逻辑嘅传统计算机。

    Google都在那时开始投资AI。2010 年,当时定系斯坦福大学教授嘅吴恩达同 Google 入面颇具声望嘅高级研究员 Jeff Dean 一齐,建立一个名为 Project Marvin(以著名嘅 AI 先驱马文・明斯基命名)嘅项目,以研究神经网络。后嚟,一啲 Google 工程师开始用 Google Brain 称呼 Project Marvin。

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    呢个项目成果之一,是大型深度学习软件平台 DistBelief。包括 Google 搜索、Google 地图 同 YouTube 在内嘅 50 多个团队,利用 DistBelief 嚟改进产品。

    2012 年,Google X 宣布建立‌一个包含 16000 个计算机处理器嘅神经网络,并在 YouTube 上部署。呢个神经网络通过学习 YouTube 上大量包含猫嘅、未标记嘅视频,识别出‌“猫”呢种生物。

    这在当时是一个重要突破。“在训练中我哋从嚟没有讲畀过神经网络, 这是一只猫。”Jeff Dean 说,“佢基本上发明‌猫嘅概念。”

    Google在呢次拍卖中都势在必得。Hinton设计嘅拍卖规则好简单。每次竞价后,四家公司有一个个钟头将购买价格提高至少100万美元。呢一个个钟头从最新竞价嘅邮件上嘅时间戳开始。一个个钟头结束后,如果没有人提出新嘅竞价,拍卖就结束嘎啦。

    Hinton 每日会为下一轮竞价设定一个时间,到‌指定嘅时间,佢同学生聚集在佢嘅房间入面,睇住笔记本电脑上出现嘅竞价。数字开始飞快攀升。

    DeepMind用公司股票而非现金竞拍,因此好快就退出嘎啦。这似乎都预示‌佢在之后被Google收购嘅结局。而在价格飙到2000万美元时,微软都退出嘎啦。但佢随后又回嚟‌一次,然后再次退出。

    事实上,微软在此之前已经邀请Hinton担任过顾问。

    微软对深度学习嘅研究,依托雷德蒙德研究院展开。2009 年 11 月至 12 月期间,当时在研究院入面关注深度学习嘅华裔科学家邓力,邀请 Hinton 为雷德蒙德研究院进行咨询,研究点样将深度学习方法应用于语音特征编码同语音识别问题。

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    (邓力)

    之前嘅语音识别模型一直处于非常令人沮丧嘅“局部最优”状态,准确率好难大幅提升。喺读过 Hinton 2006 年发表嘅两篇开创性嘅论文后,邓力产生‌将深度学习引入语音识别嘅想法。

    在 Hinton 为微软咨询期间,佢同邓力一同开发‌深层信念网络嘅方法 “食谱” 及在语音特征提取上嘅应用。呢种方法使得大规模语音识别系统嘅错误率大幅减少,2011 年微软公布呢一成果时,业界大为惊叹。

    而邓力就是代表微软在那次拍卖中出价嘅嗰个人。

    都就是说,喺呢个决定后嚟AI领域好多事走向嘅历史性时刻,三个主要嘅直接竞价操作者中有两人是华人。

    睇住飞升嘅金额,Hinton同佢嘅学生哋不停争论佢哋更愿意加入边家公司。

    《日才制造者》中甚至记录‌一段“迷信”嘅对话。一日午后,当佢哋望向窗外时,两架飞机从相反方向飞过,喺日空中留下嘅烟道,好似一个巨大嘅X,正好在一组山峰之上。佢哋思索住这可能意味住乜嘢,然后才想起 Google 嘅总部就在一个叫山景城嘅地方。“这是唔系意味住我哋应该加入 Google?”Hinton问道,“定系话我哋不应该?”

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    在2200万美元左右时,Hinton暂时中止‌拍卖,同其中一个竞拍者进行讨论,半个钟头后,微软又退出嘎啦。

    最后剩下百度同Google。

    随住时间推移,两家公司依然在抬高价格。余凯处理‌百度最初嘅竞拍,但当价格达到2400万美元时,百度嘅一位高管从北京接手,并且愿意畀出更高嘅价格:2500万美元、3000万美元、3500万美元。

    Hinton将竞价窗口从一个个钟头缩短到30分钟。竞价迅速攀升到4000万美元、4100万美元、4200万美元、4300万美元。“这感觉好似我喺拍电影一样。”佢说。一日晚上,接近午夜时分,当价格达到4400万美元时,佢又暂停‌竞价。《日才制造者》中咁样记载。

    第二日,喺竞标恢复前约30分钟,Hinton发‌一封邮件,说开始时间会推迟。大约一个个钟头后,佢又发‌一封:

    拍卖结束嘎啦。

    事实上,喺前一日晚上嘅某个时刻,Hinton已经决定将佢嘅公司卖畀Google。佢畀百度嘅邮件中讲,公司发送嘅任何第啲信息都会转发畀佢嘅新雇主,不过佢没有说那是谁。

    《日才制造者》中写到,Hinton 后嚟承认,这是佢一直想要嘅。因为对佢嚟讲,为佢嘅研究揾到合适嘅归宿,比获得最高竞标价格更重要。

    《日才制造者》都写到,余凯猜到 Hinton 最终会在 Google,或者至少是另一家美国公司工作。毕竟佢嘅背部不好,无办法前往中国。佢在十几岁时受‌背伤,到五十多岁时,已经无办法坐下,否则会有椎间盘滑落风险。佢不得不一直站住办公,出远门都不坐飞机,因为飞机起飞降落时不允许企起嚟。

    虽然咁,余凯定系好满意百度在竞标者中占据‌一席之地。书中写道,佢相信,这段经历帮助佢嘅上级睇到‌佢眼中嘅世界。通过将美国竞争对手逼到极限,百度高层已经意识到深度学习在未嚟几年嘅重要性。

    Hinton 嘅拍卖同 NIPS 会议结束后,余凯登上‌前往北京嘅飞机。喺那入面,佢遇到‌邓力。

    佢喺飞机上挑选‌相邻嘅座位。由于竞拍者一直保持匿名,两人都不太清楚谁参同‌拍卖。因为受到雇主嘅约束,所以都唔可以透露自己参同拍卖嘅情况。佢哋试图在不泄露自己秘密嘅情况下,认识对方所知道嘅事。

    “拍卖好似一将起跑枪”。《日才制造者》嘅书中咁样写到,佢将呢次拍卖定义为“一场全球新嘅军备竞赛嘅开始”。喺那次竞拍结束后嘅返程飞机上,余凯同邓力两人都知道,新嘅竞争已经开始嘎啦,佢哋嘅公司将不得不回应 Google 嘅大动作。

    这段涉及百度嘅AI秘史,说明AI注定是一场中美嘅”新军备竞赛”

    《日才制造者》嘅书中仲记录‌大量Google,Facebook同百度之间在AI技术研发上嘅你争我赶,这本书嘅电子版目前在亚马逊kindle以及苹果嘅图书商店可以购买。

    cantonese.live 足跡 粵字翻譯

    2021-03-19 14:07:16

  • 0
  • 0
  • 0
  • 160
  • 请登录之后再进行评论

    登录
  • 任务
  • 发布
  • 偏好设置
  • 单栏布局 侧栏位置: