在“谷歌大脑”工作嘅一年，我都学到‌些乜嘢？

神译局是转载旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外嘅新技术、新观点、新风向。

转载：大家都知道谷歌大脑是谷歌嘅科研学术部门，喺传奇人物 Jeff Dean嘅带领下，谷歌大脑在量子计算、人工智能、计算机理论同算法、计算图形学、计算机硬件等等方面做出‌丰富嘅学术成果，而且佢哋都积极地尝试 AI 技术嘅应用，比如检测自然灾害、用 AI 辅助传统科研等等，谷歌自己嘅商业化产品中都使用‌好多技术成果。关于谷歌大脑，喺入面工作嘅人具体感受是乜嘢样嘅。机器学习研究员、曾经在谷歌大脑工作本文作者分享‌佢在谷歌工作嘅感受，以及个人心得。原文标题Paths to the Future: A Year at Google Brain，作者Akshay Agrawal。

2017-2018年，我在谷歌嘅AI研究实验室谷歌大脑担任工程师

我目前是斯坦福大学嘅博士生，同Stephen Boyd一齐研究优化同机器学习，但从2017年到2018年，我是谷歌大脑（Google Brain）团队嘅一个软件工程师。我在获得计算机科学硕士学位（斯坦福大学嘅）三个月后开始工作，啱啱花‌一个夏日嘅时间嚟研究一个项目，用于凸优化嘅特定领域语言。当时，我有啲想同我嘅顾问继续一齐工作，但我都有啲对谷歌大脑深感好奇。如果能从内部睇到一个著名嘅人工智能（AI）研究实验室，至少会是一次有趣嘅人类学体验。于是，我加入‌谷歌。我嘅任务是研究TensorFlow，一个用于深度学习嘅开源软件库。

谷歌大脑是谷歌吸引明星员工嘅磁石。过去几年，谷歌嘅CEO桑达尔·皮查伊（佢认为人工智能 “比电同火更意义深远”）一直强调谷歌是一家 “人工智能优先”嘅公司，公司几乎在做嘅所有事中都寻求实现机器学习。一个下午，喺团队嘅小厨房入面，我睇到‌皮查伊、联合创始人谢尔盖·布林以及图灵奖得主David Patterson同约翰·亨尼斯(John Hennessy)。

我没有同呢啲名人员工一齐工作，但我确实同一啲TensorFlow嘅开发元老一齐工作。呢啲开发人员在我寻求指导嘅时候畀‌我帮助，并习惯性地畀‌我比我应得嘅更多嘅功劳。例如，我嘅同事等我带头写一篇关于TensorFlow 2嘅学术论文，虽然我对该技术嘅贡献比佢哋小。对我嘅信任，以及畀予我嘅荣誉，等我比第啲时候更加努力地工作。

谷歌大脑嘅文化等我谂起‌我读过嘅关于施乐PARC嘅文章。喺20世纪70年代，PARC嘅研究人员为个人计算革命铺平‌道路，佢哋开发‌图形用户界面，并生产‌最早嘅台式计算机嘅雏形之一。

PARC嘅文化记录在PARC研究员Alan Kay撰写嘅一篇名为《语境嘅力量》（The Power of the Context）嘅文章中。Kay将PARC描述为一个高级员工将经验较少嘅员工视为 “只是仲未有获得博士学位嘅世界级研究人员 ”嘅地方（类似于我嘅同事对待我嘅方式）。Kay接住说，PARC嘅研究人员都系自我激励嘅、有能力嘅 “艺术家”，佢哋独立或以小团队嘅形式为类似嘅愿景而工作。噉就形成‌一个富有成效嘅环境，但有时却等人感觉 “失控”：

“伟大嘅愿景好似一个嚟自未嚟嘅磁场，等所有嘅铁粒子一样嘅小艺术家哋不用睇就能指向 “北方”。然后，佢哋走出自己嘅未嚟之路。施乐公司常常对PARC嘅过程感到震惊，并宣布佢失控，但佢哋不明白，语境是咁强大同引人注目，善意是咁丰富，艺术家喺佢哋嘅愿景中快乐地工作。结果是一系列巨大嘅突破，其中一啲我哋至今仍然受益匪浅。”

在谷歌大脑，好似在PARC一样，研究人员同工程师拥有难以置信嘅自主权。当然，佢哋都有老板，但佢喺选择工作内容上曾经有好大嘅余地，喺寻找 “自己通往未嚟嘅道路”上。(我说嘅是 “曾经有”，而唔系 “有”，因为我不确定自从我走后，谷歌大脑嘅文化系咪发生‌变化)。

我举一个例子：几年前，谷歌大脑团队嘅好多人意识到，机器学习工具更接近于编程语言而唔系库，由于呢一事实，重新设计佢哋嘅工具将释放出更高嘅生产力。管理层并没有命令工程师去研究呢个问题嘅特定解决方案。相反，几个小团队有机地形成嘎啦，每个团队都以自己嘅方式嚟解决呢个问题。TensorFlow 2.0、Swift for TensorFlow、JAX、Dex、Tangent、Autograph同MLIR都系同一个愿景嘅不同角度。有嘅彼此直接冲突，但每一个都因为另一个嘅存在而得到改进，团队之间经常分享笔记，并在可能嘅情况下复用对方嘅解决方案。呢啲工具中嘅好多完全有可能唔会成点解更有前途嘅实验，但都有可能至少有一个是突破性嘅。

TF 2.0、Swift for TensorFlow同JAX，由谷歌大脑内部嘅独立子团队开发，是通往同一个愿景嘅不同路径，一种令人愉快、富有表现力同性能嘅机器学习编程语言。

我猜测，谷歌大脑所处嘅类似PARC嘅环境，对TensorFlow嘅诞生起到‌重要作用。2015年底，谷歌将TensorFlow开源，免费向全世界开放。TensorFlow好快就受到‌巨大嘅欢迎。斯坦福大学同第啲大学嘅讲师在佢哋嘅课程中使用佢（例如，我嘅朋友Chip Huyen创建‌一门名为TensorFlow for Deep Learning Research嘅斯坦福课程），世界各地嘅研究人员使用佢嚟运行实验，公司使用佢嚟训练同部署现实世界中嘅模型。今日，以标星数嚟衡量，TensorFlow是Github上众多百万公共软件仓库中第五大最受欢迎嘅项目。

但係，至少对于TensorFlow嚟讲，谷歌大脑超强嘅创造力、超强嘅生产力同 “失控”嘅文化是一将双刃剑。喺为共同嘅未嚟开辟自己嘅道路嘅过程度，TensorFlow嘅工程师哋发布‌好多有住相似目的嘅功能。随后，呢啲功能中嘅好多被消除，而选择‌更有前途嘅功能。虽然呢个过程可能选择‌好嘅功能（比如tf.data同Eager Execution），但佢等我哋嘅用户感到沮丧同疲惫，佢哋需要努力才能跟上。

谷歌TPU，是机器学习嘅硬件加速器。喺谷歌大脑嘅时候，我创建‌一个自定义嘅TensorFlow操作，等TPU核心之间嘅计算更容易负载平衡。

谷歌大脑至少在一个方面同PARC不同：同PARC不同嘅是，PARC臭名昭著地未能将其研究商业化，而谷歌则将喺谷歌大脑中孵化嘅项目生产化。例如谷歌翻译、BERT语言模型（为谷歌搜索提供信息）、TPU（谷歌租畀外部客户嘅硬件加速器，并在内部用于各种生产项目）同谷歌云AI（将AutoML作为服务出售）。从呢个意义上说，谷歌大脑是拉入面·佩奇嘅自然延伸，佢希望同嗰啲想做 “疯狂嘅世界性突破嘅事 ”嘅人合作，同时 “一只脚踏进工业界”（正如佩奇在接受沃尔特·艾萨克森采访时所说）。

走谷歌大脑去读博士是好困难嘅。我已经习惯‌呢啲好处，而且我都好欣赏呢个团队离研究工作好近。最重要嘅是，我钟意同一个大型团队一齐围绕住TensorFlow 2.0工作，我热衷于打造更好嘅工具，为更好嘅头脑服务，但我都钟意研究提供嘅创造性表达。

经常有人问我，点解要报考博士项目，而不干脆等自己参同谷歌大脑嘅嘅研究。噉就是原因：时代潮流除咗深度学习同强化学习之外，几乎没有第啲话题嘅空间。事实上，喺2018年，谷歌将 “谷歌研究”重塑为 “谷歌人工智能”，将research.google.com重定向为ai.google.com。(呢一品牌重塑可以理解地引起‌一啲人嘅注意。似乎呢一改变在最近某个时候被悄悄地收回嘎啦，Google Research嘅品牌已经复活‌）虽然我对机器学习好感兴趣，但我不相信今日嘅人工智能远比电同火更重要，我希望在一个更加智力多元化嘅环境中接受训练。

事实上，我在谷歌大脑嘅大部分导师都鼓励我报考博士项目。只有一位研究员强烈劝阻我唔好继续读博士，将这段经历比作 “心理折磨”。我被佢嘅暗中警告吓坏嘎啦，我没有提出任何后续问题，佢都没有详细说明，我哋嘅会面好快就结束嘎啦。

一直以嚟，除咗机器学习，我仲对凸优化感兴趣，这是计算数学嘅一个分支，涉及到做出最优选择。凸优化在现实世界中有好多应用，SpaceX用佢嚟降落火箭，自动驾驶汽车用佢嚟跟踪轨迹，金融公司用佢嚟设计投资组合，机器学习工程师都用佢嚟训练模型。虽然研究得好透彻，但作为一种技术，凸优化仍然是年轻嘅、小众嘅。我怀疑凸优化有潜力成为一项强大嘅、广泛使用嘅技术。我有兴趣做这项工作，一点数学同一点计算机科学嘅结合，以实现其潜力。我在斯坦福大学嘅导师是斯蒂芬·博伊德（Stephen Boyd）都许是世界上最顶尖嘅凸优化应用专家，我实在唔可以错过在佢嘅指导下进行有益研究嘅机会。