0°

OpenAI成长秘史,背叛、自我造血和那些反共识

  一家成立不到8年的公司,如何让美国最有钱有势四大科技巨头谷歌、脸书、苹果、亚马逊措手不及,这里梳理了OpenAI成长过程中的关键事件,从战略视角,向读者解析OpenAI的成功之道。

  01、安全的人工智能

  2015年7月,刚接任硅谷著名孵化器Y Combinator总裁一年多的山姆·阿尔特曼(Sam Altman),在美国加州斯坦福大学旁边Palo Alto瑰丽酒店组织了一场晚宴,晚宴的主题是“坏的人工智能”。

  那时,谷歌刚以6亿美元收购了行业最顶尖人工智能研究机构DeepMind,并把“Don’t Be Evil”(不作恶)作为了座右铭,AlphaGo也还没成为全球围棋冠军,但无论是召集人阿尔特曼,还是参加晚宴的特斯拉创始人埃隆·马斯克(Elon Musk),都认为人类必须为AI作恶提前做好准备。

  阿尔特曼和马斯克并不是要限制AI发展,而是推动去开发人人都能用得上的、能造福人类的人工智能,所以“安全的通用人工智能”成为了OpenAI创立的愿景。

  晚宴后,OpenAI的另一位发起人、也是OpenAI董事长、硅谷独角兽Stripe前CTO 格雷格·布罗克曼 (Greg Brockman)开始四处挖人,他的目标瞄准了在2018年获得图灵奖、被称为深度学习的三巨头:约书亚·本吉奥 (Yoshua Bengio)、杰弗里·辛顿(Geoffrey Hinton)、杨立昆 (Yann LeCun) 。

  当时辛顿在谷歌,杨立昆在脸书,两人年纪都比较大,不大会出来创业,而本吉奥主要在学术界活动,对产业界没多大兴趣。但本吉奥还是给布罗克曼列出了全球深度学习领域顶级研究人员名单。其中,包括了辛顿的学生、在2012参与提出著名AlexNet模型、当时谷歌大脑项目负责人伊尔亚‧苏茨克维(Ilya Sutskever,在OpenAI对外官宣成立前最后一刻决定加入OpenAI)。

  之后,在加州伯克利读博士的约翰 · 舒尔曼(John Schulman)加入了OpenAI,他在之后领导开发的强化学习成为了ChatGPT的秘密武器;师从著名AI学者李飞飞的斯坦福大学博士Andrej Karpathy(备注:后被马斯克挖去特斯拉,2023年2月又回到了OpenAI),以及师从杨立昆的波兰科学家沃伊切赫·扎伦巴(Wojciech Zaremba)也加入进来。

  就这样,2015年底,在世界顶级人工智能学术会议NeurIPS举办期间,OpenAI带着10亿美元“投资承诺”宣告成立,目标是开发通用人工智能技术,专利和研究成果全部开放。

  OpenAI的第一批投资者,包括了埃隆·马斯克(Elon Musk)、彼得·蒂尔(Peter Thiel,PayPal和Clarium Capital Management资产管理公司的创始人)、山姆·阿尔特曼(Sam Altman)、里德·霍夫曼(Reid Hoffman,LinkedIn联合创始人,硅谷人脉之王)和杰西卡·利文斯顿(Jessica Livingston,Y Combinator创始合伙人)。

  02、一年一次技术选择

  在成立初期,OpenAI选择的运作方式是试错,最初定下了机器人、游戏、语言模型三个主要方向,哪个方向的项目先跑出来,就把哪个项目作为走向通用人工智能主力部队。

  2016年初,谷歌旗下DeepMind的AlphaGo刚击败了全球围棋顶级选手李世石,其采用的“监督式”深度学习路线风头正盛,但成立不久OpenAI既没有大规模数据,也没有足够人力去标注数据,所以采用了“非监督式”路线。OpenAI在试错过程中发现,要实现AGI,理解和预测是有关联的,要有好的预测需要先理解,这个原则与语言模型一脉相承,基于以上认知,OpenAI逐步将资源聚焦在了开发语言模型上。

  2017年,谷歌提出了Transformer网络结构,让语言和视觉实现了统一,OpenAI迅速且坚定地站在了Transformer队伍中,当时占据AI主流的计算机视觉技术圈不以为然。

  2018年,为了让语言模型输出更符合人类偏好,OpenAI将先前应用在游戏和机器人的“强化学习”,引入到了语言模型上,而当时业界主流认为强化学习效率非常低下。

  2019年,谷歌发布了基于理解式路线的BERT模型,在阅读理解、对话等多个文本任务表现超过了人类,业界欢迎鼓舞,一致认为BERT代表着未来,那时对谷歌来说,BERT只是AI研究院的一个项目。

  OpenAI没有追随BERT大流,继续坚持基于生成式路线的GPT模型,而且在内部是最高优先级,所有顶级研究人员都参与其中。

  2020年,OpenAI团队意识到了数据和算力对大模型的影响,开始积极拥抱规模定律(Scaling Law,模型越大、数据越多、算力越充足,模型性能会指数级爆发),投入了足够多的数据及算力资源到GPT3,而当时业界认为AI进步主要靠的是算法创新。

  2021年,在强调安全的情况下,OpenAI在GPT3之后引入了人的反馈,让大预言模型能推断出用户意图,当时业界主流认知是大模型更加智能,人的反馈是多此一举,且违背了无监督学习的原教旨。

  2022年11月,GPT迭代四次之后(GPT1、GPT2、GPT3、InstructGPT),ChatGPT问世。

  03、马斯克“背叛”与自我造血

  由于OpenAI成立之初的非盈利性质,所有资金都来自投资,到了2017年,OpenAI花在云计算上的钱已接近千万美金,此后其训练大模型所消耗计算资源,每个季度还要翻一倍,而OpenAI投资人在2015年底承诺10亿美元资金,只到账了小部分。

  2018年初,马斯克召开了一次会议,他认为OpenAI发展速度过慢,已严重落后于竞争对手Deepmind,马斯克提出,让OpenAI并入特斯拉,自己亲自运营。

  这个提议遭到了阿尔特曼和布罗克曼的拒绝,他们认为AGI是一个长期赛道,应该坚持安全第一,而不是追求速度,而且当时Model 3遭遇了生产地狱,特斯拉正被市场疯狂做空,马斯克本人已被搞得焦头烂额。

  很快,马斯克决定退出OpenAI,并取消了原定资助计划,对外宣称是避免和特斯拉经营产生冲突,并继续为这家非盈利机构捐款并担任顾问(备注:马斯克在2023年7月另起炉灶,亲自创立了xAI公司,对标OpenAI)。

  为了解决资金问题,2019年3月,阿尔特曼卸任了YC总裁,出任OpenAI的CEO,将更多精力集中在Open AI上(备注:2018年之前,阿尔特曼在OpenAI只是董事职位,CEO是布罗克曼,阿尔特曼很大一部分时间还在管理和孵化YC创业项目)。

  在阿尔特曼推动下,OpenAI成立了一个受限制的营利实体“ OpenAI LP” ,把OpenAI变为了一个营利性和非营利性的“混合体”。

  根据这个设计,如果OpenAI能够成功完成“通用人工智能造福全人类”的使命,那么投资者和员工可以获得一个上限回报,OpenAI营利实体受董事会监督,任何超额回报都将捐给其非营利实体。

  在新投资框架下,OpenAI获得了ReidHoffman慈善基金及科斯拉风险(Khosla Ventures)的 Pre-种子轮投资;四个月后(2019年7月),OpenAI接受了微软价值“10亿美金”的战略投资,虽然当时比尔· 盖茨对这笔交易持怀疑态度,但在微软CEO 萨提亚·纳德拉(Satya Nadella)的押宝下,这次交易还是达成。

  微软说是给了10亿美金,但自身并没有花太多现金,主要以Azure云服务积分的形式兑现给OpenAI,OpenAI可以免费使用微软云服务来训练和运行模型(备注:之前OpenAI采用的是谷歌云,也是谷歌云最大的客户),而OpenAI孵化的产品,也排他性地先赋能微软业务。

  2020年5月,OpenAI推出了GPT-3,微软宣布在Azure云平台中投资超级计算机,专门用于GPT训练。

  04、黄教主的英明

  2016年8月,英伟达老板黄仁勋(业界称为“黄教主”)把全球第一台超级计算机DGX-1捐赠给了当时成立不到一年的OpenAI。

  DGX-1是英伟达投入了3000人、花了3年时间、耗资25亿美金才研发出来的、全球第一台轻量化小型超级计算机。

  当时,黄教主手里积压了100多家客户的DGX-1订单,他却选择把第一台DGX捐给了OpenAI,在捐赠仪式上,黄教主拿出记号笔,在机箱上激动地写下了一句话:“为了计算和人类的未来,我捐出世界上第一台DGX-1。”

  时任OpenAI联合创始人的马斯克,在现场见证了捐赠仪式,还专门发推文感谢黄教主,他激动地表示,因为DGX,OpenAI的训练时间从1年缩短至了1个月。

  在英伟达超级计算机助力下,六年后(2022年),OpenAI推出了ChatGPT,并实现GPT从3.5向4.0的迭代创新,黄教主一路见证了这家初创公司的成长,也让作为算力提供者的英伟达搭载上高速发展的AIGC浪潮。

  从当时看,将一台价值12.9万美金的超级计算机捐给一家名不经传的初创公司,是一笔亏本买卖,但正是因为这一举动,黄教主换来了好名声、好人脉,更换来了英伟达的大爆发。

  如今,英伟达A100/H100被哄抢,世界100强公司有一半都安装了英伟达超级计算机,英伟达市值已上万亿。

  05、汽车人参考小结

  对OpenAI成长历史抽丝剥茧,这是一个充满了勇气、英明和反共识的故事,其中既有好的运气,也有人性的背叛。在创办OpenAI之前,专职投资人的阿尔特曼,在斯坦福大学课堂提出了一个公式:创业成功 = 想法 * 产品 * 执行 * 团队 * 运气,这个公式是OpenAI真实的写照。

  通过OpenAI成长史,我有以下五点感受:

  第一,OpenAI敢于挑战巨头的勇气,来源于对安全通用人工智能的笃定和坚持,这是一个伟大的使命,意味着从一开始就是一件难而有价值的事。正因为伟大,才能吸引到全球最顶级的人才,OpenAI在成长过程中,它比任何一家AI公司都更强调和坚持安全,所以有了强化学习、有了人的反馈,这也成为了ChatGPT秘密武器,OpenAI是真正的不忘初心。

  第二,每一年OpenAI会面临重大技术选择,有些是生死问题(比如押宝语言模型等),每一次决策都是违背当时业界主流认知,背后原因一方面是OpenAI的人才密度非常高,很多都是技术带头人,在决策时候不会被大厂洗脑,另外一方面,还是在于对使命愿景的坚持。

  第三,既要商业化活下去、又要坚持初心为社会做贡献,OpenAI做好了平衡和取舍,或许可以被之后创业公司效仿。

  第四,GPT是建立行业多年技术积累上,很多技术并不是首创,Transformer来源于谷歌,非监督学习和人类反馈强化学习RLHF训练方式出自DeepMind,ChatGPT可以说是站在巨人的肩膀上,它做到将技术要素融合在一起,用工程化方式落地,持续迭代多年,ChatGPT不是科学突破,却是一个成功的产品。

  第五,反观国内、反观自身,AI上都在紧跟特斯拉、学习谷歌,深受影响,我们能不能有自己原创和创新价值,而且愿意坚持、敢于持续投资(特别是大模型需要长期投资,需要极大的勇气)。

  有关ChatGPT更多商业分析和技术讲解,请关注我的硬核科普书《一本书读懂ChatGPT》,新书计划Q4初版,请期待!读者有任何合作想法和建议,欢迎随时联系。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论