本篇文章7654字，读完约19分钟
如果我们成功了
很久以前，父母住在英国伯明翰大学附近。 后来他们决定离开这个城市，把房子卖给英语语言学教授大卫·洛奇( david lodge )。 那时，洛基已经是有名的小说家了。 我没见过他，但我决定读他的书。 “位错”和“小世界”。 书上的主要人物都是学者，从伯明翰搬到了加利福尼亚州伯克利。 一位刚从伯明翰搬到伯克利的学者，似乎注意更多地观察这一连串的巧合。
“小世界”有特别的场景，令人印象深刻。 主人公是雄心勃勃的文学理论家，参加了重要的国际会议，对领导们说:“如果大家都赞同你的意见，接下来会发生什么呢？ ”。 这个问题引起了恐慌。 因为专家小组的成员关心猜谜，而不是透露真相和获得批准。 当时我想我们可以问人工智能行业的领导者类似的问题。 “如果你们成功了怎么办？ ”。 这个行业的目标是创造达到或超过人类水平的人工智能，但很少想到创造这样的人工智能会发生什么。
几年后，我和彼得·诺维格( peter norvig )开始写新的人工智能教科书，书的第一版于1995年出版。 这个“人工智能”的最后一节以“如果我们成功了会怎么样”为题，指出了会有好的结果和坏的结果的可能性，但没有得出确定的结论。 年第三版出版时，很多人终于开始思考了。 创造超越人类的人工智能可能不是件好事，但这些人大多是局外人，不是主流的人工智能研究者。 年来，我开始相信这个问题不仅是主流人工智能研究者应该思考的问题，也可能是人类面临的最重要的问题。
年11月，我在伦敦南部著名的艺术博物馆杜尔维奇画馆演讲。 听众大多是退休人员，他们不是科学家，但对智能问题感兴趣，所以我必须做完全不技术的演讲。 好像是个适合在公共场合验证我想法的地方。 在说明了什么是人工智能之后，我提出了五个“人类未来最大的事情”的候补。
1 .我们灭亡了(因为小行星的冲突、气候灾害、流行病等)。
2 .我们都可以永远活着(医学克服了老化)。
3 .我们发明了超光速旅行，征服了宇宙。
4 .高级外星文明访问了我们。
5 .我们发明了超人工智能。
第五个候选人是我们发明了超人工智能，我想会赢。 因为如果可能的话，超人工智能不会发生灾害，有助于实现永生和超光速旅行。 代表我们文明的巨大飞跃，即突变。 超人工智能的到来在很多方面类似于高级外星文明的到来，但前者更有可能发生。 最重要的是，人工智能和外星人不同，也许我们有发言权。
然后，如果我们说30到50年后到达地球，让听众想象会发生什么。 “乱七八糟”一词并没有正确地描述这种情景。 但是，我们对超人工智能的到来的反应是……“冷淡”。 (在后面的演讲中，我们用图1所示的电子邮件交流的形式证明了这一点。 最后，说明超人工智能的意义。 超人工智能的成功可能是人类历史上最大的事情……也许是人类历史上最后的事。
之后几个月后的年4月，我在冰岛参加了会议。 美国国家公共广播电台打来电话，接受他们的采访，能给我讲讲刚在美国上映的电影《超经验黑客》吗？ 我看过剧本概要和影评，但还没看过电影。 因为我住在巴黎，所以电影直到6月份才在巴黎上映。 但是碰巧从冰岛回家的路上绕道去了波士顿，参加了美国国防部的会议。 所以，我到达波士顿洛根机场后，坐出租车去最近的电影院看了这部电影。 坐在第二排，我看到强尼·德普饰演的加利福尼亚大学伯克利分校的人工智能教授被担心超人工智能的“反人工智能活动家”中枪了。 我情不自禁地倒在座位上。 (又在偶然警告我吗？ 在这位教授死前，他的意识被纳入量子超级计算机，这台计算机威胁要迅速超过人类的能力，接管世界。
年4月19日，我与物理学家迈克·斯泰格马克( max teg-mark )、弗兰克·威尔切克( frank wilczek )、斯蒂芬·霍金( stephenhawking )共同撰写的关于“超经验黑客”的影评人 其中包括我在杜维奇画馆的演讲中提到的人类历史上最大的事情。 从那以后，我的研究行业公开承认我自己所属的物种构成了潜在的危险。
你是怎么来到今天的？
人工智能的起源可以追溯到很久以前，但正式启动是在1956年。 两个年轻的数学家约翰·麦卡锡( john mccarthy )和马文明滑雪( marvin minsky )是著名新闻论创始人克劳德·香农( claude shannon )和ibm (国际商业机械企业)的第一台商用计算机的
这项研究基于“学习”的全方位或“智能”的任何特征几乎都能正确描述的推测，人们可以制造模拟“学习”或“智能”的机器。 人们试图让机器采用语言，形成抽象概念，处理现在人类面临的各种问题，自我改善机器。 如果精英科学家小组在夏天合作，我们认为在其中一个或多个问题上有很大的进展。
当然，我们的消费时间远远超过了夏天，但我们正在处理这些问题。
在达特茅斯会议的10年左右，人工智能包括艾伦·罗宾逊的通用逻辑推理算法和亚瑟·塞缪尔的西方象棋程序，自学战胜了创造者。 最初的人工智能泡沫在20世纪60年代末破裂，当时人们在机器学习和机器翻译方面的初期努力并不令人期待。 英国政府在1973年委托编写的报告书中总结说:“迄今为止，这个行业的任何发现都没有对当初约定的重大影响。” 换句话说，这些机器智力不够。
幸运的是，当时11岁的我不知道这份报告。 两年后，我拿到了辛克莱剑桥的可编程计算机，想让它变聪明。 但是，辛克莱的程序有36步的运算限制，不足以达到人类水平的人工智能。 我没有灰心。 我用伦敦帝国理工学院的cdc 6600超级电脑写了国际象棋程序。 一捆两英尺高的穿孔卡片。 这个步骤不够，但没关系，我知道我想做什么。
20世纪80年代中期，他成为加利福尼亚大学伯克利分校的教授。 由于所谓的“专家系统”的商业潜力，人工智能正在经历巨大的复兴。 当这些系统被解释为无法完成人们分配的多个任务时，第二次人工智能泡沫破裂了。 同样，这些机器也不够智能。 人工智能的冬天即将到来。 在伯克利开设的人工智能课程现在有900多个学生，但在1990年只有25个学生。
人工智能界吸取了教训:很明显，机器智力越高越好，但要做到这一点就必须做作业。 这个行业和数学的关系特别密切了。 人们把人工智能与历史悠久的概率论、统计学和控制理论联系起来。 今天，进步的种子是在其体工智能的冬天播种的，包括大规模概率推理系统和后来已知的深度学习的早期研究。
年前后，深度学习技术在基于语音识别、机器视觉的物体识别和机器翻译方面开始取得很大进步，以上是人工智能行业最重要的三个开放问题。 从某种意义上来说，机器在这些方面的能力已经超过了人类的能力。 年和年，deepmind (英国人工智能企业)的alphago (阿尔法围棋)打败了前世界围棋冠军李世石和后冠军科杰，但迄今为止的专家预测，如果发生这样的事件，2097年之前不会发生。
现在人工智能几乎每天都出现在媒体的头条新闻中。 在大量风险投资的推动下，诞生了千万家风险企业。 数百万学生参加在线人工智能和机器学习课程，这个行业的专家年薪可以达到数百万美元。 风险基金、国家政府和大公司每年的投资达数百亿美元，在这个行业，过去五年获得的资金超过了以前整个历史获得的总额。 无人汽车和智能助理等已经酿造中的技术进步很可能在今后10年左右对世界产生巨大影响。 人工智能的潜在经济效益和社会效益巨大，这为人工智能研究提供了巨大的动力。
接下来会发生什么？
这种迅速的进步意味着我们会被机器超越吗？ 不。 我们在拥有这种具有超人类智能的机器之前必须实现一些突破。
众所周知，科学上的突破是不太可预测的。 要知道有多难，我们可以回顾另一个行业的历史。 这个行业有可能结束文明。 那就是核物理学。
20世纪初，可能没有比质子的发现者、“分裂原子的人”欧内斯特·卢瑟福[ernest rutherford，图2(a)]更优秀的核物理学家了。 和他的同事一样，卢瑟福注意到原子核中储存了巨大的能量，但从主流观点来看，开发这种能量是不可能的。
1933年9月11日，英国科学促进协会在莱斯特召开年会，卢述福在晚上的会议上发言。 正如他多次做的那样，他给核能的将来浇了冷水。 “想从原子变化中获得能量的人都是异想天开的”第二天早上，伦敦泰晤士报报道了卢瑟福的演讲[图2(b)]。 。
匈牙利物理学家利奥拉德[leo szilard，图2(c)]逃离纳粹德国，住在伦敦罗素广场的帝国酒店。 他早餐阅读泰晤士报的报道，然后出去散步，仔细考虑报道的复印件，构思了中子诱发的连锁核反应。 不到24小时，释放核能的问题已经不能成为基本的处理。 第二年，希拉德申请了反应堆保密专利。 1939年，法国颁发了第一批核武器专利。
这个故事的意思是，与人类智力赌注鲁莽，特别是在我们的未来岌岌可危的时候。 人工智能界出现了否定主义，甚至否定了成功实现人工智能长期目标的可能性。 这就像驾驶载着全人类的公共汽车的司机说的，“是的，我正在尽可能的朝悬崖边走，但相信我，走到悬崖边之前汽油就没了！ ”。
我认为人工智能不一定会成功，人工智能在今后几年内成功的可能性很低。 尽管如此，为即将发生的事件做好准备是慎重的。 如果一切顺利，这预示着人类将进入黄金时代，但我们必须面对的事实是，我们计划创造一个比人类强大得多的实体。 怎样才能不支配我们呢？
为了对我们玩的火有初步的理解，想想拷贝推荐算法在社会交流媒体中所起的作用。 这些算法不是特别智能，但它直接影响数十亿人，所以可以影响整个世界。 通常，此类算法的目的是最大限度地提高点击概率，即客户点击演示条目的概率。 那么，处理方案是简单地展示客户想点击的项目，对吧？ 不是。 正确的应对措施是改变客户的喜好，使之更可预测。 对于更可预测的客户，算法可以通过推送很有可能点击的条目来获得更多收益。 持有极端政治观点的人往往很容易预测到点击那些条目。 (顽固的中间派可能会点击某种副本，但算法很难想象这样的副本是由什么样的副本组成的。 )和所有合理的实体一样，算法学习如何修改其环境状态(在这个例子中是顾客的思想)，最大化自己得到的报酬。 结果，法西斯主义复活，支持世界民主主义的社会契约被解除，也有可能导致欧盟和北约的结束。 只有几行代码得到人类的帮助后，才能导致上述结果。 想象一下现在真正智能的算法能做什么。
ai新生
解读人类共存密码——人类最后的大问题
human compatible:artificialintelligenceandtheproblemofcontrol
卫报( the guardian ) :是今年关于人工智能最重要的书。
定价: 88.00元
书号: isbn 978-7-5217-1951-2
作者:斯图尔特·罗素( stuart russell )
出版日期:年9月
页数:第376页
装订:装订
推荐:
1 .在超ai支配的世界里，人类如何保持独立？
这本书提出一个大问题，提出一个处理方案。 作者三人大体上是一个“有益的ai”，带来了解读人类共存的密码。 这可能是人类面临的最后一个大问题。
2. ai的领导，业界公认的“标准教科书”的作者，时隔25年，创作了新的烧脑作品。
作者认为人类试图把自己的目标注入机器是失败命运的尝试。 这本书提出了一种吸引人的新方法，即加强学习，让机器根据人类的行动学习人类的目标。
.埃隆·马斯克、万维钢、姚期智、张宏江、黄铁军、周志华、周伯文、曾毅等专家压倒性地推荐。
“思考，快与慢”的丹尼尔·卡尼曼、“生命3.0”的迈克·斯泰格马克、“为什么”的朱迪亚·珍珠、“深度学习”的约书亚·本·吉奥专家背书了！
副本摘要:
从比尔盖茨、埃隆·马斯克到霍金，很多公司的房子和科学家都担心ai对人类生存的威胁。 真的有一天人类会成为自己发明的机器的受害者吗？
过去相当长的一段时间里，人类之所以能够支配地球，是因为人脑比其他动物的大脑多得多，复杂得多。 但是如果ai比人类聪明了，我们怎么统治世界呢？ 智能是权力，我们能否控制智能决定了我们未来的命运。
这本书讲述了我们为了理解和创造智能而在过去、现在和未来进行的尝试。 这是非常重要的，不是因为ai迅速成为现在的普遍现象，而是因为它是未来的主导技术。 世界上所有的大国都意识到了这个事实，各大企业也早就知道了这一点。
作者在书中提出了一个大问题:如何解读人与机器的共存密码，控制比我们强得多的智能，让ai获得新生？ 这可能是人类面临的最后一个大问题。 这本书的目的是解释为什么这可能是人类历史上最后一件事，以及为了避免它成为现实该怎么办。
作者介绍:
peg skorpinski
斯图尔特·罗素( stuart russell )
加利福尼亚大学伯克利分校计算机科学家，人类兼容人工智能中心( chai )主任，人工智能研究室指导委员会( bair )成员。
世界经济论坛人工智能机器人委员会副主席、美国科学促进会( AAS )会员、美国人工智能协会( aaai )会员。
与谷歌的研究总监彼得·诺维格合作，出版过人工智能行业的《标准教科书》《人工智能》，被128个国家的1400所以上的大学采用。
获得了很多科学荣誉，包括美国国家科学基金会总统青年研究员奖、国际人工智能联合会议( ijcai )计算机和思想奖、国际计算机学会( acm )卡尔斯特朗优秀教育家奖等，并被邀请在ted、世界经济论坛发表演讲。
媒体和专家评论:
这本关于人工智能未来风险和应对方法的书值得一读，作者罗素很棒！
elon musk埃隆·马斯克
特斯拉创始人兼首席执行官
人工智能到底发展到什么程度，未来如何迅速发展，这本书能代表主流专家的意见，让你迅速获得“现在的科学理解”。 作者是研究人工智能的教授，但书很少讨论技术，关心更大的问题:人的喜好能“算法化”吗？ 人工智能是人类的威胁吗？ 人能限制人工智能吗？ 现在的答案不乐观。 最后，我们知道人工智能的问题首先是“人”的问题。 我们其实不理解我们自己。
万维钢
科学作家
“获得”app“精英日常”专栏作者
这是一部很有魅力的大作，无论是普通网民还是人工智能专家都会受到启发。 罗素教授对超智能这个体工智能的重大问题进行了深入确定的分解。 更重要的是，他提出了新的人际关系解决办法为处理超智能这个重要问题开辟了新的研究方向。
姚期智
中国科学院院士
2000年图灵奖获得者
人们为人工智能技术的飞跃进步欢呼，期待超人工智能的到来时，不要忘记人类面临着非常重要的挑战:如何以人工智能的迅速发展为人类中心，基于人类的共同价值造福人类？ 这本书带来罗素教授多年的研究成果和深刻的洞察，读起来令人赏心悦目。
张宏江
智源研究院理事长
源代码投资合作伙伴。
人类在不久的将来可能会制造出超过自己的强人工智能。 人工智能知名学者斯图尔特·罗素教授很高兴不仅仔细推敲了这种可能性，还提出了巧妙的应对措施。
黄铁军
智源研究院院长
北京大学教师
创造达到或超过人类水平的人工智能怎么样？ 超人工智能的成功为什么可能是人类历史上最后一件事？ 人类还有希望吗？ 人工智能古典教科书作者斯图尔特·罗素的这本书值得所有关心人工智能的人阅览。
周志华
南京大学人工智能学院院长
欧洲科学院外籍院士
从我们这一代开始，科学地理解、探索、协同、管理超智能机器将成为越来越不可避免的严重课题。 如果罗素的经典教科书过去帮助了很多学者进入人工智能研究行业，他的这本新书将让更多的人思考如何创造更好的人与人的协同未来。
周伯文
京东集团副总裁
书中提出的构建“尽可能安全有益于人类的人工智能”应该成为世界人工智能研究和实践者的共同愿景。 罗素论述的人工智能安全风险和人类自身的隐忧，无疑将“确保人工智能安全是有益的”的重要挑战放在未来人工智能研究的核心。
曾毅
中国科学院自动化研究所研究员
类脑智能研究中心副主任
智源研究院人工智能伦理与可持续快速发展研究中心主任
这是我读了相当长时间的重要书。 清楚地说明了超人工智能时代的到来如何威胁人类的控制权。 重要的是，这本书还提出了新的处理方案和我们应该有希望的理由。
丹尼尔·卡内曼( daniel kahneman )
诺贝尔经济学奖获得者、《思考、速度与迟缓》作者
是人工智能的先驱罗素带来的智力之旅。 罗素不仅用吸引人和有说服力的方法说明了人工智能带来的风险，还展示了可行的处理方案。
麦克风主题标记( max tegmark )
《生活3.0》的作者
罗素与未来学者和警告人工智能风险的人不同，他是人工智能行业的专家。 这本书比其他我认识的书更能告诉公众，而且这本书令人愉快而振奋。
朱迪亚珍珠( judea pearl )
贝叶斯网络之父，“为什么”的作者
这篇文章美丽的书处理着人类面临的基础挑战:越来越智能的机器按照我们的要求行动，但不按我们的意图行动。 如果你关心我们的未来，一定要看看。
约书亚·本肖( yoshua bengio )
2019年图灵奖获得者，《深度学习》作者
目录:
前言//v
01如果成功的话
你是怎么来到今天的？ //006接下来会发生什么？ //008有什么问题吗？ //010我们能处理吗？ //013
02人类和机器的智能
智能//017计算机//035智能计算机//043
03人工智能将来如何快速发展？
近未来//067超人工智能什么时候来？ //080概念上的突破正在接近//082超级智能机//095超级智能机的极限//098想象人工智能如何造福人类//100
04滥用人工智能
//107致命的自主武器//113监督、说服和控制其他人的作用//127
05太聪明的人工智能
大猩猩问题//137迈达斯国王问题//141恐惧和贪婪:工具目标//145智能爆炸//147
06不那么伟大的人工智能争论
//154否定转移话题//162部落主义//166难道我们…… //168
恢复讨论//176
07人工智能:不同的方法
机器的大致//182乐观的理由//188谨慎的理由//190
08能说明有益的人工智能
从数学保证//197行动中学习偏好//202辅助游戏//205的要求和指示//215“积极牦牛”//218递归自我完全//220
09许多复杂的课题:我们
不同的人//227人以上//229善良可恶嫉妒的人//242愚蠢感情的人//247人真的有喜好吗？ //250
10问题解决了吗？
有益的机器//263人工智能管理//265滥用//269衰弱和人类自主//270
附录a查找处理方案//273
附录b知识和逻辑//283
附录c不明确性和概率论//289
附录d从经验中学习//301
谢谢//311
评论//313
图像版权//357
