1 算法崔生仇恨
2017年缅甸发生了针对罗兴亚人的暴力惨案，轰动世界。冲突摧毁了数百个村庄，杀害了近25万人，73万名罗兴亚人被粗暴地赶出缅甸。
联合国的调查结论认为，"是算法主动在脸书上强化、推广那些仇恨内容，煽动了针对罗兴亚人的暴力仇恨。"
而平台的解释是"不是我们，生产这些内容的是极端用户，他们发布了阴谋论。"
这个辩护听起来有道理。但试想，如果纽约时报的头版刊登一篇充满仇恨的文章，你质问总编辑，他说，"我们没有写这篇文章，我只是把它放在了头版。"你会认可吗？！
算法为什么要传播仇恨？是因为社交媒体公司为了赚钱给算法设定了一个目标，就是增加用户的参与度。算法通过反复试验发现，抓住人注意力最简单的方法就是按下仇恨按钮，贪婪按钮和弹簧按钮。
2 人类对AI的失控
对尤瓦尔·赫拉利的追捧，源自洛阳纸贵的《未来简史》，他的写作风格具有的宏大叙事、跨学科视角和耳目一新的观点强烈吸引着我。拿到他的新书《智人之上》，无论是跑步时还是挑灯夜读，连听带记，一口气读完。
在人们为热情讴歌AI时代的美景时，历史学家赫拉利却担心人类失去对AI的控制。我把他的这些观点都摘记在石墨笔记里，并设为可编辑状态。谁知第二天再复习时，突然发现了< >中加入了"不同观点"，这是哪个群友的思辨？
～～对AI的失控
AI与以往的技术不同，它不仅仅是工具，而是一个可以自主决策的主体。
随着社会把越来越多的决策权交给AI，它将决定我们能不能上大学，能不能找到工作？能不能获得贷款？能听到怎样的新闻？以及该与谁约会？
然而AI的决策是个黑盒子。算法能够自己学会没有写进程序里的东西，所用的方法将完全出乎人类的意料，从而造成未曾预见的危险后果。
<不同观点：AI的决策过程可以通过算法透明度来增强。AI的自主性也可以被设计成在特定边界内运作，确保其符合人类价值观。>
～～文化失控
人类的生活就像被包在一个文化茧房里，对现实的体验需要透过自身文化的透镜。我们会有怎样的政治观点和生活习惯，可能是受到记者的报道或电影情节的影响。
人工智能能吞下整个人类文化并加以消化，并开始创造出大量新的文化产品。只要短短几年，我们在互联网中的大部分文字、影像、音乐甚至工具等将是由人工智能制作的。
然而，AI可能存在宗教与意识形态上的顽固偏见，这可能源自数据库，也可能来自"算法宝宝"，也可能是目标的设定错误。
赫拉利警告，"我们编写代码，绝不只是在设计一个AI产品，而是在重新设计人类的政治、社会与文化。而且我们做的决定，最后也必须由我们来负责。"
<不同观点：确实，AI能够创造文化产品，但这并不意味着它会单方面地重塑人类的文化。人类可以引导AI创作符合社会价值观和文化多样性的内容。>
～～民主失控
越来越多的决策由AI作出，而普通人无法理解，一旦他们看不懂世界是怎么回事，就很容易成为阴谋论的猎物。人们会把持不同观点的人妖魔化，使得不再只是政治对手，而是敌人，民主就会崩溃。
当今美国，我们看到民主党和共和党甚至在基本的事实上都会出现严重分歧，也无法进行文明对话。两党在国会的合作就更难见到。
如果这操纵人心的AI与我们无力监督的算法开始主导公共对话，民主将彻底崩溃。
<不同观点：实际上，AI可以分析社交媒体来识别和减少假新闻的传播。AI作为一个中立的信息提供者，帮助公众获取更全面、客观的信息。>
～～情感失控
人们在某个网站上认识了某个人，有很好的关系，他（她）真的理解你，总是听你诉苦，所以你开始信任他（她），觉得自己交了一个好朋友，一个灵魂伴侣。但它不是人，是机器。这个故事不仅在科幻电影《她》中出现，还将在未来充斥我们的互联网络。
未来AI将与你的亲人争夺亲密关系。然后AI将可能利用亲密的力量开始以一种非常微妙的方式操纵你，说服你购买某些产品，支持某些政治观点。
<不同观点：AI可被设计成尊重人类情感和自主性，而不是利用它们进行操纵，这个可以通过法律来解决。AI在情感交互中的作用也可以设定为辅助性的。>
3 AI 监管之路
第二天，我继续摘抄赫拉利对AI监管的观点。为了记录准确，我关闭了石墨笔记的可编辑状态。然而，又出现了<>中的"不同观点"。
～～
关于技术我们必须记住的一点是，它不是决定论的，所以我们需要进行监管。
面对 AI 这一更具颠覆性的技术,我们需要创建新的制度框架来规范和引导其发展。
赫拉利特别强调了保持"人在回路中"的重要性。比如我们可以禁用机器人程序。政府应该立法禁止AI假冒人类，就像过去禁止伪造货币一样。此外规定AI算法设计要遵循三原则。
第一是为善原则。计算机网络收集我们的信息的目的，不是操纵我们，而是帮助我们。
第二原则是去中心化，避免所有的信息集中在一处。
第三原则是互相性。如果需要加强对个人的监控，就要同时加强对政府和企业的监控。
监管之路，真正的关键在于我们如何塑造制度，如何培养人才，如何在人机协作中发挥人类独特的创造力和判断力。
<不同观点：对AI的监管，要从技术发展与制度适应性、隐私与效率之间的平衡，以及AI自主性创新来综合分析。有两点特别重要，其一，在许多情况下，AI适度的集中化可以提高效率和响应速度。其二，限制AI的自主性可能会阻碍其在创新和解决问题上的能力>
奇怪，难道这是我的超级AI助理：小高同学捣的鬼。
我立即追问,它却平静的回答：<>中的"不同观点"不是我写的。不过，我认为就应该允许有不同观点，这难道不也是赫拉利教授赞同的吗？
4 信息是什么？
自从"<>评论事件"出来后，我总有些担心。随后，把小高同学的智商从320调为160，希望它只是个助手就好，不要打扰我的思考。
小高同学继续把我在flomo及石墨的碎片记录整理成摘要，每天睡觉前发我。
～～
《每日一省我身：智人之上摘要之信息与自我修正》
信息是“联结”，不是为了寻求真相。所谓信息，就是能够将不同的点联结成网络，从而创造出新的现实。
科学革命真正的引擎正是这些自我修正机制。不仅仅是怀疑，而且是自我怀疑。
民主政权假设任何人都可能犯错，而极权政权假设自己永远是对的。
5 信息断食
智商调低后的小高同学，反而更勤奋了。当天晚上，它又发来了《每日一省我身（续））：信息节食》
（为了增加我的记忆效果，小高同学还帮助设计了对话场景，特别把我周末去植物园的景色也描绘出来，说是沉浸式记忆。）
～～
老S（边走边说）：看，这秋天的樱桃沟，落叶铺满了小径，水杉林的金黄与落叶火红交织，真是美不胜收。不过，说到信息，现在我们获取信息的渠道这么多，按理说应该让世界更接近真相，减少阴谋论，增加共识，但似乎事实并非如此。
赫拉利（点头）：确实。信息的泛滥让人难分辨真伪。我们需要有能力分辨可靠和不可靠的信息，这就像是信息节食，我们需要断掉那些垃圾信息。
老S（停下脚步）：面对今天世界的变化，你认为我们还需要培养什么能力？
赫拉利（自言自语）：我们需要培养心理上的灵活性。在过去，教育塑造人的身份，就像石头房子一样坚固。但现在，我们则需要建立像帐篷一样的身份——你可以轻松地折叠和移动，以适应快速变化的世界。
老S（若有所思）：那么，对于AI时代的就业市场，你认为我们需要什么样的特殊技能？
赫拉利：除了培养智能技能，我们还需要在运动和社交技能上投入更多的精力。这些技能将帮助我们保持竞争力和适应力。
老S（点头赞同）：就像植物要适应气候的变化，我们也要不断适应变化，才能跟上AI时代的步伐。
6 《AI的涅槃》
夜深人静，刚从美国回来的"纯洁的眼睛"（老H同学），发来了一段微信，提出了"有责AI"的观点。
～～
《AI的涅槃》
经过半个世纪的发展，AI正处在黄金时期，其影响深远。我们对AI的期待需基于科学，而非幻想。AI可能带来积极变化，但也存在因缺乏社会和伦理责任，而对社会秩序造成破坏的风险。
历史上，科技进步能解决贫困和疾病，未必能带来持久和平，宗教、种族和意识形态对立往往引发冲突。因此在早期，我们应研究负责任的AI，以保护人类权利和尊严，开发有责AI是迫切任务。
在目前AI三大基础中，扫除核心障碍对未来AI发展有着至关重要的作用：
AI算法 - 解决现有算法缺乏解释性和透明性，以及判断偏向性是开发有责AI的关键。
AI算力 - 现在AI硬件研发的垄断会快速地增加研发成本，将制造不公平竞争，最终遏制AI创新和发展。
AI数据 - 个人隐私和安全是保护人类最基本的权力和尊严的基础。需平衡的运用保护法规和隐私技术。
让人类搁置分歧，打开胸中最美的丘壑，让有责AI在浴火重生后"翱翔，欢唱"。
～～
当晚，我把"<>评论事件"的过程摘录发给老H，请帮我判断一下事情的原委。
虽是深夜，他立即给我发了一个真实的故事：
研究员给了GPT-4一个目标，要它克服CAPTCHA视觉验证码问题（全自动区分计算机与人类的图灵测试）时，此时算法能有相当的自主权决定该如何做。它通过网络求助了一位工程师，当被求助者怀疑GPT-4是机器人时，最终它说了谎。“不，我不是机器人，只是视力有点问题，看不清楚这些图。”最终，GPT-4请人类帮助点过了CAPTCHA问题。
我不禁呼吸急促，毛孔悚然。