我学到的越多，我就越意识到我不知道多少。 - 艾尔伯特爱因斯坦
当我们从慈善事业开始时，我的妻子卡里（Cari）进行了一次聆听之旅，试图制定我们的策略。我们试图学习有关选择原因领域和策略的一些基本原则 - 我们如何作为慈善家和作为这项首都的管家做好工作？几乎普遍地，人们会指导我们，这主要是关于个人利益的 - 我们对什么充满热情？
我们知道我们想帮助人们。我们知道我们想避免官僚主义和浪费，并做有效影响的事情。在业务中，我习惯于根据其相对影响对可能性清单进行排序，从而分配预算，我认为我可以期望慈善事业类似。只要我们有目的地和周到地选择这些领域，我们的基金会，良好的冒险是以巨大规模的杠杆作用，大规模地产生影响的机会。需要明确的是，其他慈善家及其顾问选择了焦点区域（或区域）之后，也很常见。但是，我们找不到习惯于在选择焦点领域之前策略性思考的人，这是我们现在称为战略原因选择的概念。我们不知道很难找到一个可以帮助我们回答我们理解的最重要问题的人。
2010年，作为卡里（Cari）旅程的一部分，我们遇到了霍顿·卡诺夫斯基（Holden Karnofsky）和埃莉·哈森菲尔德（Elie Hassenfeld）。在职业生涯的早期储蓄之后，他们开始了类似的研究努力。起初，他们认为很容易找到有关有效性问题的答案，但是由于缺乏具体，组织良好的公共信息以及以前的研究比较各个因果领域的结果，他们一次又一次地阻碍了他们。最终，他们成立了一个新组织来创建他们缺少的资源： ivewell 。
我们之所以开始合作，是因为我们都对同样的问题感兴趣：我们如何做最大的好处？多年来，一个社区发展了有效的利他主义，这是一个致力于这个问题的，尽管实际上，它由各种群体和信念组成，与核心研究项目直接和间接联系。在我看来，这些群体之间的区别来自两个地方：关于“如何”的不同答案，以及对“最美好”的观点。
他们锚定的是渴望找出一种明智的付出方式，而当您这样说，这绝对是正确的问题。 - 克里斯·安德森（Chris Anderson）
有效的利他主义作为一个问题不是规范性的，这意味着每个人都以自己的方式参与。当我想到我与对有效利他主义感兴趣的人之间的关系时，我们在调查这个问题上有一个共同的兴趣，实际上是在解决问题的工作中实际上做的工作，而不是我们有一系列共同的答案。有一种迷恋和共同的好奇心 - 的确，您经常发现社区中的同一个成员在观点之间浮动，甚至是对冲他们如何捐款（即“一种投资组合方法”）。
当一个小组具有共同的身份感时，其中的人仍然不是全部，一个具有一大堆共同信念的同质群体 - 但是他们经常被认为是这样的。一定是，您参与群体的表征是通过赋予其广泛，清晰的属性，这些属性描述了小组中的人们如何相似或与更广阔的世界相似或与众不同。但是，作为一个试图理解自己的小组中的一个人，这会被翻转，您可以更轻松地看到自己的区别。这些扫描属性中的任何一个都适用于该小组的某些属性，当您显然不认同许多人，尤其是最强烈的信念的人时，很难与小组认同。我经常观察到，在一个自相矛盾的人群中，人们在小组以外的知名度最多，这正是因为他们说的是不熟悉和有争议的事情。
同样，一些有效的利他主义者已被称为运动的特别重要例子，因为他们对大问题的答案具有规定性。另一方面，相反的极端没有更多的意义：任何人都很难在没有一些信念的情况下吸引帮助世界。有效利他主义的中心紧张来自每个人之间的生活方式。人们在哪里断言信念，以及他们在哪里有资格和对冲信念，并谦卑地对待这个问题？
认知谦卑 - 如何做最大的善事？
当我们开始旅程时，我们会遇到更远的慈善家，他们会给我们对问题的自信答案。 “帮助人们摆脱极端贫困的最佳方法是什么？”我们会问，他们会说：“啊，最重要的是获得清洁水，这就是为什么我们努力钻井的原因。”这会刺激许多后续问题 - 他们还考虑了什么？他们如何决定井是其中最重要的？井是在某些条件下或仅在某些条件下提供清洁水的最佳解决方案吗？它们到底是什么意思？我们发现，对答案的信心通常不会对这类问题感到好奇，这使我们很难感到自己坚信自己。
同样，当与他人谈论帮助动物的相对重要性时，我经常听到人们在沙滩上画出明确的线条，例如“只有灵长类动物”，“没有意识”等。他们说这些话可以清楚地表明我们无可救药地误导了我们的任何资本和努力帮助动物而不是人类。我的态度更像是“意识是什么？”和“成为蝙蝠是什么感觉？ ”我以为我知道在研究它之前通常是如何养育动物的，Å，但对于这些关于他们的生活的基本问题，我几乎没有任何基础。最后，我得出的结论是，专家之间的共识比我想象的要少。答案是哲学，而不是科学，即使在最大的问题上，哲学家也不同意彼此。
面对不确定性，将信念变成行动
我担心，说明方便的答案是正确的答案，因此很容易地将自己置于默认位置。因此，不得不采取行动来减轻似乎有可能在难以想象的规模上造成伤害的事情。我不确定是否是出于道德义务的意识而这样做，因为遗憾的是最小化，以及对痛苦的简单同情，至少在似乎已经存在的工作中做出了非常令人信服的工作。
我们几乎所有的慈善事业似乎都遇到了自信的批评家。目前最受欢迎的反驳是“ Ai X-striss不是真实的”的断言。我长期以来说，我在AI风险辩论中最不了解的人是对AI会或不会摧毁我们的100％信心的人 - 无论哪种方式，他们怎么能真正知道这样的事情？关于这项前所未有的技术（如果创造的话）是理论，而不是科学，那么专家即使在最大的问题上也不同意彼此。
对我来说，决定减轻先进AI的潜在危害的决定既不是对高灾难（“末代理”）的高可能性的信心，也不来自对预防原则的某种极端奉献。像我们的批评家一样，我梦想着如果以及我们成功地建立变革性的AI，人类蓬勃发展的可能性以及好处足以承受某种风险。帮助更快地建造它，但是我试图在论点和证据上进行客观地看待，并得出结论，这些风险足够大，足够真实，足以比人类当前更加认真。
我并不是说避免AI的存在风险本质上是极其困难的 - 我是说我们可能需要采取特定的安全和保障措施来避免它们。 - Ajeya Cotra
我相信我们可以做很多事情来减轻它们，并仍然获得变革性AI的好处，但是只有当我们尝试并尝试时，我们必须相信我们应该这样做。我并不感到惊讶，因为我自己在那个状态下度过了很多年，但是经过多年的考虑和反思，我再次感到不得不采取行动。与关于在AI中工作的有效利他主义者的流行叙事相反，我对减轻潜在风险的兴趣并不是源于对遥远未来的特定预测，而是对未来几十年的简单关注，当我和我关心的人是还活着关心发生的事情。我每天都不会觉得我们注定要启示录……但是关注的原因对我来说是有意义的，尤其是情况可能很快发展的事实。
实用的混乱
所有模型都是错误的，有些都是有用的。
从更基本的角度来看，有充分的理由在元素论上谦虚。由于数据篡改，动机推理，统计漏斗等，我们应该怀疑经验结论。我是一个堕落者，认为科学不断提高我们的假设质量，而没有真正确认任何事情。尽管如此，我相信，对我们所拥有的信息采取行动比我们一无所知。这样做意味着创建包括经验结论的模型，但对不确定性保持周到并迅速更新到新信息。
为了在我们选择的焦点领域采取行动，我们还必须与其他分享但不可避免的我们的信念的团体合作。尽管我认识的公开慈善事业的计划官员往往会站在谦虚，好奇的一面并与我们的个人价值观重叠，但多年来，他们也为不太完美的人们提供了赠款。我认为这是慈善事业的重要性 - 您必须围绕支持分享您的一些价值观但不是全部的人进行硬电话。有时您会知道自己正在做一个硬电话，有时您会追溯发现，因为新信息是灯光或过去支持的一组，随着时间的推移，您朝着更激进的方向移动。
道德不确定性 - 什么是好事？
在回答如何做最好的问题的问题时，您经常面临权衡取舍，尤其是围绕如何运用资本等资源来解决问题的问题。例如，如果您有兴趣帮助儿童死亡率，则可以查看向医院捐款与捐赠以帮助志愿者在家中吸引人们的相对影响。
类似于功利主义的事情是人们经常接近这种选择的方式。在这种情况下，我们会问这样的事情：每100,000美元的捐款年龄越来越多？这本身并不是真正的事情 - 大多数人，当然是机构，在面对这种问题时，自然会使用功利主义。
一些慈善家和机构将继续以更高的抽象来延续相同的逻辑 - 最佳，最具成本效益的方法是什么来帮助儿童？干预极端贫困？攻击问题的最高水平原因？
有效的利他主义者通过专注于战略原因选择，将事情进一步进一步。教育，气候变化和全球卫生与发展等良好的重点领域非常重要，并且有大量资源应对这些目的利用，但是人们倾向于不问这些问题是否是正确的重点领域。利润的下一美元应该怎么办？在所有事物中，可以最好地放置在哪里？在现有领域以及可以建立的新领域？
但是功利主义也有问题 - 现实世界涉及复杂的情况。您从来没有所有信息，尤其是关于选择的后果。显然，这是先验的情况，但是在选择之后也经常是正确的。第二/第三/等。-订单效应最终可能比直接后果更重要，您将无法全部衡量它们。许多人在评估最好的信息时可能会很糟糕 - 我们真的希望每个人都在判断自己吗？ FTX向我们展示了一路走这一想法的结果。
如果您最大程度地提高X，则默认情况下会遇到麻烦。您可能会破坏/淡化/缩短的很多东西，这些东西不是X，这在您看不到的方式上可能很重要。从概念上最大化X的最大化意味着将所有其他所有内容都放在X上 - 一个可怕的主意，除非您真的确定自己有合适的X。— Holden Karnofsky
除此之外，如果您不断乘坐功利主义列车，您就可以到达一些违反直觉的地方，例如Repugnant结论⁵和（强大的）长期主义。一些有效的利他主义者咬了所有这些子弹，但是社区内有各种各样的信念。
与很多事情一样，我真的不确定自己。我认为，功利主义对做出许多大小决定有帮助，并且有益于做出极端的大型和大型决定，而没有其他原因，因为除了选择不确定性时，出于实际原因而在您遵循这些道路时似乎继续增长。
因此，在许多情况下，功利主义指导我的思想，尤其是作为慈善家，但不确定性仍然使我遭受了许多情况，没有太多的东西可以提供。在实践中，我发现我每天都使用更像美德伦理的东西来延期限制。同样，我遵守法律，而不是根据案例决定违反法律是否会导致更好的结果。功利主义提供了智力北极星，但道义上的职责必定会影响我们走路的方式。
如何衡量好处？
所有这些框架的不确定性都在您甚至要解决您重视什么问题之前就出现了什么 - 什么是实用程序？是幸福，长寿/健康，赋予经济能力，公平等吗？同样，不同的有效利他主义者会给您这个问题的不同答案，但是对我来说，我很愿意说没有一个答案，没有一件事可以最大化。在实践中，我们最终以优先级的变化融合，而相对比率则取决于上下文和机会。我们试图抵制范围不敏感，但是确实遇到了它作为资源决策的一部分 - 例如，我们应该帮助数百万人类还是数百万只动物？如有疑问，我们会使我们多样化，但是这些仍然是非常困难的判断，我认为我们还没有得到所有正确的答案。
当EAS有太多信心时
并非所有EA都有这种认知谦卑。用他自己的话说，山姆·班克曼（Sam Bankman）是“相当纯粹的本泰米特功利主义者” - 除其他外，这意味着他是由正面的预期价值（EV）下注（EV）驱动的，很高兴以49％的失败机会承担任何风险，无论赌注多高，也是谁的赌注。他从字面上说，他假设他愿意在这样的赌博中赌全世界，因为也许无限的风险会带来无限的幸福。下来直到他丢失了全部。
在这样做的过程中，他与自信相结合了自信，然后迫切希望保护自己的自由和声誉。
我认为，当您异常确定自己的行动会提高效用而不是降低效用时，公民不服从 - 根据实用性原则故意违反法律。
可以肯定的是，您需要很好的证据，并且您可能想将其限制为您个人不是违法者的受益者的情况，以防止您的大脑思考虚假的道德论点每当您的自身利益中，都会违反法律。 -斯科特·亚历山大（ Scott Alexander）
SBF似乎并没有为避免偏见而尊重这种启发式，尤其是当他决定借用红色后借用客户存款时 - 对自己有明显，巨大的好处其他的。我不想生活在一个人与他人认为自己的赔率足够好时与他人的生计赌博的世界，少于整个世界。我通常不想生活在一个人自己决定哪些法律完全有效的世界中（尽管我必须在人们认识到整个历史上的许多重要社会变化只有可能是可能的，因为有些人确实做到了） 。
还有一个相邻的社区，理性主义者，部分影响了我处理问题的方式，例如使用侦察员的思维方式。在当前的社区的立场上，我感到一定的距离是因为他们使用理性来提出一些太自信的意见，即使他们令人钦佩地校准和对冲其他意见。作为前者的一个例子，AI风险的人相信厄运（Eliezer Yudkowsky）等厄运（Eliezer Yudkowsky）等厄运的可能性接近100％，〜都来自这个社区。他们有时还利用自己的信心来强调话语规则，例如高脱钩，我觉得他们走得太远，失去了历史经验和集体直觉的好处。我知道他们仍然对新的论点和证据开放，即使在元级别上，我主要希望他们会随着时间的流逝而细微，但我深切地担心这些实践会系统地偏向于他们的社区 - 因为反对者和更合理的声音选择退出 - 以一种可以创建意识形态锁定的方式。
正在进行中
进入童军的心态意味着想要您的“地图” - 您对自己和世界的看法 - 尽可能准确。
在FTX崩溃以及在Openai首席执行官戏剧的后果中，⁹呼吁人们有兴趣有效的利他主义对有效的利他主义进行深入反思，新证据的更新并迭代其原则。很难不反应：“是的，这实际上是他们一直在做什么吗？”我上面描述的尊重和智力谦卑的类型并不是SBF后出现的新思维，但这并不是他想做最善良的方式。
但是，这里有一种重要的元更新。即使社区的一部分宣讲过度自信和最大化，其他人也会非常字面地将这些想法视为。当他们以字面的解释行动时，社区内的其他人会看到这些例子并开始效仿它们，传播问题（或可能疏远并使社区造成损害）。
SBF向我们展示了如何在巨大的范围内进行较差。许多自我识别为EA的人也熟悉它在个人规模上的表现不佳 - 他们以努力做出的好处而闻名。有多种方法可以将其内部化为非理性的 - 即您想最大限度地提高自己的一生，必须以马拉松速度进行 - 但这也与我们的判断力限制有关。作为一种智力练习，寻找如何做最大的善良的答案以及作为一种实用的练习是有用的，我相信对这些知识采取行动。从抽象的角度来看，我想在时间和资源上尽力而为，但是实际上，我发现心态对此有所帮助，并且会变得更加美好，做得更好，这是由于对正确的事和谦卑的不确定性关于我可以实现的目标。
就目前而言，我受到可能性和危险关注的鼓舞。但是，这两种情绪都从认识到有效的利他主义问题很重要的意识到。它的答案可能永远不会是最终的，但是寻求它们的旅程可以帮助我们建立一种更明智，更有效的同情实践。
我鼓励EA社区和EASIN内部化并在课程上行动，并担心最大化的危险。社区已经存在了足够长的时间，以至于能够从更长时间的EAS的旅程中学习，现在他们有一个史诗般的比例悲剧，可以用作警示性的故事。最重要的是，我们拥有一个围绕学习和发展的社区，努力成长得更好。我们一直在尽力学习尽可能多的知识，而且我们从未对我们不知道的知识有更多的了解。
�像我一直在与其他时间交谈的其他人一样，我认为他们的生活通常会随着时间的流逝而变得更好，而不是普遍的现实，即成本最小化侵蚀了福利，从而系统地使事情随着时间的流逝而变得更糟。
²，即我们为消费而饲养的动物没有能力遭受有意义的痛苦
“发现常常是这种情况，我同样同意这些批评者，即放弃这些利益本身就是一种危害，是“疏忽的罪”。
⁴我什至会说我最初是在2010年代初作为替代性投资者的“加速主义者”。 （此后已获得替代。）
⁵令人反感的结论是一个哲学思想实验，它通过逐步的过渡表明，一个人口众多的生活几乎不值得生活的世界比一个人口较少的世界更好地被认为是更好的生活。
Sigal Samuel所描述的那样，这是“第3台：Galaxy-Brain长期主义”：“我们应该冒着大风险来构成长期未来的乌托邦式的观点”。
⁷对于许多观察者来说，所有这些都是可以预见的，您可以找到2021/2022的长时间交流，与试图使他摆脱困境的人们。
⁸和经验上，SBF似乎并不特别擅长评估赔率。
⁹…在很大程度上一直在很大程度上……NB我选择不在本文档中的OpenAI周期，因为最近的证据表明EA与发生的事情没有太大关系，即使人们认为EA都认为EA在开始。
和Ea-Adjacents！