by John Nosta
超级智能的发展是科学家们争论不休的话题。超级智能是从更传统的通用人工智能(AGI)概念演变而来的。这种功能强大的技术可能在目前的十年内出现，可能解决重大的全球问题，也可能导致人类的权力丧失或灭绝。
OpenAI（美国人工智能研究公司）的战略包括创建一个具有人类水平能力的自动对齐研究人员，并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能对齐，需要人工智能对齐技术的创新、广泛的验证和对抗性压力测试。
OpenAI正在投入大量资源和研究来应对这一挑战，并鼓励杰出的研究人员和工程师共同努力。然而，术语从通用人工智能到超级智能的转变，是否会对围绕人工智能风险和收益的持续争论产生深远影响，还有待观察。
OpenAI强调了超级智能的潜力，它可能是有史以来最有影响力的技术，能够解决重大的全球问题。然而，它也承认与超级智能相关的巨大风险，人类被剥夺权力甚至灭绝。
尽管超级智能看似遥远，但OpenAI相信它可能会在这十年内出现。管理这些风险需要新的治理机构，并应对使超级智能与人类意图保持一致的挑战。有趣的是，OpenAI使用的是这个术语，而不是更传统的通用人工智能(AGI)。他们的理由如下：
在这里，我们关注超级智能，而不是通用人工智能，以强调更高的能力水平。在未来几年里，我们对这项技术的发展速度有很多不确定性，所以我们选择瞄准更困难的目标，以校准一个更有能力的系统。
当前的人工智能对齐技术，例如根据人类反馈进行强化学习，不足以控制潜在的超级智能人工智能。人类无法可靠地监督比我们聪明得多的系统，现有技术也无法扩展到超级智能。OpenAI强调需要科学和技术突破来克服这些挑战。
OpenAI的方法涉及构建一个具有大致人类水平能力的自动对齐研究人员。大量的计算资源将被用来扩展他们的努力，并迭代地调整超级智能。关键步骤包括开发可扩展的训练方法、验证生成的模型以及对对齐管道进行压力测试。根据OpenAI公告的标题，这个概念被称为超级智能对齐。
为了解决评估对人类具有挑战性的任务的困难，可以采用人工智能系统进行可扩展的监督。将监督推广到无监督任务，以及检测有问题的行为和内部结构，对于验证一致性至关重要。对抗性测试，包括训练未对齐的模型，将有助于确认对齐技术的有效性。
OpenAI预计，随着对该问题的了解越来越多，其研究重点将会发生变化，并且他们计划在未来分享他们的路线图。他们组建了一支由顶尖机器学习研究人员和工程师组成的团队，致力于解决超级智能对齐问题。OpenAI将在未来四年内将其20%的安全计算投入到这项工作中。
虽然不能保证成功，但OpenAI仍然乐观地认为，集中一致的努力可以解决这个问题。他们的目标是提供证据和论据，让机器学习和安全社区相信问题已经解决，他们正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI鼓励杰出的研究人员和工程师，即使是那些以前没有从事过对齐工作的人，也加入到他们的努力中。他们认为超级智能对齐是最重要的未解决的技术问题之一，并认为这是一个易于处理的机器学习问题，具有重大贡献的潜力。
关于人工智能、通用人工智能以及从实用到人类毁灭等复杂的相互关联问题，激烈争论似乎正在形成新的裂痕。如今，词汇已经发生了一些变化，但尚不清楚这是科学还是语义。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
