OpenAI的研究团队近日提出了一种名为“深思熟虑的对齐”（Deliberative Alignment）的新方法，旨在解决大语言模型（LLMs）在遵守道德和安全准则方面的挑战。现有的对齐技术，如监督微调（SFT）和来自人类反馈的强化学习（RLHF），虽然有效，但存在被操纵的风险，可能导致生成有害内容或拒绝合法请求。

“深思熟虑的对齐”方法通过直接教授模型安全规范，并训练它们在生成响应之前推理这些准则，将安全原则融入推理过程中。该方法分为两个阶段：第一阶段，监督微调训练模型参考并推理安全规范；第二阶段，强化学习使用奖励模型，根据安全基准评估性能，进一步完善模型的推理。

与依赖人工标注数据的方法不同，“深思熟虑的对齐”使用模型生成的数据和思维链（CoT）推理，降低了安全训练的资源需求。OpenAI的o1模型已部署该技术，在抵抗越狱提示方面表现出色，在StrongREJECT基准测试中得分为0.88，显著高于GPT-4o的0.37。此外，该技术还可以减少误拒，在XSTest数据集的良性提示中，o1模型的准确率高达93%。

“深思熟虑的对齐”通过训练模型明确推理安全策略，为复杂的伦理挑战提供了可扩展且可解释的解决方案。