如今的 AI 领域，大多数大语言模型在很大程度上仍以「黑箱」方式工作，即使是专业的研究者也难以完全理解它们的内部计算过程。因此，提升模型的透明度有助于分析和解释大语言模型产生幻觉、行为不稳定或在关键场景做出不可靠判断的潜在原因。
就在今天，OpenAI 发布了一项新研究，使用新方法来训练内部机制更易于解释的小型稀疏模型，其神经元之间的连接更少、更简单，从而观察它们的计算过程是否更容易被人理解。
与普通模型不同，OpenAI 发现可以从该稀疏模型中提取出简单、易于理解的部件来执行特定任务，例如在代码中正确结束字符串或跟踪变量类型。
下图为整体方法概览，首先训练权重稀疏的模型，然后针对精心挑选的一系列简单行为，将模型剪枝到仅保留完成该任务所需的节点子集。
论文一作 Leo Gao 表示，「通过隔离稀疏模型内部负责各种简单行为的微小电路，以前所未有的方式理解语言模型。」
