我们提出了一种方法，通过文本模块和自然语言解释，提供对黑盒文本模块的清晰理解，并评估解释的可靠性。这种方法被命名为SASC，即总结和评分（SASC）。SASC旨在解决大型语言模型（LLM）日益增长的不透明性问题，通过生成关于文本模块作用的自然语言解释，并给出解释的可信度评分。 在论文《Explaining black box text modules in natural language with language models》中，我们深入探讨了SASC在不同上下文的应用。首先，我们对合成模块的SASC进行评估，结果显示，解释经常能够恢复基本事实。其次，通过应用SASC到预先训练的BERT模型发现的模块，我们能够深入分析模型内部。最后，SASC应用于对语言刺激单个fMRI体素的解释，显示了在细粒度大脑映射方面的潜力。 为了全面评估SASC，我们从两个角度进行研究。一方面，在合成模块上验证了SASC的解释能力，发现它在不同实验条件下通常能够恢复基本事实。另一方面，通过将SASC应用到应用字典学习后的BERT模型中发现的模块上，我们发现其解释质量与人类评价相当，无需人工注释。同时，我们观察到，有助于下游文本分类任务的BERT模块，往往与任务相关性较高的解释。 通过SASC恢复的解释，我们深入理解了BERT模块对各种现象的反应，从单个单词到广泛的语义概念。此外，我们将SASC应用于训练后的模块，以预测fMRI测量的单个大脑区域对语言刺激的反应。研究结果表明，功能磁共振成像模块的解释更多涉及社会概念，如关系和家庭，而BERT模块则可能侧重于不同大脑区域对语义概念的选择性。这些解释提供了关于不同大脑区域选择性的精细假设。 欢迎初学者加入「ChatGPT群」，与志同道合的伙伴一起探索ChatGPT领域。添加微信「SGTer002」，备注知乎+GPT即可加入。 以下是推荐的几篇相关研究论文： 1. 清华大学提出UNTER，用于增强预训练语言模型的统一知识接口。 2. 斯坦福大学研究如何在降低成本和提高性能的同时，利用大型语言模型。 3. 阿里巴巴和Intel从统计方法到深度学习，对自动关键词预测进行调查。 4. 腾讯与北京大学提出生成具有自我记忆的检索增强文本。 5. Google提出使用较少训练数据和较小模型大小，性能优于大型语言模型的逐步蒸馏方法。 6. Amazon提出SCOTT：一致性思维链蒸馏。 7. Intel与微软探讨LLM中的语言不平等性，通过跨语言思维促进多语言能力。 8. Intel研究大型语言模型时代的开放领域问答评价。 9. 谷歌、复旦大学和Intel联合研究AfriQA，针对非洲语言跨语言开放检索问答。 10. 微软提出CoD：在大型语言模型中的词典链提示推理翻译。 11. ICML 2023探讨指令调整过程中的语言模型中毒问题。 12. 腾讯研究使用大型语言模型进行机器翻译的新趋势，以ChatGPT为例。 13. 谷歌提出通过提示大型语言模型进行查询扩展。 14. 中科院提出FreeLM，微调自由语言模型。 15. 中科院提出X-LLM，通过将多模态视为外语来引导高级大型语言模型。 16. 浙江大学提出GPT-RE，使用大型语言模型进行关系提取的上下文学习。 17. 哈尔滨工业大学提出LMEye，适用于大型语言模型的交互式感知网络。