论文笔记：ACL 2021 JointGT一、论文概述本文提出了JointGT模型，旨在解决knowledge-graph-to-text generation（KG-to-Text）任务中面临的两大挑战：编码过程中结构信息的损失以及缺乏明显的图文对齐方法。JointGT通过设计一个结构感知的语义聚合模块来保存图结构，并提供了三个预训练任务以增强图文alignment。二、问题背景KG-to-Text任务要求生成的文本与输入的知识图谱（KG）具有一致性。然而，当前的KG-to-Text模型在编码过程中往往会损失图结构信息，同时缺乏明显的图文对齐方法，这限制了模型在生成文本时的准确性和流畅性。三、模型与方法结构感知的语义聚合模块JointGT模型的核心是在Transformer前添加了一个结构感知的语义聚合模块。该模块由三个部分组成：池化层：以原始Transformer的输出为输入，获取实体和关系的表示。结构感知自注意力层：基于图结构聚合实体表示，使模型能够捕捉到实体之间的关系信息。这一层的设计灵感来源于2018年的一篇论文，通过特定的算式将实体和关系融合到一起。残差层：混合文本表示和结构表示，确保模型在保留原始文本信息的同时，也能利用到图结构信息。预训练任务为了进一步增强图文alignment，本文提出了三个预训练任务：图增强的文本重构：通过添加或删除图中的实体和关系来生成增强的图，然后要求模型从增强的图中重构出原始文本。这一任务有助于模型学习到图结构对文本生成的影响。文本增强的图重构：对原始文本进行扰动（如替换同义词、删除句子等），然后要求模型从扰动后的文本中重构出原始的图。这一任务有助于模型学习到文本对图结构的影响。图文嵌入alignment：直接匹配图像和文本的隐藏表示，使它们在语义空间上更加接近。这一任务有助于模型在生成文本时更好地对齐图文信息。四、模型架构图上图为JointGT模型的架构图，展示了结构感知的语义聚合模块在Transformer前的位置以及其与后续解码器的连接关系。五、structure-aware self-attention层上图为structure-aware self-attention层的示意图，展示了如何将实体和关系融合到一起进行自注意力计算。这一层的设计是JointGT模型能够捕捉到图结构信息的关键所在。六、相关工作KG-to-Text生成修改编码器：通过设计更复杂的编码器结构（如GNN、graph Transformer）来更好地学习图表示。无监督训练：尝试在不使用标注数据的情况下进行文本生成。使用预训练模型：直接在KG到文本的数据集上微调文字到文字的训练模型。然而，这些方法往往忽略了图结构信息，且缺乏明显的图文对齐方法。KG增强的预训练模型ERINE、KnowBERT：使用基于TransE或词向量的固定实体嵌入方法。KEPLER、JAKET：对图文表示进行联合预训练。然而，这些方法更加注重图文联合编码方法，而本文工作聚焦基于知识图谱编码和序列解码的联合预训练方法。七、总结JointGT模型通过设计一个结构感知的语义聚合模块和三个预训练任务，有效地解决了KG-to-Text任务中面临的两大挑战。该模型在编码过程中能够保留图结构信息，并通过预训练任务增强了图文alignment，从而提高了文本生成的准确性和流畅性。未来工作可以进一步探索如何优化结构感知的语义聚合模块以及设计更多有效的预训练任务来进一步提升模型性能。