Flat-Lattice Transformer（FLAT）在中文实体识别任务中通过引入相对位置编码和mask attention机制实现了SOTA效果，其核心创新在于将lattice结构“拉平”为序列输入，并通过字符与词汇的充分交互提升性能。以下从效果复现、原理分析、关键细节三方面展开：一、效果复现结论在真实场景7类NER任务中，FLAT+BERT（12层）模型实现了最优性能，具体指标如下：精确率73.82%，召回率71.34%，F值72.56%，显著优于基础BERT模型（12层F值70.61%）。对比实验表明，仅增加词位置编码（50维向量）即可使BERT（12层）F值提升0.77个百分点（70.61%→71.38%），验证了词位置信息对模型性能的关键作用。6层BERT与FLAT结合时效果下降明显（F值66.89%），甚至低于单独使用6层BERT（F值68.10%），推测为超参数调节问题。图1：FLAT与BERT系列模型性能对比二、原理分析：FLAT的核心创新1. Mask Attention机制：拉平Lattice结构传统LSTM的局限性：Lattice-LSTM通过图结构处理词汇信息，但无法高效并行计算，且长依赖建模能力较弱。FLAT的解决方案：采用mask attention机制，将词汇与字符统一为序列输入，同时通过mask操作保留词汇的包含关系（如“重庆”包含“重”和“庆”）。优势：结合Transformer的并行计算能力与语义编码优势，解决LSTM的效率问题。2. 相对位置编码：字符与词汇的直接交互设计动机：传统绝对位置编码（如正余弦函数）无法捕捉字符与词汇间的相对位置关系（如包含、交叉、分离）。实现方法：起止位置编码：为每个字符/词汇分配头（head）和尾（tail）位置坐标。四类距离矩阵：计算头-头（hh）、头-尾（ht）、尾-头（th）、尾-尾（tt）的相对距离，拼接后通过非线性变换生成位置编码向量。公式：其中，( R_{ij} )为字符( x_i )与( x_j )的相对位置编码，( mathbf{p}_d )为绝对位置编码。效果：通过显式建模字符与词汇的相对位置关系，增强信息交互，相当于融入外部先验知识（如词汇表）。3. 模型结构优化输入层：字符序列与词汇序列合并，每个token分配头尾位置编码。注意力层：基于相对位置编码的self-attention，允许字符与词汇直接交互。输出层：拼接BERT字符向量与外部词向量（如50维分词向量），通过全连接层映射到标签空间。图2：FLAT模型相对位置编码与注意力计算流程三、关键实验与细节1. Mask操作的影响FLAT-msm：屏蔽包含关系的token注意力（如“重”无法看到“重庆”），导致F值大幅下降（性能损失显著）。FLAT-msd：屏蔽距离过长（>10）的token注意力，导致F值小幅下降。结论：字符与包含它的词汇之间的充分交互是模型性能提升的关键。图3：Mask操作对模型性能的影响2. 词位置编码的简化实验方法：对句子分词后，单字词位置编码为0，多字词开始/中间/结束位置分别编码为1/2/3，生成50维向量与BERT输出拼接。结果：在多个测试集上实现0.3-0.7个点的F值提升，验证了词位置信息的重要性。3. 复现注意事项外部向量：使用giga_un50.vec（单字）、giga_bi50.vec（二元）、ctb50.vec（多字词）作为外部词向量。维度整合：将BERT字符向量（768维）与50维词向量拼接后，通过全连接层映射到160维。超参数敏感度：6层BERT与FLAT结合时效果下降明显，需优化学习率、批次大小等参数。四、总结FLAT通过mask attention拉平Lattice结构、相对位置编码增强字符-词汇交互，在中文NER任务中实现了SOTA性能。复现时需注意外部词向量选择、维度整合方法及超参数调节。其核心思想为将结构化知识（词汇）融入Transformer的序列建模中，为中文NER提供了高效解决方案。代码与论文参考：论文：FLAT: Chinese NER Using Flat-Lattice Transformer代码：Flat-Lattice-Transformer