Probing Syntax in Large Language Models: Successes and Remaining Challenges

文章主要内容总结本文聚焦大型语言模型（LLMs）中句法结构的探测问题，通过分析两种主流结构探测工具（Structural Probe和Polar Probe）在自然语料库和受控数据集上的表现，揭示了当前句法探测工具的优势与局限。研究发现：结构探测工具受表层特征影响：两个词在句子中的线性距离越近，探测工具越可能将其判定为句法关联。探测工具在处理特定语言特征时存在挑战：难以准确表征深层句法结构，易受干扰名词（interacting nouns）或不合语法的动词形式干扰。词的可预测性（predictability）对探测工具的表现无显著影响。此外，研究还对比了探测工具与人类句法处理的相似性（如均受干扰名词和不合语法形式影响），但也指出二者存在本质差异（如探测工具对线性距离的过度敏感）。最终，作者提出了一个基于受控刺激的基准测试集，用于更系统地评估句法探测工具的性能。创新点研究方法创新：突破以往基于自然语料库聚合分数的评估方式，采用受控数据集（操纵线性距离、句法深度、干扰因素等变量），实现对探测工具性能的精准分析。关键发现：明确线性距离和句法深度是影响探测工具性能的核心因素，而词的可预测性无显著影响，为优化探测工具提供了方向。基准测试集：构建了包含介词短语（PP）、中心嵌入（CE）、右分支（RB）等结构的受控数据集，为句法探测工具的评估提供了标准化工具。