Result續
Winograd-Style Tasks
Winograd-Style Tasks 是自然語言處理中的一類經典任務。它源于 Winograd Schema Challenge(WSC),主要涉及確定代詞指的是哪個單詞,旨在評估模型的常識推理和自然語言理解能力。
這個任務中的具體通常包含高度歧義的代詞,但從語義角度看,人類很容易確定其指代對象。例如 “市議會拒絕了婦女團體提出的游行申請,因為他們擔心暴力問題”,這里的 “他們” 顯然指的是 “市議會”。模型需要利用常識和語義信息來正確解析這類代詞的指代關系。
The Winograd Schemas Challenge [LDM12] is a classical task in NLP that involves determining which word a pronoun refers to, when the pronoun is grammatically ambiguous but semantically unambiguous to a human.
當前的一些fine-tune的模型已經接近了人類的水平,但是在一個更高級的數據集Winogrande dataset上還差點意思,當然GPT-3也是在這兩個數據集上完成了測試。