EMNLP是計算語言學和自然語言處理領域頂級國際會議之一，屬于CCF B類，是由 ACL 下屬的SIGDAT小組主辦的NLP領域頂級國際會議，一年舉辦一次。相較于ACL，EMNLP更偏向于NLP在各個領域解決方案的學術探討。

今年的EMNLP 2023 已于2023年12 月 6 日 - 10 日在新加坡舉行。本次大會公布了最佳長論文獎、最佳短論文獎、杰出論文獎、最佳Demo獎等獎項，包含了今年爆火的ChatGPT 大模型、NLP 概念領域。

我這次幫大家整理了今年EMNLP 2023的獲獎論文，并且做了簡單的介紹，原文及源碼需要的同學看文末

最佳長論文

標題：Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

一種理解上下文學習的信息流視角

作者：Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun

「簡述：」論文在信息流視角下探討了大型語言模型（LLMs）的上下文學習（ICL）機制。研究結果表明，演示示例中的標簽詞作為錨點，在淺層計算層處理過程中，語義信息聚集到標簽詞表示中；標簽詞中整合的信息作為LLMs最終預測的參考。基于這些發現，作者引入了一種錨點重新加權方法來提高ICL性能，一種演示壓縮技術來加快推理，以及一種用于診斷GPT2-XL中ICL錯誤的框架。這些有希望的應用再次驗證了未被發現的ICL工作機制，并為未來的研究鋪平了道路。

最佳短論文

標題：Faster Minimum Bayes Risk Decoding with Confidence-based Pruning

基于置信度剪枝的更快最小貝葉斯風險解碼

作者：Julius Cheng, Andreas Vlachos

「簡述：」對于某些效用函數來說，最小貝葉斯風險（MBR）解碼器會輸出模型分布中期望效用最高的假設。據顯示，與束搜索相比，它在條件語言生成問題中提高了準確性，特別是在神經機器翻譯中、在人類和自動評估中都是如此。然而，標準采樣算法對于MBR的計算量要遠大于束搜索，需要大量的樣本以及二次調用效用函數，限制了其適用性。本文描述了一種MBR算法，該算法在逐步增加用于估計效用的樣本數量的同時，根據Bootstrap抽樣獲得的置信度估計修剪不太可能有最高效用的假設。

杰出論文獎

標題：Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents

作為重新排名代理調查大型語言模型

作者：Weiwei Sun, I ingyong Yan, Xinyu Ma, Shuaiqiang Wang, Pengjie Ren, Zbumin Chen, Dawei Yin,Zhaochun Ren

「簡述：」ChatGPT等大型語言模型在各種語言相關任務中表現出色，包括搜索引擎。它們不僅可以生成文本，還可以進行信息檢索和段落排名。本文首先調查生成式LLM（如ChatGPT和GPT-4）在IR中的相關性排名，在適當的指導下，這些模型甚至可以在流行的信息檢索基準上提供與最新監督方法相當甚至更好的結果。此外，為了解決數據污染問題，作者收集了一個新的測試集，以驗證模型對未知知識的排名能力。最后，作者提出了一種方法，通過使用排列消融方案，將大型語言模型的排序能力精簡為小型專業模型，以提高實際應用的效率。這些小型模型在BEIR基準上的性能優于更大的監督模型。

標題：SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization

百萬級對話蒸餾與社交常識情境化

作者：Hyunwoo Kim, Jack Hessel, Liwei Jiang, Peter West, Ximing Lu, Youngjae Yu, Pei Zbou,Ronan Le Bras, Malibe Alikhani, Gunbee Kim, Maarten Sap, Yejin Choi

「簡述：」SODA是一個公開的百萬級高質量社交對話數據集，解決了開放領域社交對話數據稀缺的問題。它使用知識圖譜獲取社交常識知識，并從大型語言模型中提取廣泛的社會互動。與以前的數據集相比，SODA中的對話更一致、更具體、更自然。使用SODA，作者訓練了COSMO，一個可泛化的對話模型，在未觀察到的數據集上比表現最佳的對話模型更自然、更一致。實驗表明，COSMO有時甚至比原始人類編寫的金標準響應更受歡迎。

標題：LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers

一種結合語言模型和一階邏輯證明器進行邏輯推理的神經符號方法

作者：Theo X. Olausson, Alex Gu, Ben Lipkin, Cedeao E. Zhang Armando Solar-Lezama,Joshua B. Tenenbaum, Roger P. Levy

「簡述：」LINC是一種用于邏輯推理的將語言模型與一階邏輯證明相結合的神經符號方法。這種方法將邏輯推理任務重新表述為模塊化神經符號編程，使大型語言模型能夠更有效地進行這種推理。通過將自然語言翻譯成一階邏輯表達式，并使用外部定理證明器進行演繹推理，LINC在FOLIO和ProofWriter等數據集上取得了顯著的性能提升。與GPT-3.5和GPT-4的思維鏈提示相比，LINC在ProofWriter上的得分高出38％和10％。這種方法的結合使用LLM和符號證明器可以解決自然語言邏輯推理的問題。

最佳論文 Demo

標題：PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents

用于處理、表示和操作視覺豐富的科學文獻的統一工具包

作者：Kyle Lo, Zejiang Shen, Benjamin Newman, Joseph Chee Chang, Russell Authur, Erin Bransom, Stefan Candra, Yoganand Chandrasekhar, Regan Huff, Bailey Kuehl, Amanpreet Singh, Chris Wilhelm, Angele Zamarron, Marti A. Hearst, Daniel S. Weld, Doug Downey, Luca Soldaini

「簡述：」盡管自然語言處理（NLP）和計算機視覺（CV）模型在學術領域的應用越來越受到關注，但科學文獻仍然具有挑戰性。它們通常以難以使用的PDF格式存在，并且用于處理它們的模型生態系統是分散和不完整的。作者介紹了PaperMage，一個用于處理和操作視覺豐富、結構化的科學文檔的開源Python工具包。它整合了最先進的NLP和CV模型，提供了一站式解決方案，簡化了文本和視覺文檔元素的表示和操作。PaperMage已經為多個研究原型的人工智能應用程序提供了動力，并被用于處理數百萬個PDFs的大規模生產系統。

最佳主題論文

標題：Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition

通過全球規模的提示黑客競賽暴露LLM的系統漏洞

作者：Sander Schulhoff,Jeremy Pinto,Anaum Khan,Louis-Fran?ois Bouchard,Chenglei Si,Svetlina Anati,Valen Tagliabue,Anson Kost,Christopher Carnahan,Jordan Boyd-Graber

「簡述：」大型語言模型越來越常被用在和用戶直接交流的場景中，比如聊天機器人和寫作助手。但是，這些模型很容易受到提示注入和越獄等攻擊，即黑客操縱模型忽略原有指令，執行惡意指令。為了解決這個問題，作者發起了一個全球范圍的提示黑客攻擊比賽，收集了大量針對最先進LLM的攻擊性提示。我們發現，這些模型確實可以被黑客操縱。作者還建立了一個全面的本體類型，描述各種攻擊性提示。

最佳行業論文

標題：Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems

基于全局索引的語音對話系統中的個性化密集檢索

作者：Masha Belyi, Charlotte Dzialo, Chaitanya Dwivedi,Prajit Reddy Muppidi, Kanna Shimizu

「簡述：」論文提出了一種新的方法，用于改進語音控制的AI對話系統中的實體檢索。這種方法可以抵抗語音變化和實體解析不清的干擾。它不局限于根據用戶歷史交互構建的個性化索引，而是將用戶的收聽偏好嵌入到檢索中使用的上下文查詢嵌入中。這使得模型能夠更準確地預測實體，并且在實體檢索任務上的表現比基線提高了91%。此外，作者還優化了這種方法，使其適應在線延遲的約束，同時保持性能的提升。

關注下方《學姐帶你玩AI》🚀🚀🚀

回復“EMNLP獲獎”獲取全部論文+開源代碼

碼字不易，歡迎大家點贊評論收藏