AUTOPROMPT
預訓練語言模型的顯著成功促使人們研究這些模型在預訓練期間學習了哪些類型的知識。將任務重新表述為填空題（例如，完形填空測試）是衡量此類知識的自然方法
但是，它的使用受到編寫合適提示所需的手動工作和猜測的限制。為了解決這個問題，我們開發了 AUTOPROMPT，這是一種基于梯度引導搜索為各種任務創建提示的自動化方法。
使用 AUTOPROMPT，我們表明掩蔽語言模型 （MLM） 具有執行情感分析和自然語言推理的固有能力，無需額外的參數或微調，有時可以達到與最近最先進的監督模型相當的性能。我們還表明，與 LAMA 基準上手動創建的提示相比，我們的提示從 MLM 中獲得了更準確的事實知識，并且 MLM 可以比監督關系提取模型更有效地用作關系提取器。
這些結果表明，自動生成的提示是現有探測方法的可行無參數替代方案，并且隨著預訓練 LM 變得更加復雜和功能強大，有可能替代微調。
AUTOPROMPT 的自動化提示生成方法，旨在讓預訓練語言模型（如BERT、RoBERTa）無需額外微調或添加參數，就能通過自動生成的提示完成多種任務。
