提示詞設計:動態提示詞 標準提示詞
- 研究背景:隨著人工智能與司法結合的推進以及裁判文書公開數量增多,司法摘要任務愈發重要。傳統司法摘要方法生成質量有待提升,大語言模型雖有優勢,但處理裁判文書時存在摘要結構信息缺失、與原文不一致等問題。
- 研究方法
- DPCM方法:分為大模型摘要生成、相似性比較、修改提示三個模塊。通過將裁判文書與標準摘要數據集轉化為三元組輸入大語言模型生成初步摘要;利用BERT模型計算裁判文書與模型摘要的上下文向量相似值,判斷摘要是否存在問題;若存在問題,則拼接原文和提示詞進行迭代修正。
- 數據集:使用“法研杯”CAIL2020的裁判文書摘要和CAIL2021的涉法輿情摘要數據集。
- 評價指標:采用Rouge、BERTscore和FactCC指標,分別評估摘要與標準摘要的相似度、語言表達多樣性以及事實一致性。
- 實驗結果
- 模型對比實驗:在多個大語言模型和兩個數據集上的實驗表明,加入DPCM后,模型在Rouge、BERTscore和FactCC指標上均有提升,說明動態提示能減少結構信息缺失,增