一些模型測試中的BUG和可能解決方法

模型一直重復反饋相同內容的問題查找思路

如下順序也是排查優先級

1. 檢查提示詞和上下文，保證提示詞中沒有類似的要求，然后再查看上下文是不是占滿了token長度。
2. 檢查一下選擇的model是不是本身就有這樣的問題
3. 嘗試增加repeat_penalty（1.05、1.1，最大1.15或者1.2），看看是否會出現不自然的反饋。
4. 利用frequency_penalty（0.1-0.5）減少重復使用的tokens，或者使用presence_penalty（0.1-0.5）減少上線文的重復tokens。
5. 稍微增長一點min_p（例如增長到0.1），或者增長top_p到0.85，過濾掉一些由于低概率的tokens導致的循環。
6. 如果temperature設置的比較高，可以嘗試降低一點（例如降到0.7、0.8）

模型輸出太隨機相關性差

如下順序也是排查優先級

1. 增加temperature
2. 降低min_p到0.05，或者更低的0.03