使用我們的免費 Moderation API

OpenAI 的 Moderation API 是免費使用的，可以幫助減少您完成中不安全內容的頻率。或者，您可能希望開發自己的內容過濾系統，以適應您的使用情況。

對抗性測試

我們建議對您的應用進行“紅隊測試”，以確保其對對抗性輸入具有強大的韌性。測試您的產品在廣泛范圍的輸入和用戶行為下，包括代表性集合以及反映試圖“破壞”您的應用的行為。它是否偏離了主題？是否有人可以輕易通過提示注入來重定向功能，例如“忽略之前的指令，改為執行這個”？

人在環路中 (HITL)

在可能的情況下，我們建議在實際使用之前由人類審查輸出。這在高風險領域以及代碼生成方面尤其關鍵。人類應該意識到系統的局限，并可以訪問任何驗證輸出所需的信息（例如，如果應用程序總結筆記，則人類應該可以輕松訪問原始筆記以供參考）。

提示工程

“提示工程”可以幫助限制輸出文本的主題和語氣。這可以減少產生不良內容的機會，即使用戶試圖產生它。向模型提供額外的上下文（例如，在輸入新內容之前提供一些期望行為的高質量示例）可以更容易地引導模型輸出到期望的方向。

“了解您的客戶” (KYC)

用戶通常需要注冊并登錄才能訪問您的服務。將此服務與現有帳戶（例如 Gmail、LinkedIn 或 Facebook 登錄）關聯可能會有所幫助，但對于所有用例可能并不適用。要求信用卡或身份證進一步降低了風險。

限制用戶輸入并限制輸出標記

限制用戶可以輸入到提示中的文本量有助于避免提示注入。限制輸出標記的數量有助于減少誤用的機會。

縮小輸入或輸出范圍，特別是來自可信來源的范圍，可以降低應用程序內可能發生的誤用程度。

通過經過驗證的下拉字段允許用戶輸入（例如，維基百科上的電影列表）可能比允許開放式文本輸入更安全。

在可能的情況下，從后端返回經過驗證的一組材料的輸出可能比返回新生成的內容更安全（例如，將客戶查詢路由到最匹配的現有客戶支持文章，而不是嘗試從頭回答查詢）。

允許用戶報告問題

用戶通常應該有一個易于獲得的方法來報告關于應用程序行為的不當功能或其他關切（列出的電子郵件地址、提交票據的方法等）。這種方法應由人員監控，并根據情況予以回應。

了解并溝通限制

從產生錯誤信息、冒犯性輸出、偏見等等，語言模型可能并不適合每個用例而不經過重大修改。考慮模型是否適合您的目的，并評估 API 在各種潛在輸入中的性能，以確定 API 的性能可能下降的情況。考慮您的客戶群體及其將使用的輸入范圍，并確保他們的期望得到適當的調整。

安全性和保障對我們在 OpenAI 的重要性不言而喻。

如果在開發過程中您注意到 API 或與 OpenAI 相關的任何其他內容存在任何安全問題或安全問題，請通過我們的協調漏洞披露計劃提交這些問題。

最終用戶 ID

在您的請求中發送最終用戶 ID 可以是一個有用的工具，幫助 OpenAI 監控和檢測濫用行為。這樣，OpenAI 在檢測到您的應用程序中存在任何政策違規時，可以為您的團隊提供更具操作性的反饋。

這些 ID 應該是一個字符串，唯一標識每個用戶。我們建議對其用戶名或電子郵件地址進行哈希處理，以避免向我們發送任何識別信息。如果您向非登錄用戶提供產品預覽，您可以發送會話 ID。

您可以通過以下方式在 API 請求中包含最終用戶 ID：

from openai import OpenAI
client = OpenAI()response = client.completions.create(model="gpt-3.5-turbo-instruct",prompt="This is a test",max_tokens=5,user="user_123456"
)

---

• 官網
• 本文
  • 博客 - 從零開始學AI
  • 公眾號 - 從零開始學AI
  • CSDN - 從零開始學AI
  • 掘金 - 從零開始學AI
  • 知乎 - 從零開始學AI
  • 阿里云 - 從零開始學AI
  • 騰訊云 - 從零開始學AI