API 調用
- 阿里云百煉平臺的海內外 API 的區別:
- 海外版:需要進行 API 基礎 URL 設置
- 國內版:無需設置。
本人的服務器在香港,采用海外版的 API 時,需要進行如下API端點配置 / API基礎URL設置 / API客戶端配置(API Client Configuration)。
# 對于海外賬號(包括香港)開通的 api key 都需要
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'
這行代碼在調用通義千問API之前,設置了API的基礎URL。這個URL是阿里云提供的國際版通義千問API的端點地址。
技術上講,這涉及到幾個概念:
-
API端點(API Endpoint):API服務器的URL地址,客戶端通過此地址訪問服務
-
基礎URL(Base URL):API的根路徑,所有API請求都會基于這個URL構建
-
REST API配置:配置RESTful API客戶端的地址和行為
在使用不同API密鑰時遇到問題,可能是因為:
-
API密鑰與特定區域或端點綁定(例如,一個密鑰可能只能用于中國區,另一個只能用于國際區)
-
需要根據不同的API密鑰使用不同的端點URL(例如,國內版和國際版)
本地推理
- Qwen2.5-72b-instruct 的本地推理占用的 GPU memory 需求非常高(torch.float32的話好像需要 100G+)
出現 Floating point exception(核心已轉儲)
問題:
- 將
torch.bfloat16
改為torch_dtype=torch.float16
后該問題依然存在。 - 將
torch.bfloat16
改為torch_dtype=torch.float32
后該問題消失,但一直存在 OOM 的問題。