API 調用

1. 阿里云百煉平臺的海內外 API 的區別：
   • 海外版：需要進行 API 基礎 URL 設置
   • 國內版：無需設置。

本人的服務器在香港，采用海外版的 API 時，需要進行如下API端點配置 / API基礎URL設置 / API客戶端配置（API Client Configuration）。

# 對于海外賬號（包括香港）開通的 api key 都需要
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

這行代碼在調用通義千問API之前，設置了API的基礎URL。這個URL是阿里云提供的國際版通義千問API的端點地址。

技術上講，這涉及到幾個概念：

1. API端點（API Endpoint）：API服務器的URL地址，客戶端通過此地址訪問服務

2. 基礎URL（Base URL）：API的根路徑，所有API請求都會基于這個URL構建

3. REST API配置：配置RESTful API客戶端的地址和行為

在使用不同API密鑰時遇到問題，可能是因為：

1. API密鑰與特定區域或端點綁定（例如，一個密鑰可能只能用于中國區，另一個只能用于國際區）

2. 需要根據不同的API密鑰使用不同的端點URL（例如，國內版和國際版）

本地推理

1. Qwen2.5-72b-instruct 的本地推理占用的 GPU memory 需求非常高（torch.float32的話好像需要 100G+）

出現 Floating point exception(核心已轉儲) 問題：

• 將 torch.bfloat16 改為 torch_dtype=torch.float16 后該問題依然存在。
• 將 torch.bfloat16 改為 torch_dtype=torch.float32 后該問題消失，但一直存在 OOM 的問題。