ERNIE 千帆大模型
ERNIE-3.5是一款基于深度學習技術構建的高效語言模型,其強大的綜合能力使其在中文應用方面表現出色。相較于其他模型,如微軟的ChatGPT,ERNIE-3.5不僅綜合能力更強,而且在訓練與推理效率上也更高。這使得ERNIE-3.5能夠支持更豐富的外部應用開發,為更多國內開發者提供強大基礎工具。
ERNIE-3.5在語義和語境理解上有了顯著提升,能夠更準確地回答問題和進行交流。在與用戶的聊天對話中,它表現出了更高的準確性和自然度,使得其在虛擬助手、在線客服和社交媒體等場景中具備了更出色的表現。在中文測試中,ERNIE-3.5的理解和生成能力更是超過了GPT-4,這顯示了其在中文語境下的強大實力。
ERNIE-3.5支持多種NLP任務,包括文本分類、命名實體識別、語義匹配等,適用于需要文本分析和理解的場景,如情感分析、智能問答、文本摘要等。同時,它在創意寫作、問答、推理、代碼生成等方面也有顯著的改進,展現了出色的功能和性能。
此外,ERNIE-3.5的訓練速度和推理速度相較于之前的版本也有了大幅提升。據對比數據顯示,其訓練速度提升了2倍,推理速度提升了17倍,這將大大提高模型迭代升級效率,并大幅降低訓練及使用成本。
ERNIE-3.5的推出標志著我國人工智能企業和研究機構在大模型、深度學習等關鍵技術方面取得了新突破,其水平已趕上世界前列。這不僅有利于人工智能產業生態的繁榮,還為人工智能在更廣泛復雜場景中的應用提供了支持。例如,ERNIE-3.5可支持更加開放的外部開發,使其能夠被應用于更長文本的生成、圖文問答等需求,有助于推動人工智能從單一領域向綜合性知識服務領域進一步拓展。
安裝環境
pip install qianfan
在調用 SDK 前,需要先初始化 應用API Key(即AK) 和 應用Secret Key(即SK),支持通過參數初始化、內置函數初始化、環境變量初始化三種方式進行初始化。
配置密鑰
地址:https://console.bce.baidu.com/iam/#/iam/accesslist
SDK 調用千帆大模型
方案一:加載環境變量 .env 配置文件
QIANFAN_ACCESS_KEY=安全認證 Access Key
QIANFAN_SECRET_KEY=安全認證 Secret Key
方案二:直接屬性設置
chat_completion = qianfan.ChatCompletion(ak="API Key", sk="Secret Key")
SDK 調用接口
import qianfan
import dotenv
dotenv.load_dotenv()chat_comp = qianfan.ChatCompletion()resp = chat_comp.do(model="ERNIE-Bot-4", messages=[{"role": "user","content": "你好"
}])if resp.code == 200:print(resp.request.json_body)# print(resp.body)
resp.request.json_body 數據結構(數據類型:dict)
{ 'messages': [ {'role': 'user', 'content': '你好'} ], 'stream': False, 'extra_parameters': { 'request_source': 'qianfan_py_sdk_v0.3.7.1' }
}
resp.body 數據結構(數據類型:dict)
{ 'id': 'as-u2tgxkd8z4', 'object': 'chat.completion', 'created': 1712759343, 'result': '你好,有什么我可以幫助你的嗎?', 'is_truncated': False, 'need_clear_history': False, 'usage': { 'prompt_tokens': 1, 'completion_tokens': 8, 'total_tokens': 9 }
}
POST 請求調用接口
加載環境變量 .env 配置文件
CLIENT_API_KEY=應用 API KEY
CLIENT_SECRET_KEY=應用 SECRET KEY
地址:https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application
詳細源碼
import osimport requests
import json
import dotenvdotenv.load_dotenv()def get_access_token():url = f"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={os.environ['CLIENT_API_KEY']}&client_secret={os.environ['CLIENT_SECRET_KEY']}"payload = json.dumps("")headers = {'Content-Type': 'application/json','Accept': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)return response.json().get("access_token")def qianfan_chat_post(content):url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()payload = json.dumps({"messages": [{"role": "user","content": content}]})headers = {'Content-Type': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)return response.json().get("result")
服務器端源碼
讀取數據
PROBELM_LIST = []with open('english.txt', encoding='utf-8', mode='r') as file:# 使用 for循環逐行讀取文件for line in file:# 打印每一行的內容PROBELM_LIST.append(line.replace("\n", ""))
百度智能云調用
import qianfan
import dotenvdotenv.load_dotenv()chat_comp = qianfan.ChatCompletion()def qianfan_ask(content):resp = chat_comp.do(model="ERNIE-Bot-4", messages=[{"role": "user","content": content}], system="結果用純英語返回,不帶有任何中文,內容不超過100個詞。")if resp.code == 200:return resp.body.get("result")print(qianfan_ask("問題;What is the past tense of the verb “to run”?, 我的回答:run。請問簡要評價我的回答情況"))
配置服務器源碼
from datetime import datetimefrom flask import Flask, jsonify, request, make_response
from flask_cors import CORS
from flask_pymongo import PyMongo
from read_data import PROBELM_LIST
from qianfan_api import qianfan_askapp = Flask(__name__)
CORS(app)# 配置 MongoDB 連接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)def insert_mongo_data(user: str, content: str):collection = mongo.db.message# 獲取當前日期和時間now = datetime.now()# 格式化日期和時間formatted_time = now.strftime("%Y-%m-%d %H:%M:%S")collection.insert_one({'time': formatted_time, 'user': user, 'content': content})@app.route('/problem')
def ramdon_problem():index = int(request.args.get('index'))# problem = random.choice(PROBELM_LIST)# 題目循環取余操作problem = PROBELM_LIST[index % len(PROBELM_LIST)]# 記錄機器人數據insert_mongo_data("機器人", problem)result = {'code': 200, 'data': problem}return jsonify(result)@app.route('/answer', methods=['POST'])
def answer_problem():data = request.get_json()problem = data.get('problem', "")answer = data.get('answer', "")# 記錄使用者數據insert_mongo_data("使用者", answer)# 千帆大模型分析回答質量analysis = qianfan_ask(f"問題{problem}。我的回答:{answer}。請問簡要評價我的回答情況")# 記錄機器人數據insert_mongo_data("機器人", analysis)result = {'code': 200, 'data': analysis}return jsonify(result)if __name__ == '__main__':app.run(host="0.0.0.0", port=3000, debug=True)
導出 Json 數據
開啟接口支持導出 json 數據
@app.route('/json', methods=['GET'])
from flask import Flask, jsonify
from flask_cors import CORS
from flask_pymongo import PyMongoimport pandas as pd
import io
from openpyxl import Workbookapp = Flask(__name__)
CORS(app)# 配置 MongoDB 連接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)@app.route('/json', methods=['GET'])
def get_data():# 查詢 MongoDBdata = mongo.db.message.find()# 將 ObjectId 轉換為字符串result = []for d in data:# 處理 ObjectIdd['_id'] = str(d['_id'])result.append(d)return jsonify(result)if __name__ == '__main__':app.run(host="0.0.0.0", port=3000, debug=True)
導出 Excel 數據
開啟接口支持導出 excel 數據
from flask import Flask, make_response
from flask_cors import CORS
from flask_pymongo import PyMongoimport pandas as pd
import io
from openpyxl import Workbookapp = Flask(__name__)
CORS(app)# 配置 MongoDB 連接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)def generate_excel(data):# 創建一個 Excel 工作簿和工作表wb = Workbook()ws = wb.activews.title = "Data"# 將數據寫入工作表for row_num, row_data in enumerate(data, 1):ws.append(row_data)# 將工作簿保存到 BytesIO 流中excel_data = io.BytesIO()wb.save(excel_data)# 重置流的位置到開頭excel_data.seek(0) # 設置 HTTP 響應頭,以便瀏覽器知道這是一個 Excel 文件response = make_response(excel_data.read())response.headers["Content-Disposition"] = "attachment; filename=data.xlsx"response.headers["Content-Type"] = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"return response@app.route('/excel', methods=['GET'])
def get_data_excel():data = mongo.db.message.find()# 將 ObjectId 轉換為字符串result = []for d in data:# 處理ObjectIdd['_id'] = str(d['_id'])result.append(d)# 將查詢結果轉換為 DataFramedf = pd.DataFrame(result)# 生成 Excel 文件并返回return generate_excel(df.values.tolist())if __name__ == '__main__':app.run(host="0.0.0.0", port=3000, debug=True)
前端效果預覽
聊天界面效果