paddlenlp

安裝python3.11版本

conda create -n python311 python=3.11

激活python

conda activate python311

安裝paddlepaddle

conda install paddlepaddle==3.0.0b0 -c paddle

pip install paddlenlp==3.0.0b0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

windows下提示：
AttributeError: module ‘mmap’ has no attribute ‘MAP_PRIVATE’
解決方法：
E:\Anaconda3\envs\python311\Lib\site-packages\paddlenlp\utils\safetensors.py
修改280行：
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.MAP_PRIVATE)
為
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.ACCESS_READ)

錯誤提示：RuntimeError: (NotFound) The kernel with key (CPU, Undefined(AnyLayout), float16) of kernel multiply is not registered. Selected wrong DataType float16. Paddle support following DataTypes: complex64, bool, bfloat16, complex128, float32, int32, float64, int64

原因：

在CPU環境調用時，模型支持dtype為float32或者float64;

在GPU環境（非Ampere架構）調用時，模型支持dtype為float16、float32或者float64;

在GPU環境（Ampere及后續架構）調用時，模型支持dtype為bfloat16、float16、float32或者float64;

測試代碼：

import os
from modelscope import snapshot_downloados.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLMmodel_dir = snapshot_download("Qwen/Qwen2-0.5B")tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B",trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float32")
input_features = tokenizer("你好！請自我介紹一下。", return_tensors="pd")
outputs = model.generate(**input_features, max_length=128)
tex=tokenizer.batch_decode(outputs[0])
print(tex)
#['我是一個AI語言模型，我可以回答各種問題，包括但不限于：天氣、新聞、歷史、文化、科學、教育、娛樂等。請問您有什么需要了解的嗎？']