centos-LLM-生物信息-BioGPT-使用1

參考：
GitHub - microsoft/BioGPT
https://github.com/microsoft/BioGPT

BioGPT：用于生物醫學文本生成和挖掘的生成式預訓練轉換器 |生物信息學簡報 |牛津學術 — BioGPT: generative pre-trained transformer for biomedical text generation and mining | Briefings in Bioinformatics | Oxford Academic
https://academic.oup.com/bib/article/23/6/bbac409/6713511

環境：
centos 7，anaconda3，CUDA 11.6

安裝方法：
centos-LLM-生物信息-BioGPT安裝-CSDN博客
https://blog.csdn.net/pxy7896/article/details/146982288

目錄

  • 官方測試用例
    • 使用hugging face
      • 文本生成
  • 報錯處理
    • ModuleNotFoundError: No module named 'torch.distributed.tensor'
    • A module that was compiled using NumPy 1.x cannot be run in NumPy 2.0.1

BioGPT 是一個基于 GPT 架構的生物醫學領域預訓練語言模型，適用于生成生物醫學文本或進行相關 NLP 任務。

官方測試用例

使用hugging face

文本生成

說明：

  • BioGptForCausalLM是GPT類型的因果語言模型，適用于：
    • 文本生成：如問答、摘要
    • 生物醫學文本續寫：如生成診斷報告
  • BioGptForCausalLM是基于Transformer的Decoder-only架構，參數量：1.5B（Large 版本）或 345M（Base 版本）
import os
# 國內加速
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'from transformers import BioGptTokenizer, BioGptForCausalLM
from transformers import pipeline, set_seed
# 加載分詞器tokenizer（1.將文本轉化為Token IDs供模型理解 2.處理特殊標記）
tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
# 加載模型（加載時會下載預訓練權重）
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
'''
text = "Replace me by any text you'd like."
# 返回 PyTorch 張量. tf是返回tensorflow張量, np是返回NumPy數組
# Hugging Face 的 Transformers 庫支持 PyTorch、TensorFlow 和 JAX，需明確指定張量格式
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input) # 
'''
# 創建文本生成的流水線，能自動處理文本的分詞、模型調用和輸出解碼
generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
# 設置隨機種子，確保生成結果可以復現
set_seed(42)
# 要求生成5條不同的文本（需要生成越多越增加顯存占用）
# 每條最大長度為20個token，啟用隨機采樣（非確定性生成）
# 模型會基于概率分布隨機選擇下一個 token（溫度參數默認為 1.0），因此每次調用結果可能不同
# 與 do_sample=False（貪心搜索）相比，結果更具多樣性
# 如果需要控制隨機性可以設置temperature，越小越保守
outputs = generator("COVID-19 is", max_length=20, num_return_sequences=5, do_sample=True)
# 打印結果
for i, output in enumerate(outputs):print(f"Result {i+1}: {output['generated_text']}")
'''
Result 1: COVID-19 is a disease that spreads worldwide and is currently found in a growing proportion of the population
Result 2: COVID-19 is one of the largest viral epidemics in the world.
Result 3: COVID-19 is a common condition affecting an estimated 1.1 million people in the United States alone.
Result 4: COVID-19 is a pandemic, the incidence has been increased in a manner similar to that in other
Result 5: COVID-19 is transmitted via droplets, air-borne, or airborne transmission.
'''

Beam-Search：
Beam-Search（束搜索） 是一種用于序列生成（如文本生成、機器翻譯）的搜索算法，比貪心搜索（Greedy Search）更高效且能生成更優結果。其核心思想是：在每一步保留 Top-K（K = num_beams） 個最可能的候選序列，而不是只保留一個最優解（貪心策略）。

參數選擇：

  • num_beams：越大結果越好，但是計算量也越。通常5是平衡點
  • early_stopping：當所有候選序列都達到結束標記時提前終止
  • min_length和max_length：控制生成的文本的token數量，防止過早結束或者太長
  • length_penalty：長度懲罰（ <1 鼓勵短文本，>1 鼓勵長文本 ）
import torch
from transformers import BioGptTokenizer, BioGptForCausalLM, set_seedtokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")sentence = "COVID-19 is"
inputs = tokenizer(sentence, return_tensors="pt")set_seed(42)with torch.no_grad():# 生成一個包含生成的token IDs的張量beam_output = model.generate(**inputs, min_length=100, max_length=1024, num_beams=5, early_stopping=True)
# 解碼
tokenizer.decode(beam_output[0], skip_special_tokens=True)
'''
COVID-19 is a global pandemic caused by severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the causative agent of coronavirus disease 2019 (COVID-19), which has spread to more than 200 countries and territories, including the United States (US), Canada, Australia, New Zealand, the United Kingdom (UK), and the United States of America (USA), as of March 11, 2020, with more than 800,000 confirmed cases and more than 800,000 deaths.
'''

報錯處理

ModuleNotFoundError: No module named ‘torch.distributed.tensor’

完整報錯：

>>> from transformers import pipeline, set_seed
Traceback (most recent call last):File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/utils/import_utils.py", line 1967, in _get_modulereturn importlib.import_module("." + module_name, self.__name__)File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/importlib/__init__.py", line 126, in import_modulereturn _bootstrap._gcd_import(name[level:], package, level)File "<frozen importlib._bootstrap>", line 1050, in _gcd_importFile "<frozen importlib._bootstrap>", line 1027, in _find_and_loadFile "<frozen importlib._bootstrap>", line 1006, in _find_and_load_unlockedFile "<frozen importlib._bootstrap>", line 688, in _load_unlockedFile "<frozen importlib._bootstrap_external>", line 883, in exec_moduleFile "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removedFile "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/pipelines/__init__.py", line 49, in <module>from .audio_classification import AudioClassificationPipelineFile "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/pipelines/audio_classification.py", line 21, in <module>from .base import Pipeline, build_pipeline_init_argsFile "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/pipelines/base.py", line 69, in <module>from ..modeling_utils import PreTrainedModelFile "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/modeling_utils.py", line 41, in <module>import torch.distributed.tensor
ModuleNotFoundError: No module named 'torch.distributed.tensor'The above exception was the direct cause of the following exception:Traceback (most recent call last):File "<stdin>", line 1, in <module>File "<frozen importlib._bootstrap>", line 1075, in _handle_fromlistFile "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/utils/import_utils.py", line 1955, in __getattr__module = self._get_module(self._class_to_module[name])File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/utils/import_utils.py", line 1969, in _get_moduleraise RuntimeError(
RuntimeError: Failed to import transformers.pipelines because of the following error (look up to see its traceback):
No module named 'torch.distributed.tensor'

已知torch.distributed.tensor 模塊在 PyTorch 1.10+ 才引入，但我的 PyTorch 版本是1.12.0，考慮是transformers版本沖突，所以降級到4.28.1。

pip install transformers==4.28.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

在這里插入圖片描述
驗證：

>>> import torch
>>> print(torch.__version__)
1.12.0
>>> print(torch.distributed.is_available()) 
True

A module that was compiled using NumPy 1.x cannot be run in NumPy 2.0.1

完整報錯：

>>> model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")A module that was compiled using NumPy 1.x cannot be run in
NumPy 2.0.1 as it may crash. To support both 1.x and 2.x
versions of NumPy, modules must be compiled with NumPy 2.0.
Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.If you are a user of the module, the easiest solution will be to
downgrade to 'numpy<2' or try to upgrade the affected module.
We expect that some modules will need time to support NumPy 2.Traceback (most recent call last):  File "<stdin>", line 1, in <module>File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/modeling_utils.py", line 2560, in from_pretrainedstate_dict = load_state_dict(resolved_archive_file)File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/transformers/modeling_utils.py", line 442, in load_state_dictreturn torch.load(checkpoint_file, map_location="cpu")File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/torch/serialization.py", line 712, in loadreturn _load(opened_zipfile, map_location, pickle_module, **pickle_load_args)File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/torch/serialization.py", line 1049, in _loadresult = unpickler.load()File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/torch/_utils.py", line 138, in _rebuild_tensor_v2tensor = _rebuild_tensor(storage, storage_offset, size, stride)File "/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/torch/_utils.py", line 133, in _rebuild_tensort = torch.tensor([], dtype=storage.dtype, device=storage._untyped().device)
/home/xxx/anaconda3/envs/biogpt/lib/python3.10/site-packages/torch/_utils.py:133: UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at  /opt/conda/conda-bld/pytorch_1656352645774/work/torch/csrc/utils/tensor_numpy.cpp:68.)t = torch.tensor([], dtype=storage.dtype, device=storage._untyped().device)

錯誤原因

  • 錯誤日志中的 Failed to initialize NumPy: _ARRAY_API not found 表明 PyTorch 正在嘗試調用 NumPy 1.x 的 API，但當前環境是 NumPy 2.0
  • 許多科學計算庫（如 PyTorch、HuggingFace Transformers）在發布時是基于 NumPy 1.x 編譯的
  • NumPy 2.0 修改了 ABI（應用程序二進制接口），導致舊版編譯的擴展模塊無法直接運行

解決方案
降級到比較低的版本。

pip install "numpy>=1.21,<2" -i https://pypi.tuna.tsinghua.edu.cn/simple

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/901438.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/901438.shtml
英文地址，請注明出處：http://en.pswp.cn/news/901438.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

高效爬蟲：一文掌握 Crawlee 的詳細使用（web高效抓取和瀏覽器自動化庫）

高效爬蟲：一文掌握 Crawlee 的詳細使用（web高效抓取和瀏覽器自動化庫）

更多內容請見： 爬蟲和逆向教程-專欄介紹和目錄 文章目錄 一、Crawlee概述1.1 Crawlee介紹1.2 為什么 Crawlee 是網頁抓取和爬取的首選？1.3 為什么使用 Crawlee 而不是 Scrapy1.4 Crawlee的安裝二、Crawlee的基本使用2.1 BeautifulSoupCrawler的使用方式2.2 ParselCrawler的使…
閱讀更多...
架構總覽怎么寫，才算工業級？

架構總覽怎么寫，才算工業級？

??系統架構文檔是整個項目最重要的起點，但很多人第一章就“寫穿了”： 不是寫得太細，就是沒有重點。想要寫出高質量、能協作、能傳承的架構文檔，這一篇會告訴你應該怎么做—— ? 架構總覽的終極目標 明確邊界、定義角色、畫清數據流 別講執行細節，別深入函數調用。 ? 架…
閱讀更多...
優先級隊列（堆二叉樹）底層的實現：

優先級隊列（堆二叉樹）底層的實現：

我們繼續來看我們的優先級隊列&#xff1a; 優先級隊列我們說過&#xff0c;他也是一個容器適配器&#xff0c;要依賴我們的容器來存儲數據&#xff1b; 他的第二個參數就是我們的容器&#xff0c;這個容器的默認的缺省值是vector&#xff0c;然后他的第三個參數&#xff0c;我…
閱讀更多...
GIC驅動程序分析

GIC驅動程序分析

今天呢&#xff0c;我們就來具體的講一下GIC的驅動源碼啦&#xff0c;這個才是重點來著&#xff0c;我們來看看&#xff1a; GIC中的重要函數和結構體&#xff1a; 沿著中斷的處理流程&#xff0c;GIC涉及這4個重要部分&#xff1a; CPU從異常向量表中調用handle_arch_irq&am…
閱讀更多...
java操作redis庫，開箱即用

java操作redis庫，開箱即用

application.yml spring:application:name: demo#Redis相關配置redis:data:# 地址host: localhost# 端口&#xff0c;默認為6379port: 6379# 數據庫索引database: 0# 密碼password:# 連接超時時間timeout: 10slettuce:pool:# 連接池中的最小空閑連接min-idle: 0# 連接池中的最…
閱讀更多...
Cribl 通過Splunk search collector 來收集數據

Cribl 通過Splunk search collector 來收集數據

今天利用Spliunk search collector 來收集數據啦：還是要先cribl 的官方文檔: Splunk Search Collector | Cribl Docs Splunk Search Collector Cribl Stream supports collecting search results from Splunk queries. The queries can be both simple and complex, as well a…
閱讀更多...
What Was the “Game Genie“ Cheat Device, and How Did It Work?

What Was the “Game Genie“ Cheat Device, and How Did It Work?

什么是“Game Genie”作弊裝置&#xff0c;它是如何工作的&#xff1f; First released in 1991, the Game Genie let players enter special codes that made video games easier or unlocked other functions. Nintendo didnt like it, but many gamers loved it. Heres wha…
閱讀更多...
位運算題目：連接連續二進制數字

位運算題目：連接連續二進制數字

文章目錄 題目標題和出處難度題目描述要求示例數據范圍 解法思路和算法代碼復雜度分析 題目 標題和出處 標題&#xff1a;連接連續二進制數字 出處&#xff1a;1680. 連接連續二進制數字 難度 5 級 題目描述 要求 給定一個整數 n \texttt{n} n&#xff0c;將 1 \text…
閱讀更多...
第十六屆藍橋杯Java b組（試題C:電池分組）

第十六屆藍橋杯Java b組（試題C:電池分組）

問題描述&#xff1a; 輸入格式&#xff1a; 輸出格式&#xff1a; 樣例輸入&#xff1a; 2 3 1 2 3 4 1 2 3 4 樣例輸出: YES NO 說明/提示 評測用例規模與約定 對于 30% 的評測用例&#xff0c;1≤T≤10&#xff0c;2≤N≤100&#xff0c;1≤Ai?≤10^3。對于 100…
閱讀更多...
63. 評論日記

63. 評論日記

2025年4月14日18:53:30 雷軍這次是真的累了_嗶哩嗶哩_bilibili
閱讀更多...
電商中的訂單支付（內網穿透）

電商中的訂單支付（內網穿透）

支付頁面 接口文檔 Operation(summary"獲取訂單信息") GetMapping("auth/{orderId}") public Reuslt<OrderInfo> getOrderInfo(Parameter(name"orderId",description"訂單id",requiredtrue) PathVaariable Long orderId){OrderI…
閱讀更多...
MySQL表的使用（4）

MySQL表的使用（4）

首先回顧一下之前所學的增刪查改&#xff0c;這些覆蓋了平時使用的80% 我們上節課中學習到了MySQL的約束 其中Primary key 是主鍵約束&#xff0c;我們今天要學習的是外鍵約束 插入一個表 外鍵約束 父表 子表 這條記錄中classid為5時候&#xff0c;不能插入&#xff1b; 刪除…
閱讀更多...
Kotlin作用域函數

Kotlin作用域函數

在 Kotlin 中&#xff0c;.apply 是一個 作用域函數&#xff08;Scope Function&#xff09;&#xff0c;它允許你在一個對象的上下文中執行代碼塊&#xff0c;并返回該對象本身。它的設計目的是為了 對象初始化 或 鏈式調用 時保持代碼的簡潔性和可讀性。 // 不使用 apply va…
閱讀更多...
C#集合List＜T＞與HashSet＜T＞的區別

C#集合List＜T＞與HashSet＜T＞的區別

在C#中&#xff0c;List和HashSet都是用于存儲元素的集合&#xff0c;但它們在內部實現、用途、性能特性以及使用場景上存在一些關鍵區別。 內部實現 List&#xff1a;基于數組實現的&#xff0c;可以包含重復的元素&#xff0c;并且元素是按照添加的順序存儲的。 HashSet&…
閱讀更多...
Python 實現的運籌優化系統數學建模詳解(最大最小化模型)

Python 實現的運籌優化系統數學建模詳解(最大最小化模型)

一、引言 在數學建模的實際應用里&#xff0c;最大最小化模型是一種極為關鍵的優化模型。它的核心目標是找出一組決策變量&#xff0c;讓多個目標函數值里的最大值盡可能小。該模型在諸多領域&#xff0c;如資源分配、選址規劃等&#xff0c;都有廣泛的應用。本文將深入剖析最大…
閱讀更多...
數據庫的種類及常見類型

數據庫的種類及常見類型

一&#xff0c;數據庫的種類 最常見的數據庫類型分為兩種&#xff0c;關系型數據庫和非關系型數據庫。 二&#xff0c;關系型數據庫介紹 生產環境主流的關系型數據庫有 Oracle、SQL Server、MySQL/MariaDB等。 關系型數據庫在存儲數據時實際就是采用的一張二維表&#xff0…
閱讀更多...
PE文件（十五）綁定導入表

PE文件（十五）綁定導入表

我們在分析Windows自帶的一些程序時&#xff0c;常常發現有的程序&#xff0c;如notepad&#xff0c;他的IAT表在文件加載內存前已經完成綁定&#xff0c;存儲了函數的地址。這樣做可以使得程序是無需修改IAT表而直接啟動&#xff0c;這時程序啟動速度變快。但這種方式只適用于…
閱讀更多...
計算機網絡分層模型：架構與原理

計算機網絡分層模型：架構與原理

前言 計算機網絡通過不同的層次結構來實現通信和數據傳輸&#xff0c;這種分層設計不僅使得網絡更加模塊化和靈活&#xff0c;也使得不同類型的通信能夠順利進行。在網絡協議和通信體系中&#xff0c;最廣為人知的分層模型有 OSI模型 和 TCP/IP模型。這兩種模型分別定義了計算…
閱讀更多...
Ollama模型顯存管理機制解析與Flask部署方案對比

Ollama模型顯存管理機制解析與Flask部署方案對比

一、Ollama顯存釋放機制 Ollama部署模型后&#xff0c;顯存占用分為兩種情況&#xff1a; 首次調用后短暫閑置&#xff08;約5分鐘內&#xff09;&#xff1a; ? 釋放KV Cache等中間計算數據&#xff08;約回收30%-50%顯存&#xff09;。 ? 模型權重仍保留在顯存中&#xf…
閱讀更多...
KWDB創作者計劃—KWDB技術重構：重新定義數據與知識的神經符號革命

KWDB創作者計劃—KWDB技術重構：重新定義數據與知識的神經符號革命

引言&#xff1a;數據洪流中的范式危機 在AI算力突破千卡集群、大模型參數量級邁向萬億的時代&#xff0c;傳統數據庫系統正面臨前所未有的范式危機。當GPT-4展現出跨領域推理能力&#xff0c;AlphaFold3突破蛋白質預測精度時&#xff0c;數據存儲系統卻仍在沿用基于關系代數的…
閱讀更多...
最新文章

Copyright @ 2022~2023