1、簡介

https://openai.com/index/whisper/

Whisper 是一種自動語音識別 （ASR） 系統，經過 680,000 小時的多語言和多任務監督數據的訓練，從網絡上收集。我們表明，使用如此龐大而多樣化的數據集可以提高對口音、背景噪音和技術語言的魯棒性。此外，它還支持多種語言的轉錄，以及從這些語言翻譯成英語。我們正在開源模型和推理代碼，作為構建有用應用程序和進一步研究魯棒語音處理的基礎。

Whisper 架構是一種簡單的端到端方法，作為編碼器-解碼器 Transformer 實現。輸入音頻被分割成 30 秒的塊，轉換為對數梅爾頻譜圖，然后傳遞到編碼器中。解碼器經過訓練以預測相應的文本標題，并與特殊標記混合，這些標記指示單個模型執行語言識別、短語級時間戳、多語言語音轉錄和英語語音翻譯等任務。

模型如下：

2、下載

2.1 openai-whisper

https://github.com/openai/whisper

通過python的pip工具安裝whisper庫如下：

pip install -U openai-whisper
pip install git+https://github.com/openai/whisper.git
pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git

測試whisper命令行工具如下：

whisper --help

# whisper audio.flac audio.mp3 audio.wav --model medium
whisper test.mp3 --model tiny

whisper --language Chinese --model tiny test.mp3
# traditional
whisper --language Chinese --model tiny test.mp3 --initial_prompt "以下是普通話的句子。"  
# simplified
whisper --language Chinese --model tiny test.mp3  --initial_prompt "以下是普通話的句子。"  

2.2 whisper-web

https://github.com/xenova/whisper-web
下載代碼如下：

git clone https://github.com/xenova/whisper-web.git

cd whisper-web
npm install

報錯了。但是在使用npm/yarn對sharp安裝時經常會出現安裝失敗的問題，主要原因是安裝源的問題所以我們可以選擇為包管理器換源或者手動下載并安裝。
用鏡像地址（僅設置sharp）：

npm config set sharp_binary_host "https://npmmirror.com/mirrors/sharp"
npm config set sharp_libvips_binary_host "https://npmmirror.com/mirrors/sharp-libvips"

推薦將npm源都修改為cnpm：

npm config set registry https://registry.npmmirror.com

安裝成功！運行Whisper-Web服務如下：

npm run dev

瀏覽器運行如下：

設置模型參數：

點擊中間按鈕，選擇一個本地聲音文件，進行識別。

開始識別中。


語音識別成功如下：

第三屆機器人、人工智能與智能控制國際會議（RAIIC 2024）將于2024年7月5-7日中國·綿陽舉行。 RAIIC 2024是匯聚業界和學術界的頂級論壇，會議將邀請國內外著名專家就以傳播機器人、人工智能與智能控制領域的技術進步、研究成果和應用做專題報告，同時進行學術交流。誠邀國內外相關高校和科研院所的科研人員、企業工程技術人員等參加會議。
大會網站：更多會議詳情
時間地點：中國-綿陽｜2024年7月5-7日

由河南省科學院、河南大學、鄭州航空工業管理學院主辦，河南省產學研人工智能研究院、河南大學人工智能學院、鄭州航空工業管理學院計算機學院承辦的第四屆人工智能，大數據與算法國際學術會議 (CAIBDA 2024)將于2024年7月5-7日于中國鄭州隆重舉行。CAIBDA 2024致力于為人工智能，大數據與算法等相關領域的學者，工程師和從業人員提供一個分享最新研究成果的平臺。
大會網站：更多會議詳情
時間地點：中國-鄭州｜2024年7月5-7日

2024第四屆人工智能、自動化與高性能計算國際會議(AIAHPC 2024)將于2024年7月19-21日在中國·珠海召開。
大會網站：更多會議詳情
時間地點：中國珠海-中山大學珠海校區｜2024年7月19-21日

結語

如果您覺得該方法或代碼有一點點用處，可以給作者點個贊，或打賞杯咖啡；╮(￣▽￣)╭
如果您感覺方法或代碼不咋地//(ㄒoㄒ)//，就在評論處留言，作者繼續改進；o_O???
如果您需要相關功能的代碼定制化開發，可以留言私信作者；(????)
感謝各位大佬童鞋們的支持！( ′ ▽′ )ﾉ ( ′ ▽′)っ！！！