openai-whisper-asr-webservice接入dify

openai-whisper-asr-webservice提供的asr的api其實并不兼容openai的api,所以在dify中是不能直接添加到語音轉文字的模型中,對比了下兩個api的傳參情況,其實只要改動一處,就能支持:
openai兼容的asr調用中formdata中音頻文件是file=XXX這樣的,而openai-whisper-asr-webservice提供的asr的api中formdata中音頻文件是audio_file=XXX這樣的。感覺使用openresty的lua簡單處理一下改formdata中的信息轉發到后端就可以搞定,折騰了半天沒有進展 😦 只好先用nodejs做個express服務來轉發下,效果是ok的。

const express = require("express");
const app = express();
const multer = require("multer");
const uploader = multer({ storage: multer.memoryStorage() });
const FormData = require('form-data');
const fetch = require('node-fetch');
const asrurl="http://127.0.0.1:9000/asr?output=json"app.post("/v1/audio/transcriptions", uploader.single("file"), (req, res)=> {let newForm = new FormData();newForm.append('audio_file', req.file.buffer,{ filename: req.file.originalname, contentType: req.file.mimetype });fetch(asrurl, { method: 'POST', body: newForm, headers: newForm.getHeaders() }).then(resp=>resp.json()).then(response=> res.json({"text":response.text}) ).catch(error=>{ res.status(500).send(error.message); });
});var server=app.listen(9100,()=>{ console.log("openai whisper 進程啟動 "); });

這樣可以在dify中添加openai兼容模型,選擇speech2text模型,模型名稱隨便填,API endpoint URL
填 http://ip:9100/v1
又更新了下代碼:采用內存存儲上傳文件,減少寫入磁盤文件和讀取磁盤文件環節

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/81892.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/81892.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/81892.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

解鎖MySQL性能調優:高級SQL技巧實戰指南

高級SQL技巧:解鎖MySQL性能調優的終極指南 開篇 當前,隨著業務系統的復雜化和數據量的爆炸式增長,數據庫性能調優成為了技術人員面臨的核心挑戰之一。尤其是在高并發、大數據量的場景下,SQL 查詢的性能直接影響到整個系統的響應…

JavaScript 性能優化實戰指南

JavaScript 性能優化實戰指南 前言 隨著前端應用復雜度提升,JavaScript 性能瓶頸日益突出。高效的性能優化不僅能提升用戶體驗,還能增強系統穩定性和可維護性。本文系統梳理了 JavaScript 性能優化的核心思路、常見場景和實戰案例,結合代碼…

服務器磁盤按陣列劃分為哪幾類

以下是服務器磁盤陣列(RAID)的詳細分類及技術解析,基于現行行業標準與實踐應用: 一、主流RAID級別分類 1. ?RAID 0(條帶化)? ?技術原理?:數據分塊后并行寫入多塊磁盤,無…

鴻蒙 Location Kit(位置服務)

移動終端設備已經深入人們日常生活的方方面面,如查看所在城市的天氣、新聞軼事、出行打車、旅行導航、運動記錄。這些習以為常的活動,都離不開定位用戶終端設備的位置。 Location Kit 使用多種定位技術提供服務,可以準確地確定設備在室外/室…

二叉樹深搜:在算法森林中尋找路徑

專欄:算法的魔法世界 個人主頁:手握風云 目錄 一、搜索算法 二、回溯算法 三、例題講解 3.1. 計算布爾二叉樹的值 3.2. 求根節點到葉節點數字之和 3.3. 二叉樹剪枝 3.4. 驗證二叉搜索樹 3.5. 二叉搜索樹中第 K 小的元素 3.6. 二叉樹的所有路徑 …

企業級AI搜索解決方案:阿里云AI搜索開放平臺

隨著信息技術的飛速發展,搜索引擎作為信息獲取的重要工具,扮演著不可或缺的角色。阿里云 AI 搜索開放平臺以其強大的技術支持和靈活的開放性,持續為用戶提供高效的搜索解決方案。 一、阿里云 AI 搜索開放平臺 一站式的 AI 搜索開放平臺作為…

自動駕駛中的預測控制算法:用 Python 讓無人車更智能

自動駕駛中的預測控制算法:用 Python 讓無人車更智能 自動駕駛技術近年來取得了令人驚嘆的進步,AI 與邊緣計算的結合讓車輛能夠實時感知環境、規劃路徑并執行駕駛決策。其中,預測控制(Model Predictive Control,MPC) 作為一種先進的控制算法,憑借其對未來駕駛行為的優化…

量子計算機超越超級計算機——它們解決了哪些問題?

“ 南加州大學的研究人員取得了重大突破,證明量子計算機在解決某些復雜問題時甚至可以勝過最快的超級計算機。” 量子退火最終顯示出擴展優勢,得益于錯誤抑制的量子處理,它比傳統超級計算機提供更快、接近最優的解決方案。 南加州大學的研究人…

Java虛擬機 -方法調用

方法調用 方法調用靜態鏈接動態鏈接案例虛方法與非虛方法虛方法(Virtual Method)非虛方法(Non-Virtual Method) 方法返回地址 方法調用 我們編寫Java程序的時候,我們自己寫的類通常不僅僅是調用自己本類的方法。調用別…

【 開源:跨平臺網絡數據傳輸的萬能工具libcurl】

在當今這個互聯互通的世界中,數據在各種設備和平臺之間自由流動,而 libcurl,就像一把跨平臺的萬能工具,為開發者提供了處理各種網絡數據傳輸任務所需的強大功能。它不僅是一個庫,更是一種通用的解決方案,可…

ElasticSearch 8.x 快速上手并了解核心概念

目錄 核心概念概念總結 常見操作索引的常見操作常見的數據類型指定索引庫字段類型mapping查看索引庫的字段類型最高頻使用的數據類型 核心概念 在新版Elasticsearch中,文檔document就是一行記錄(json),而這些記錄存在于索引庫(index)中, 索引名稱必須是…

優化 CRM 架構,解鎖企業競爭力密碼

引言 “在所有企業面臨的挑戰中,客戶關系管理無疑是最為關鍵的一環。” —— 彼得德魯克 在數字化浪潮席卷的當下,企業面臨著前所未有的機遇與挑戰。客戶關系管理(CRM)作為企業運營的核心環節,其架構的優劣直接影響著…

深入理解Docker和K8S

深入理解Docker和K8S Docker 是大型架構的必備技能,也是云原生核心。Docker 容器化作為一種輕量級的虛擬化技術,其核心思想:將應用程序及其所有依賴項打包在一起,形成一個可移植的單元。 容器的本質是進程: 容器是在…

list.forEach(s -> countService.refreshArticleStatisticInfo(s.getId())); 講解一下語法

這段代碼使用了Java中的forEach方法結合Lambda表達式來遍歷一個列表,并對列表中的每個元素執行特定操作。具體來說,它會遍歷列表中的每一個元素,并調用countService.refreshArticleStatisticInfo(s.getId())方法來刷新每個文章的統計信息。下…

AI開發者的算力革命:GpuGeek平臺全景實戰指南(大模型訓練/推理/微調全解析)

目錄 背景一、AI工業化時代的算力困局與破局之道1.1 中小企業AI落地的三大障礙1.2 GpuGeek的破局創新1.3 核心價值 二、GpuGeek技術全景剖析2.1 核心架構設計 三、核心優勢詳解?3.1 優勢1:工業級顯卡艦隊???3.2 優勢2:開箱即用生態?3.2.1 預置鏡像庫…

05算法學習_59. 螺旋矩陣 II

05算法學習_59. 螺旋矩陣 II 05算法學習_59. 螺旋矩陣 II題目描述:個人代碼:學習思路:第一種寫法:題解關鍵點: 個人學習時疑惑點解答: 05算法學習_59. 螺旋矩陣 II 力扣題目鏈接: 59. 螺旋矩陣 II 題目描…

JDK7Hashmap的頭插法造成的環問題

單線程下的擴容 多線程下的擴容 next=e 然后e的next變成e

JAVA|后端編碼規范

目錄 零、引言 一、基礎 二、集合 三、并發 四、日志 五、安全 零、引言 規范等級: 【強制】:強制遵守,來源于線上歷史故障,將通過工具進行檢查。【推薦】:推薦遵守,來源于日常代碼審查、開發人員反饋…

2025-05-21 Python深度學習5——數據讀取

文章目錄 1 數據準備2 Dataset2.1 自定義 Dataset2.2 使用示例 3 TensorBoard3.1 安裝3.2 標量可視化(Scalars)3.3 圖像可視化(Images)3.4 其他常用功能 4 transform4.1 ToTensor()4.2 Normalize()4.3 Resize()4.4 Compose()4.5 C…

5月21日學習筆記

MYSQL三層結構 表1 數據庫DB1 表2 數據庫管理系統 客戶端命令終端(Dos) DBMS 數據庫DB2 表1 表2 數據庫………. Mysql數據庫-表的本質仍然是文件 表的一行稱之為一條記錄->在java程序中一行記錄往往使用對象表示 SQL語…