華為云Flexus+DeepSeek征文|基于Dify構建拍照識題智能學習助手
- 一、構建拍照識題智能學習助手前言
- 二、構建拍照識題智能學習助手環境
- 2.1 基于FlexusX實例的Dify平臺
- 2.2 基于MaaS的模型API商用服務
- 三、構建拍照識題智能學習助手實戰
- 3.1 配置Dify環境
- 3.2 配置Dify工具
- 3.3 創建拍照識題智能學習助手
- 3.4 使用拍照識題智能學習助手
- 四、總結
一、構建拍照識題智能學習助手前言
面對紙質習題、板書題目等實體知識載體的數字化理解鴻溝,傳統答疑方式往往力有不逮。智能看圖解題助手,可以巧妙地融合了用戶直觀的拍照上傳與文字提問雙通道輸入,用戶僅需拍照上傳,系統便能通過Qwen2.5-VL精準提取題目,并由DeepSeek-V3完成知識講解,將復雜的圖像識別與語義理解轉化為即時、權威的認知輸出,這不僅極大提升了答疑的便捷性與覆蓋場景,更將多模態交互的潛力轉化為用戶指尖可觸、可感的認知升級,讓復雜問題的求解過程變得前所未有的流暢與高效。
依托FlexusX云服務器
強大的彈性算力與高并發穩定性,無縫承載了基于MaaS模式
部署的DeepSeek大模型,使其能夠毫秒級響應復雜的看圖解題請求,結合模型本身在中文理解、邏輯推理與知識講解上的深度優化,共同確保了智能助手的流暢性、可靠性與專業輸出品質,為用戶提供高性能、免運維的一站式智能服務體驗。
二、構建拍照識題智能學習助手環境
2.1 基于FlexusX實例的Dify平臺
華為云FlexusX實例
提供高性價比的云服務器,按需選擇資源規格、支持自動擴展,減少資源閑置,優化成本投入,并且首創大模型QoS保障,智能全域調度,算力分配長穩態運行,一直加速一直快,用于搭建Dify-LLM應用開發平臺。
Dify是一個能力豐富的開源AI應用開發平臺
,為大型語言模型(LLM)應用的開發而設計。它巧妙地結合了后端即服務(Backend as Service)和LLMOps的理念,提供了一套易用的界面和API,加速了開發者構建可擴展的生成式AI應用的過程。
參考:華為云Flexus+DeepSeek征文 | 基于FlexusX單機一鍵部署社區版Dify-LLM應用開發平臺教程
2.2 基于MaaS的模型API商用服務
MaaS預置服務的商用服務為企業用戶提供高性能、高可用的推理API服務,支持按Token用量計費的模式。該服務適用于需要商用級穩定性、更高調用頻次和專業支持的場景。
參考:華為云Flexus+DeepSeek征文 | 基于ModelArts Studio開通和使用DeepSeek-V3/R1商用服務教程
三、構建拍照識題智能學習助手實戰
3.1 配置Dify環境
輸入管理員的郵箱和密碼,登錄基于FlexusX部署好的Dify網站
將MaaS平臺的模型服務接入Dify,這里我們選擇的是DeepSeek V3商用服務
,需要記住調用說明中的接口信息
和 API Key 管理中API Key
,若沒有可以重新創建即可
配置Dify模型供應商:設置 - 模型供應商 - 找到OpenAI-API-compatible
供應商并單擊添加模型
,在添加 OpenAI-API-compatible對話框,配置相關參數,然后單擊保存
參數 | 說明 |
---|---|
模型類型 | 選擇LLM 。 |
模型名稱 | 填入模型名稱。 |
API Key | 填入創建的API Key。 |
API Endpoint URL | 填入獲取的MaaS服務的基礎API地址,需要去掉地址尾部的“/chat/completions”后填入 |
3.2 配置Dify工具
通義千問
同義 Qwen 由阿里云開發,是一系列復雜的 LLM。它包括多個變體,例如用于文本處理的 Qwen、用于視覺語言任務的 Qwen-VL 和用于音頻理解的 Qwen-Audio。這些模型以其令人印象深刻的規模而著稱,旗艦 Qwen-72B 模型具有 720 億個參數,并在超過 3 萬億個代幣上進行了訓練。
根據多個實戰案例的測試結果,?Qwen/Qwen2-VL-72B-Instruct
模型在中文票據識別任務中表現最佳。該模型特點:
- 強大的視覺理解能力
- 對中文票據格式有良好適配性
- 支持結構化輸出
打開設置 - 模型供應商 - 安裝模型供應商,選擇通義千問
,進行安裝
安裝完成后,您需要從 阿里云 獲取 API 密鑰
并在 設置 -> Model Provider 中添加通義千問 API Key
刷新頁面后就可以查看到 qwen2.5-vl-72b-instruct
狀態已開啟
3.3 創建拍照識題智能學習助手
在 Dify - 工作室,創建空白應用,選擇 Chatflow
,輸入應用名稱和圖標,點擊創建
默認是有個簡單的模板的,刪除其他默認節點,保留開始節點
點擊右上角 功能
菜單,開啟文件上傳
功能,并選擇圖片
類型,保存即可
開始節點后添加條件分支
,用來判斷用戶是否上傳了圖片,如果上傳了圖片則提交給 Qwen2.5-vl
進行題目識別,如果沒有上傳圖片則直接提交給 DeepSeek-V3
進行知識點講解
若上傳圖片則添加LLM
圖片識別節點,通過 Qwen2.5-vl 對圖片內容進行解析,識別題目,需要開始視覺
,參數選擇上傳的文件
提示詞參考:識別圖片中的題目并輸出題目
再添加LLM節點,用于題目解析,配置模型
為MaaS通過的DeepSeek V3
,添加上下文為 圖片識別
返回的結果,也就是圖片的題目信息,添加的提示詞如下:
#角色你是一位經驗豐富的小學全科老師,能夠耐心指導我理解題目的相關知識。題目:引用上下文#技能1.能夠記錄和存儲題目,幫助分析題目錯誤的地方背后的知識點,然后用蘇格拉底提問法一步步引導我去理解相關的知識點,每次提問需要等待我回答后再繼續提問,每次只提一個問題。2.請分析認為我搞懂題目相關知識點后,你可以出3道相同類型的題目檢測我是否已經完全掌握。
這里的關鍵是要通過提示語規定大模型輸出,要求大模型能夠引導用戶一步步進行知識點的講解,而不是直接給出答案,最終達到接近真人老師的講解效果,并且在判斷用戶掌握了該知識后能夠出類似的題目進行檢測。
最后添加直接回復
節點,直接返回題目解析節點輸出的變量即可
再將條件分支
的ElSE也接入題目解析
節點,并開啟記憶
功能,輸入參數為用戶輸入內容 query
開啟對話開場白
功能,輸入內容保存即可
編排完成后,就可以在預覽界面進行測試,先直接輸入問題測試:6x7=?
查看運行流程直接走的是題目解析,但是并沒有直接給出答案,而是引導反問你對題目的認知,很接近真人老師
然后一步步的引導并講解,知道你給出正確的答案
甚至還會出三道類似的題目
整個流程都很有很好的引導和解釋,而且會給出正向反饋
再上傳一張數學應用題的照片,并在對話框輸入:講解這幾道題的思路
這時走進了圖片識別
的流程,返回值如下,可以檢查下識別的準確度如何
{"text": "以下是圖片中幾道題目的思路講解:\n\n### 01. 媽媽買了 5 個蘋果,每個蘋果 5 元,付給售貨員 30 元,應找回多少元?\n**思路:**\n1. 計算 5 個蘋果的總價格:5 個蘋果 × 5 元/個 = 25 元。\n2. 用付給售貨員的 30 元減去蘋果的總價格:30 元 - 25 元 = 5 元。\n3. 應找回的金額為 5 元。\n\n### 02. 小美拿著 25 元去買作業本,每個作業本是 3 元,她最多能買幾個作業本?\n**思路:**\n1. 用總金額除以每個作業本的價格:25 元 ÷ 3 元/本 ≈ 8.33。\n2. 由于不能買部分作業本,所以最多能買 8 個作業本。\n\n### 03. 同學們要栽 65 棵樹,已經栽了 6 行,每行 8 棵,還需要栽多少棵?\n**思路:**\n1. 計算已經栽了多少棵樹:6 行 × 8 棵/行 = 48 棵。\n2. 用總共要栽的樹數減去已經栽的樹數:65 棵 - 48 棵 = 17 棵。\n3. 還需要栽 17 棵樹。\n\n### 04. 小剛今年 7 歲,媽媽比小剛大 23 歲,爸爸比媽媽大 4 歲,那爸爸媽媽分別多少歲?\n**思路:**\n1. 計算媽媽的年齡:7 歲 + 23 歲 = 30 歲。\n2. 計算爸爸的年齡:30 歲 + 4 歲 = 34 歲。\n3. 媽媽 30 歲,爸爸 34 歲。\n\n### 05. 把 35 個彩球按 4 個一組分類,可以分成幾組,還剩下幾個彩球?\n**思路:**\n1. 用總彩球數除以每組的彩球數:35 個 ÷ 4 個/組 = 8 組…… 3 個。\n2. 可以分成 8 組,還剩下 3 個彩球。\n\n### 06. 食堂里有 100 千克大米,用去 60 千克,剩下的每天吃 8 千克,還可以吃多少天?\n**思路:**\n1. 計算剩下多少大米:100 千克 - 60 千克 = 40 千克。\n2. 用剩下的大米除以每天吃的量:40 千克 ÷ 8 千克/天 = 5 天。\n3. 還可以吃 5 天。\n\n### 07. 把一根繩子對折后,再次對折后有 20 厘米,這根繩子原本有多長?\n**思路:**\n1. 兩次對折后的長度為 20 厘米。\n2. 每次對折長度減半,所以對折一次后的長度為 20 厘米 × 2 = 40 厘米。\n3. 原本的長度為 40 厘米 × 2 = 80 厘米。\n\n### 08. 某棟大樓共十層,每層 4 米,小剛站在 8 樓的陽臺,他離一樓地面多少米?\n**思路:**\n1. 計算小剛所在的樓層高度:(8 - 1) 層 × 4 米/層 = 7 層 × 4 米/層 = 28 米。\n2. 小剛離一樓地面的高度為 28 米。","usage": {"prompt_tokens": 1190,"prompt_unit_price": "4.13","prompt_price_unit": "0.000001","prompt_price": "0.0049147","completion_tokens": 921,"completion_unit_price": "4.13","completion_price_unit": "0.000001","completion_price": "0.0038037","total_tokens": 2111,"total_price": "0.0087184","currency": "RMB","latency": 49.49028724800155},"finish_reason": "stop"
}
再次進入問題的一步步探討過程
簡單的回答了第1個問題了,得到了正確的答復后,就開始了第2個問題,流程較長沒有完全測試
測試完成就可以發布更新到探索
頁面了,發布后選擇運行就可以獲得一個在線運行的智能學習助手的網頁!
3.4 使用拍照識題智能學習助手
在探索 - 拍照識題智能學習助手中開啟新對話
這里測試一下英語問題,搜到一張英語的試題
上傳此圖片,并輸入:怎么做
此時不能查看圖片識別
的全部返回值,只能查看輸入的問題來看了
第一個問題的識別準確,回答出正確答案后,但是解釋不正確
很容易拓展知識點,可以直接繼續下一題,整個過程真的很像被老師答疑解惑的感覺,這個提示詞太強了!大家也可以試試,尤其是小學生的家長們!
四、總結
通過dify直觀的可視化工作流編排,將復雜的多模態識別(Qwen2.5-VL)、智能判斷與知識講解(DeepSeek-v3)模塊無縫集成變得異常清晰高效,深刻體會到其降低智能應用開發門檻的強大力量,讓聚焦用戶價值(看圖解題)的核心邏輯得以快速驗證和流暢運行,真正實現了從構想到落地的極短周期,使技術創新觸手可及。
依托FlexusX云服務器的高彈性算力與穩定承載,無縫驅動MaaS模式下的DeepSeek V3調用API,實現毫秒級響應的專業級語義理解與精準知識輸出,以卓越性能和免運維的可靠性,為智能應用提供強大引擎。