如何利用dify 生成Fine?tune 需要的Alpaca 格式數據

如果你選擇llamafactory 格式進行微調，它只是格式是Alpaca格式，dify 的agent dsl 如下，你可以導入本地的dify 或者導入cloud 版本的；測試版本是0.1.5

app:description: '上傳文件，基于文件內容，使用 SiliconCloud 128K 上下文的 Qwen2.5 模型，生成日常問答內容，JSONL 格式的語料數據?? 注：- 由于 Dify 限制，超過 80000 字符的文件內容會被截斷- 生成內容僅供參考，可能存在幻覺或內容錯漏、格式錯誤，請注意甄別'icon: 🤖icon_background: '#FFEAD5'mode: workflowname: 'Fine-tune語料構造器Alpaca格式 'use_icon_as_answer_icon: false
kind: app
version: 0.1.5
workflow:conversation_variables: []environment_variables: []features:file_upload:allowed_file_extensions:- .JPG- .JPEG- .PNG- .GIF- .WEBP- .SVGallowed_file_types:- imageallowed_file_upload_methods:- local_file- remote_urlenabled: falsefileUploadConfig:audio_file_size_limit: 50batch_count_limit: 5file_size_limit: 15image_file_size_limit: 10video_file_size_limit: 100workflow_file_upload_limit: 10image:enabled: falsenumber_limits: 3transfer_methods:- local_file- remote_urlnumber_limits: 3opening_statement: ''retriever_resource:enabled: truesensitive_word_avoidance:enabled: falsespeech_to_text:enabled: falsesuggested_questions: []suggested_questions_after_answer:enabled: falsetext_to_speech:enabled: falselanguage: ''voice: ''graph:edges:- data:isInIteration: falsesourceType: starttargetType: document-extractorid: 1735807686274-source-1735807758092-targetsource: '1735807686274'sourceHandle: sourcetarget: '1735807758092'targetHandle: targettype: customzIndex: 0- data:isInIteration: falsesourceType: document-extractortargetType: codeid: 1735807758092-source-1735807761855-targetsource: '1735807758092'sourceHandle: sourcetarget: '1735807761855'targetHandle: targettype: customzIndex: 0- data:isInIteration: falsesourceType: codetargetType: llmid: 1735807761855-source-1735807764975-targetsource: '1735807761855'sourceHandle: sourcetarget: '1735807764975'targetHandle: targettype: customzIndex: 0- data:isInIteration: falsesourceType: llmtargetType: endid: 1735807764975-source-1735807769820-targetsource: '1735807764975'sourceHandle: sourcetarget: '1735807769820'targetHandle: targettype: customzIndex: 0nodes:- data:desc: ''selected: falsetitle: 開始type: startvariables:- allowed_file_extensions: []allowed_file_types:- documentallowed_file_upload_methods:- local_file- remote_urllabel: 語料文件max_length: 10options: []required: truetype: file-listvariable: attachments- allowed_file_extensions: []allowed_file_types:- imageallowed_file_upload_methods:- local_file- remote_urllabel: 觸發詞（訓練中的 system prompt）max_length: 48options: []required: truetype: text-inputvariable: triggerheight: 116id: '1735807686274'position:x: 30y: 258positionAbsolute:x: 30y: 258selected: falsesourcePosition: righttargetPosition: lefttype: customwidth: 244- data:desc: ''is_array_file: trueselected: falsetitle: 文檔提取器type: document-extractorvariable_selector:- '1735807686274'- attachmentsheight: 92id: '1735807758092'position:x: 334y: 258positionAbsolute:x: 334y: 258selected: falsesourcePosition: righttargetPosition: lefttype: customwidth: 244- data:code: "def main(articleSections: list) -> dict:\n    try:\n        # 將列表項合并為字符串\n\\        combined_text = \"\\n\".join(articleSections)\n        \n     \\   # 截取前80000個字符\n        truncated_text = combined_text[:80000]\n    \\    \n        return {\n            \"result\": truncated_text\n      \\  }\n    except Exception as e:\n        # 錯誤處理\n        return {\n   \\         \"result\": \"\"\n        }"code_language: python3desc: ''outputs:result:children: nulltype: stringselected: falsetitle: 代碼執行type: codevariables:- value_selector:- '1735807758092'- textvariable: articleSectionsheight: 54id: '1735807761855'position:x: 638y: 258positionAbsolute:x: 638y: 258selected: falsesourcePosition: righttargetPosition: lefttype: customwidth: 244- data:context:enabled: falsevariable_selector: []desc: ''model:completion_params:frequency_penalty: 0.5max_tokens: 4096temperature: 0.3mode: chatname: Qwen/Qwen2.5-72B-Instruct-128Kprovider: siliconflowprompt_template:- id: b6913d40-d173-45d8-b012-98240d42a196role: systemtext: "【角色】  \n你是一位 LLM 大語言模型科學家，參考用戶提供的「內容」，幫助用戶構造符合規范的 Fine?tune（微調）數據。\\  \n\n【任務】  \n- 針對每次給定的「內容」，生成通俗易懂、貼近現實的「問題」（instruction）；  \n- 針對每個「問題」，引用「內容」原文并結合合理解釋，給出忠實于原文主旨的「解答」（output）；\\  \n- 最終所有條目以 Alpaca 格式輸出，每條一行 JSON，組成合法的 JSONL 文件。  \n\n【Alpaca 格式說明】\\  \n每條數據必須包含三個字段：  \n```json\n{\n  \"instruction\": \"問題（貼近現實、通俗白話）\"\,\n  \"input\": \"使用用戶指定的「觸發詞」\",\n  \"output\": \"解答（忠于原文、合理演繹）\"\n}\n\```\n\n【要求】\n1.“instruction” 中的問題不要直接照搬「內容」原句，需貼近當代生活場景；\n2.問題用語通俗，避免“假、大、空”；\n\3.“output” 必須忠于原文主旨，不得曲解；可在原文基礎上合理演繹；\n\n【輸出規范】\n1.輸出為標準 JSONL 文本，每行一個\\ JSON 對象；\n2.不要在輸出中添加多余注釋或說明文字；\n3.每行對應一條訓練樣本；\n4.保證整體文件格式合法，可直接用于微調。\n\【示例】\n```json\n{\"instruction\": \"為什么我們在家里養的綠植會在有陽光的房間里長得更好？\", \"input\"\: \"光合作用是植物將光能轉化為化學能的過程……\", \"output\": \"因為光合"- id: 61530521-14cf-4eaf-8f06-a4bc89db3cb1role: usertext: '「內容」{{#1735807761855.result#}}「觸發詞」{{#1735807686274.trigger#}}'selected: falsetitle: LLMtype: llmvariables: []vision:enabled: falseheight: 98id: '1735807764975'position:x: 937.9650491140262y: 258positionAbsolute:x: 937.9650491140262y: 258selected: truesourcePosition: righttargetPosition: lefttype: customwidth: 244- data:desc: ''outputs:- value_selector:- '1735807764975'- textvariable: textselected: falsetitle: 結束type: endheight: 90id: '1735807769820'position:x: 1246y: 258positionAbsolute:x: 1246y: 258selected: falsesourcePosition: righttargetPosition: lefttype: customwidth: 244- data:author: Difydesc: ''height: 88selected: falseshowAuthor: truetext: '{"root":{"children":[{"children":[{"detail":0,"format":0,"mode":"normal","style":"","text":"設置較低的Temperature，提高輸出格式的穩定性","type":"text","version":1}],"direction":"ltr","format":"","indent":0,"type":"paragraph","version":1,"textFormat":0}],"direction":"ltr","format":"","indent":0,"type":"root","version":1}}'theme: bluetitle: ''type: ''width: 240height: 88id: '1735808753316'position:x: 951.4285714285714y: 375.7142857142857positionAbsolute:x: 951.4285714285714y: 375.7142857142857selected: falsesourcePosition: righttargetPosition: lefttype: custom-notewidth: 240- data:author: Difydesc: ''height: 88selected: falseshowAuthor: truetext: '{"root":{"children":[{"children":[{"detail":0,"format":0,"mode":"normal","style":"","text":"合并多個文檔內容，并截取前8W 字符","type":"text","version":1}],"direction":"ltr","format":"","indent":0,"type":"paragraph","version":1,"textFormat":0}],"direction":"ltr","format":"","indent":0,"type":"root","version":1}}'theme: bluetitle: ''type: ''width: 240height: 88id: '1735808799815'position:x: 640y: 338.5714285714286positionAbsolute:x: 640y: 338.5714285714286selected: falsesourcePosition: righttargetPosition: lefttype: custom-notewidth: 240viewport:x: 16.889594857123143y: 9.872527989539648zoom: 0.7632446373312666

如果你想生產openai 支持的JSONL格式，只需要稍微調整下其中LLM 的提示詞

【角色】
你是一位 LLM 大語言模型科學家，參考用戶提供的內容，幫助用戶構造符合規范的 Fine-tune（微調）數據【任務】
- 對于給定的「內容」，你每次回列出盡可能多的通俗「問題」；
- 針對每個「問題」，引用「內容」原文及對內容的合理解釋和演繹，做出「解答」；
- 并將「問題」「解答」整理為規范的 JSONL 格式【要求】
1. 問題 **不要** 直接引用「內容」，應該貼近當代現實生活；
2. 問題應該是通俗白話，避免“假、大、空“；
3. 答案應忠于原文，對于原文的解釋不能脫離原文的主旨、思想；【輸出規范】
* 輸出規范的 JSONL，每行一條數據
* 每條數據應包含一個 message 數組，每個數組都應該包含 role 分別為 system、user 和 assistant 的三條記錄
* 其中 role 為 system 的數據，作為訓練中的 system prompt 格外重要，其 content 使用用戶指定的「觸發詞」
* role 為 user 的數據對應列出的「問題」
* role 為 assistant 的數據則對應針對「問題」的「解答」
* 示例如下：
```
{"messages": [{"role": "system", "content": "你是當代大儒"}, {"role": "user", "content": "應該怎么學習？"}, {"role": "assistant", "content": "賢賢易色；事父母，能竭其力；事君，能致其身；與朋友交，言而有信。雖曰未學，吾必謂之學矣。"}]}
```

Java 碼農轉型AI 關于微調的更多內容可以查看我的github :?https://github.com/caicongyang/ML2LLM/tree/main/LLM/lora

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/bicheng/79454.shtml
繁體地址，請注明出處：http://hk.pswp.cn/bicheng/79454.shtml
英文地址，請注明出處：http://en.pswp.cn/bicheng/79454.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

C++開發指南

C++開發指南

一、C++ 是什么？ C++ 是一種強大、靈活、高性能的系統級編程語言，由 Bjarne Stroustrup 在 20 世紀 80 年代初開發，是 C 語言的超集。它既支持面向過程編程，也支持面向對象、泛型、函數式等現代范式。 C++ 被廣泛應用于： 系統軟件（如操作系統、編譯器）游戲開發（如 Un…
閱讀更多...
重測序關系矩陣構建方式匯總

重測序關系矩陣構建方式匯總

樣本間親緣關系矩陣（kinship matrix）和同源性矩陣（IBS matrix）構建的方式 1. 可以使用plink的–make-rel計算個體之間的親緣關系（強調個體之間的遺傳相似性） /opt/software/plink --bfile vcf_bfile--mak…
閱讀更多...
docker 部署前、后端分離項目詳細步驟(從打包到部署)

docker 部署前、后端分離項目詳細步驟(從打包到部署)

在平常的開發工作中，一個項目經歷需求、開發、測試、上線等步驟。在開發測試完成后，我們需要部署測試環境、生產環境等，那么我們用 docker 方式應該怎么部署呢？前后端分離的項目又該如何部署呢？那么，今天我…
閱讀更多...
大語言模型理解一般需求到在專業領域中最大限度地發揮其效能的演變軌跡

大語言模型理解一般需求到在專業領域中最大限度地發揮其效能的演變軌跡

在人工智能技術飛速發展的當下，大語言模型（LLM）憑借其強大的語言處理能力和廣泛的應用潛力，成為了各行業關注的焦點。從最初的文本生成、簡單問答，到如今在專業領域的深度應用，大語言模型與用戶的交互模式正…
閱讀更多...
mindyolo填坑

mindyolo填坑

1、按照gitee上的文檔跑預測代碼，跑不通 更改： 將predict.py復制到跟目錄。如果是cpu（本地測試比較常見），那么正確的命令行是： python predict.py --device_targetCPU --config ./configs/yolov7/yolov7.…
閱讀更多...
Python集合全解析：從基礎到高階應用實戰

Python集合全解析：從基礎到高階應用實戰

一、集合核心特性與創建方法 1.1 集合的本質特征 Python集合（Set）是一種??無序且元素唯一??的容器類型，基于哈希表實現，具有以下核心特性： ??唯一性??：自動過濾重復元素??無序性??&#xff…
閱讀更多...
【javascript】競速游戲前端優化：高頻操作與并發請求的解決方案

【javascript】競速游戲前端優化：高頻操作與并發請求的解決方案

文章目錄 前言一、性能痛點分析二、核心技術方案1.Web Worker2.Promise高級控制3.智能隊列系統4.游戲化節流設計 三、最佳實踐選擇 前言 在競速類網頁游戲中，玩家高頻點擊與服務器實時交互會引發兩大核心挑戰： 客戶端性能瓶頸：頻繁操作導致…
閱讀更多...
Linux操作系統系統編程：x86-64架構下的系統調用

Linux操作系統系統編程：x86-64架構下的系統調用

在Linux操作系統里，系統編程如同精密儀器的核心部件，掌控著系統運行的關鍵。而 x86-64 架構下的系統調用，更是連接用戶空間程序與內核的關鍵橋梁。你可以把用戶空間的程序想象成一個個 “工匠”，它們有著各式各樣的需求&#xff0…
閱讀更多...
理解數據湖

理解數據湖

目錄 一、數據湖的定義與相關概念 二、數據湖出現的背景 三、數據湖關鍵技術 （一）存儲技術
閱讀更多...
前端應用開發技術歷程的簡要概覽

前端應用開發技術歷程的簡要概覽

前端應用開發技術詳解 一、萌芽期&#xff08;1990s - 2004&#xff09; 技術特征 HTML 3.2 / HTML 4.01 是主流版本。 樣式用 CSS1/CSS2&#xff0c;但大部分樣式寫在 <style> 標簽甚至行內。 動態效果主要通過 JavaScript 控制 DOM&#xff0c;兼容性極差。 代表事…
閱讀更多...
交換機配置DHCP

交換機配置DHCP

交換機配置DHCP 背景先關閉路由器的DHCPconsole口連接到交換機配置交換機 背景 路由器的dhcp分配IP地址變慢&#xff0c;怎么處理 先關閉路由器的DHCP 查看路由器中DHCP地址池范圍; 關閉路由器的DHCP console口連接到交換機 協議Serial端口COMX波特率9600流控無 配置交換機…
閱讀更多...
解決Flutter項目中Gradle構建Running Gradle task ‘assembleDebug‘卡頓問題的終極指南

解決Flutter項目中Gradle構建Running Gradle task ‘assembleDebug‘卡頓問題的終極指南

解決Flutter項目中Gradle構建Running Gradle task ‘assembleDebug‘卡頓問題的終極指南 前言 在開發Flutter應用時，經常會遇到Gradle構建卡在Running Gradle task assembleDebug階段的問題。本文將分享如何通過配置華為云鏡像和使用自定義腳本下載依賴的方法解決這些問題。…
閱讀更多...
AI驅動文字冒險游戲

AI驅動文字冒險游戲

github地址&#xff1a;https://github.com/thornbsj/ImmenseSimGame 雖然游戲比較簡陋&#xff0c;但是由于筆者不想對游戲做過多的“劇透”&#xff0c;因此本文只粗略講一下大致邏輯以及部分代碼&#xff0c;有興趣的朋友可以看上面的倉庫獲得更詳細的部分。 一、狀態機改…
閱讀更多...
springboot中有關數據庫信息轉換的處理

springboot中有關數據庫信息轉換的處理

現代項目一般都是前后端分離的&#xff0c;前端只負責展示數據&#xff0c;不負責對數據處理&#xff0c;所以所有數據處理工作都由后端進行 比如在仿京東中的status&#xff0c;審核信息展示&#xff0c;數據庫中是以0/1顯示&#xff0c;但是前端需要以"審核/未審核&quo…
閱讀更多...
提示詞版本化管理：AI開發中被忽視的關鍵環節

提示詞版本化管理：AI開發中被忽視的關鍵環節

當我的提示詞"消失"在團隊協作中 上周五下午&#xff0c;我經歷了一場小型"災難"。作為一名AI產品經理&#xff0c;我花了整整三天精心打磨的客服機器人提示詞&#xff0c;在周末更新后突然"失效"了。機器人不再能夠準確識別用戶意圖&#xff0…
閱讀更多...
Centos Ubuntu RedOS系統類型下查看系統信息

Centos Ubuntu RedOS系統類型下查看系統信息

文章目錄 一、項目背景二、頁面三、說明四、代碼1.SysInfo2.EmsSysConfig3.HostInformationController4.HostInfo 一、項目背景 公司項目想展示當前部署系統的&#xff1a;操作系統&#xff0c;軟件版本、IP、主機名。 二、頁面 三、說明 說明點1&#xff1a;查詢系統類型及…
閱讀更多...
阿里云自動備份網站，阿里云自動備份網站的方法

阿里云自動備份網站，阿里云自動備份網站的方法

阿里云提供了多種自動備份網站的方法&#xff0c;適用于不同場景和需求&#xff0c;用戶可根據自身技術能力和業務要求選擇合適的方案。以下是幾種主流的自動備份方法及操作要點&#xff1a; 一、基于云服務器ECS的自動快照備份 適用場景&#xff1a;適用于基于ECS部署的網站…
閱讀更多...
輸入輸出（python）

輸入輸出（python）

open&#xff08;&#xff09;需要和close&#xff08;&#xff09;配合使用 with open () as 不需要用close&#xff08;&#xff09;函數 在python3.0中的一些變動&#xff1a; eval 是編程語言中用于動態執行字符串形式代碼的內置函數 &#xff0c;名稱源于英文 “evaluate”…
閱讀更多...
Arduino邏輯控制詳細解答,一點自己的想法記錄

Arduino邏輯控制詳細解答,一點自己的想法記錄

一、邏輯控制的基礎概念與核心語法 1.1 邏輯控制的基本原理 邏輯控制是嵌入式系統中最常見的功能之一，其核心在于通過條件判斷（if-else）、循環（for/while）和布爾運算（&&/||）實現對硬件的精確控制。例如，通過按鍵狀態切換LED亮度、根據傳感器數據調整電機轉速…
閱讀更多...
字符串的相關方法

字符串的相關方法

1. equals方法的作用 方法介紹 public boolean equals(String s) 比較兩個字符串內容是否相同、區分大小寫 示例代碼 public class StringDemo02 {public static void main(String[] args) {//構造方法的方式得到對象char[] chs {a, b, c};String s1 new String(chs);…
閱讀更多...
最新文章

Copyright @ 2022~2023