【AI落地應用實戰】利用 Amazon Bedrock Claude3 打造個性化 AI Character 應用

目錄
一、引言：AI Character應用的市場前景與技術基礎
二、技術架構設計
2.1、整體方案概述
2.2、核心組件介紹
2.3、部署架構圖
三、系統部署方案
3.1、方案總述
3.2、實踐流程
1??. Bedrock 配置
2??. 安裝 SillyTavern
3??. 配置 SillyTavern 使用 Claude3 模型
4??. 使用 AI Character Editor 角色管理器
四、總結與展望

新用戶可獲得高達 200 美元的服務抵扣金

亞馬遜云科技新用戶可以免費使用亞馬遜云科技免費套餐（Amazon Free Tier）。注冊即可獲得 100美元的服務抵扣金，在探索關鍵亞馬遜云科技服務時可以再額外獲得最多 100 美元的服務抵扣金。使用免費計劃試用亞馬遜云科技服務，最長可達 6個月，無需支付任何費用，除非您選擇付費計劃。付費計劃允許您擴展運營并獲得超過 150 項亞馬遜云科技服務的訪問權限。

一、引言：AI Character應用的市場前景與技術基礎

隨著生成式人工智能（Generative AI，簡稱GenAI）技術的飛速發展，我們正步入一個由AI驅動的全新時代。從智能客服、虛擬助手到創意內容生成，GenAI正在深刻改變我們與數字世界的交互方式。在眾多創新應用中，AI Character（AI角色）以其獨特的魅力和廣闊的市場前景脫穎而出。通過賦予AI鮮明的個性、情感和行為模式，我們能夠創造出栩栩如生、引人入勝的數字伙伴，為用戶帶來前所未有的個性化和沉浸式互動體驗。

與此同時，亞馬遜云科技的Amazon Bedrock服務，作為一項全面托管的基礎模型（Foundation Model，簡稱FM）服務，提供了一個安全、可擴展且功能豐富的平臺，使得開發者能夠專注于AI Character的創意和業務邏輯，而無需過多關注底層基礎設施的復雜性。

在這里插入圖片描述
本文將深入探討如何利用Amazon Bedrock的強大能力與Claude3的先進智能，結合SillyTavern和AI Character Editor等工具，從零開始打造一個功能完善的個性化AI Character應用，并重點分享其背后的實踐流程與方法論，旨在為廣大AI愛好者和開發者提供一份詳盡的落地應用指南。

二、技術架構設計

構建個性化AI Character應用，需要一套清晰且高效的技術架構來支撐。本方案的核心在于利用Amazon Bedrock的托管服務優勢，結合Claude3的強大語言理解與生成能力，并通過SillyTavern和AI Character Editor等工具，實現從模型調用到用戶交互的無縫銜接。以下是本應用的技術架構設計及其核心組件的詳細介紹。

2.1、整體方案概述

本方案旨在提供一個端到端的解決方案，使用戶能夠高效地創建、部署并與個性化AI Character進行交互。其核心思想是：

利用Amazon Bedrock作為后端大模型服務，提供穩定、可擴展的Claude3模型推理能力；
SillyTavern作為前端聊天界面，提供豐富的交互功能和角色管理；
AI Character Editor則作為角色創作工具，幫助用戶直觀地定義AI Character的個性與行為。三者協同工作，共同打造沉浸式的AI Character體驗。

2.2、核心組件介紹

Amazon Bedrock
Amazon Bedrock是亞馬遜云科技提供的一項全面托管服務，它通過統一的API接口，讓開發者能夠輕松訪問來自領先AI公司（如Anthropic、Meta、AI21 Labs等）以及亞馬遜自研的高性能基礎模型（FM）。Bedrock不僅提供了多樣化的模型選擇，以適應不同的業務場景需求，更重要的是，它提供了一系列圍繞生成式AI的廣泛功能，確保在安全、隱私和負責任的AI原則下構建應用。
Claude3
Claude3是Anthropic公司最新發布的大型語言模型系列，包含Haiku、Sonnet和Opus三個模型。這三個模型在智能度、推理速度和成本效益方面各有側重，為用戶提供了靈活的選擇空間。Claude3系列在保留了其前身Claude2出色對話能力的基礎上，顯著增強了常識推理、上下文理解和多輪對話的性能。
SillyTavern
SillyTavern是一個開源的、高度可定制的本地聊天前端，專為與各種AI模型（包括通過API訪問的遠程模型）進行交互而設計。它提供了一個開箱即用的聊天環境，內置了豐富的角色庫，用戶可以快速試用各種預設的AI角色。SillyTavern的強大之處在于其靈活的配置能力，允許用戶自定義聊天界面、角色行為、記憶管理等，從而實現與AI Character的深度個性化互動。
AI Character Editor
AI Character Editor是一個直觀的角色卡編輯工具，它允許用戶以結構化的方式定義AI Character的各項屬性。角色卡通常包含角色的名稱、背景故事、性格特征、對話風格、記憶、示例對話等關鍵信息。通過這個工具，用戶可以像設計一個真實人物一樣，細致地塑造AI Character的“靈魂”。

2.3、部署架構圖

本應用的部署架構相對簡潔，主要基于一臺Amazon EC2實例。具體部署方式如下：

計算資源：我們將選擇一臺Amazon EC2 t3.medium實例作為核心計算平臺。t3.medium實例提供了適中的計算和內存資源，足以運行SillyTavern和AI Character Editor，并處理與Amazon Bedrock的API通信。
網絡配置：為了確保用戶能夠訪問部署在EC2實例上的應用，我們需要配置EC2實例的安全組，開放特定的網絡端口。具體而言，AI Character Editor將暴露在8080端口，而SillyTavern將暴露在8000端口。這些端口將允許來自外部網絡的HTTP/HTTPS請求。
后端模型集成： SillyTavern將通過配置，使用Amazon Bedrock上的Claude3 Sonnet模型作為其后端大模型。這意味著當用戶在SillyTavern中與AI Character對話時，SillyTavern會將用戶的輸入發送到Amazon Bedrock的Claude3 Sonnet API，接收模型生成的回復，并將其展示給用戶。這種架構實現了前端應用與后端大模型服務的解耦，提升了系統的可擴展性和維護性。

簡而言之，用戶將通過瀏覽器訪問部署在EC2實例上的SillyTavern（通過EC2實例IP:8000）與AI Character進行交互，并通過AI Character Editor（通過EC2實例IP:8080）創建和管理AI Character。所有的AI推理任務都將由Amazon Bedrock上的Claude3 Sonnet模型完成。

三、系統部署方案

3.1、方案總述

本實踐流程遵循“模塊化部署、逐步集成、驗證反饋”的方法論。首先，我們將獨立部署和配置各個核心組件（Amazon Bedrock模型訪問、EC2實例、SillyTavern和AI Character Editor）。隨后，通過精確的配置，將這些組件逐步集成起來，形成一個完整的AI Character應用系統。在每個關鍵步驟，我們都將強調驗證的重要性，確保前一步驟的成功執行是后續操作的基礎。這種方法論不僅有助于降低部署的復雜性，還能在出現問題時快速定位并解決。

3.2、實踐流程

1??. Bedrock 配置

首先進入亞馬遜云科技海外站官網，點擊亞馬遜云科技海外區域，立即注冊：

在這里插入圖片描述
然后進入Amazon海外站官網，輸入Bedrock，點擊Amazon Bedrock進入詳情頁

在這里插入圖片描述

然后點擊入門，進入Amazon Bedrock控制臺，進入后點擊概覽（Overview），我們可以看到 Amazon Bedrock 支持的多種基礎模型（Foundation Model），其中包括 Amazon Titan，Anthropic Claude，Jurassic，Command，Mistral，Stable Di?usion 以及 Llama3。這些基礎模型涵蓋了文本生成、圖像生成等多種應用場景，無論是個人開發者還是大型企業，都可以通過Amazon Bedrock來構建和部署高質量的生成式AI應用程序。

在使用 Bedrock 的模型之前，需要申請模型的訪問權限。在模型訪問申請頁面中，首先點擊右上方的“Manage model access”。

在這里插入圖片描述

然后，在“Anthropic”提供商提供的“Claude3 Sonnet”模型前打勾。
勾選 Claude3 Sonnet 并填寫使用用例后，滾動到頁面底部，點擊“Save changes”，完成模型訪問的申請。

2??. 安裝 SillyTavern

SillyTavern 是一款開源的角色扮演聊天前端界面，通過它您能夠方便地加載角色，連接后端大語言模型，快速開始聊天。

創建 EC2 實例
在 EC2 控制臺中，點擊側邊欄的“Instances”，進入實例頁面，點擊右上方的橙色按鈕“Launch instances”創建新實例。在 Amazon Machine Image 中選擇“Ubuntu Server 22.04 LTS (HVM)”，Instance type 則在下拉選單中選擇“t3.medium”類型。

在這里插入圖片描述
配置磁盤大小為 30GB。

在 Inbound Security Group Rules 中，需要配置三條規則：

SSH 規則：端口為 22，便于我們登錄到服務器做相關配置。
HTTP 規則 (SillyTavern)：端口“8000”，用于訪問 SillyTavern。
HTTP 規則 (Character-editor)：端口“8080”，用于訪問 Character-editor。

連接到實例
在連接實例之前，需要先在 EC2 實例頁面確認實例已完全啟動，Status check 顯示為綠色。
在這里插入圖片描述
配置 Node.js 運行環境
SillyTavern 需要 Node 20.x 以上的版本作為其運行時環境。請按照以下步驟安裝 Node.js 環境：

sudo apt update
curl -sL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install nodejs -y

安裝完成后，您可以通過以下命令檢查 Node.js 和 npm 的版本，以驗證是否安裝成功：

node --version
npm --version

部署 SillyTavern
首先，克隆 SillyTavern 代碼到本地：

cd ~
git clone https://github.com/Chen188/SillyTavern.git -b bedrock

接下來，配置 SillyTavern 訪問設置。在 SillyTavern 目錄下，打開 config.yaml 文件，修改以下參數以實現安全的遠程訪問：

listen: truewhitelistMode: falsebasicAuthMode: truebasicAuthUser: # 設定的遠程登錄 sillytavern 的用戶名和密碼username: your_username # 輸用戶名password: your_password # 輸密碼，默認為 user/password

3??. 配置 SillyTavern 使用 Claude3 模型

在瀏覽器中，輸入 http://<ec2 public ip>:8000。在彈出的用戶名密碼對話框中輸入在 config.yaml 配置文件中填寫的用戶名密碼，進入 SillyTavern 歡迎頁面。在首頁提示框中，輸入用戶名，也可以使用默認值“User”。
在這里插入圖片描述
點擊頂部的插頭圖標，選擇 API 為 Chat Completion，并在 Chat Completion Source 處配置后端為 Amazon Bedrock。

在 Amazon AKSK 處，填寫在創建資源步驟中新建的 IAM User 的 Access Key 和 Secret Key，點擊 Connect 連接到 Bedrock。如果您期望通過 IAM Role 分配訪問權限，則可以先創建一個帶有 Amazon Bedrock 訪問權限的 IAM Role，然后綁定到 EC2 服務器上，您可以參考亞馬遜云科技文檔來執行此操作，之后將 SillyTavern 中的 AKSK 留空。

4??. 使用 AI Character Editor 角色管理器

除了和 SillyTavern 預置的角色聊天外，還可以通過 AI Character Editor 來創造自己的角色卡。

配置 AI Character Editor
登錄到 EC2，從 GitHub 拉取 AI Character Editor 的代碼：

git clone https://github.com/ZoltanAI/character-editor.git

安裝 HTTP 服務器并啟動 AI Character Editor：

cd character-editor
sudo npm install -g http-server
http-server

啟動成功后，您將看到相應的提示。此時，AI Character Editor 已在 8080 端口啟動。
打開角色管理器界面
在瀏覽器中輸入 http://:8080 打開角色管理器界面。
填寫完成后，點擊 Export 中的“Download as Character JSON”下載角色卡圖片。
導入角色到 SillyTavern
打開 SillyTavern，點擊右上角的“Import character”按鈕。SillyTavern 會自動從圖片中讀取 JSON 數據并導入角色。之后角色就會出現在列表中。
在這里插入圖片描述

四、總結與展望

無論您是開發者還是企業用戶，亞馬遜云科技都為您提供750小時的Amazon EC2計算資源、5GB的Amazon S3存儲和750小時的Amazon RDS數據庫服務，讓您免費體驗云端的高效與穩定。
在這里插入圖片描述

個性化AI Character應用擁有廣闊的未來發展空間，而Amazon Bedrock和Claude3等技術將持續推動這一領域的創新。未來，我們可以預見以下幾個發展方向：

更復雜的角色行為與情感表達：隨著大模型能力的進一步提升，AI Character將能夠展現出更細致入微的情感變化、更復雜的決策邏輯和更具深度的個性，使其與用戶的交互更加自然和富有情感。
多模態交互的深度融合：除了文本對話，AI Character將更廣泛地支持語音、圖像、視頻等多模態交互。例如，用戶可以通過語音與AI Character對話，AI Character能夠理解圖像內容并生成相應的視覺反饋，甚至能夠生成具有表情和肢體語言的虛擬形象，實現真正的沉浸式體驗。
與外部系統的無縫集成： AI Character將不再局限于簡單的對話，而是能夠通過API與外部系統（如日歷、郵件、智能家居設備、電商平臺等）進行交互，執行更廣泛的任務，成為用戶的智能助理。
個性化定制的普及與自動化：隨著AI Character Editor等工具的智能化，用戶將能夠更便捷、更自動化地定制AI Character，甚至可以根據用戶的行為數據和偏好，自動生成或調整AI Character的個性。
垂直領域的專業化應用： AI Character將在教育、醫療、心理咨詢、客戶服務等垂直領域發揮更大的作用，例如作為個性化教師、健康顧問或虛擬治療師，提供專業化、定制化的服務。

Amazon Bedrock作為托管服務，將持續集成最新的基礎模型和功能，為開發者提供強大的后盾。Claude3及其后續版本也將不斷突破性能邊界，為AI Character注入更強大的智能。我們期待在不久的將來，個性化AI Character能夠成為我們日常生活中不可或缺的一部分，為人類帶來更豐富、更智能的交互體驗。

以上就是本文的全部內容啦。最后提醒一下各位工友，如果后續不再使用相關服務，別忘了在控制臺關閉，避免超出免費額度產生費用～