1. 文本處理（Text Processing）

1.1 功能概述

文本處理模塊的主要任務是將用戶輸入的文字提示詞轉換為機器可以理解的向量表示。這一過程包括分詞、詞嵌入和語義編碼，旨在捕捉文本的語義信息，為后續的圖像和視頻生成提供準確的指導。

1.2 關鍵技術

1.分詞（Tokenization）：

• 技術細節：
  • 使用基于BERT的分詞器，將輸入的文本拆分為詞語或子詞單元。
  • 支持中文和英文混合的分詞處理。
• 關鍵公式：

  

2.詞嵌入（Word Embedding）：

• 技術細節：
  • 將分詞后的詞語轉換為向量表示，使用預訓練的BERT或GPT模型。
  • 捕捉詞語的上下文信息，確保語義的一