在自然語言處理中，處理多語言和特殊字符的表示始終是一項挑戰。本文將分析一種創新的詞表構建策略，該策略通過數學優化和雙token機制，在保持詞表緊湊的同時實現了對Unicode字符的全面覆蓋。

詞表構建的核心邏輯

該策略包含四個關鍵步驟：

1. 收集有意義的Unicode字符
   • 遍歷Unicode基本多語言平面（BMP, 0-0xFFFF）
   • 過濾控制字符（Cc/Cf/Cs/Cn類別）
   • 保留實際可用的書寫字符

def is_meaningful(char):"""識別具有實際意義的Unicode字符"""try:name = unicodedata.name(char)cat = unicodedata.category(char)return not (cat.startswith('C') and cat != 'Co')except:return False

2. 優化字符表示方案
   • 為S個字符尋找最優的二維矩陣布局
   • 求解滿足$m\times n=S$時使$m+n$最小的整數對
   • 使用$O(\sqrt{S})$的因子搜索算法

def find_min_sum_integer(S):"""尋找最優二維布局方案"""min_sum = S + 1sqrt_S = int(math.isqrt(S))for m in range(1, sqrt_S + 1):if S % m == 0:n = S // mcurrent_sum = m + nif current_sum < min_sum:min_sum = current_sumbest_pair = (m, n)return best_pair

3. 構建層次化詞表

   # 1. 行列基礎token
   for i in range(m):s = f"s_{i}"for j in range(n):e = f"e_{j}"# 每個字符由(s_i, e_j)對表示voc_single_all_str[(s, e)] = chars.pop()# 2. 添加多字符詞匯
   voc += [phrase for phrase in common_phrases if len(phrase)>1][:5000]# 3. 添加特殊功能token
   voc = ["<|pad|>", "<|im_start|>", ...] + voc
   

4. 創建混合映射機制

   # 字符到ID的映射（單個字符映射到雙token序列）
   mapping = {'字': [id("s_42"), id("e_17")],'A': [id("s_12"), id("e_93")],...
   }
   

技術優勢分析

1. 高效的空間復雜度

   • 傳統方法：為每個Unicode字符分配獨立token → $O(S)$空間
   • 本方法：行列分離表示 → $O(\sqrt{S})$空間

   字符數(S)	行列方案	空間節省
   10,000	200	50×
   50,000	448	111×
   100,000	632	158×

2. 全面的字符覆蓋

   • 支持99%以上的常用字符（BMP平面）
   • 包括中文、韓文、藏文等復雜文字系統
   • 覆蓋數學符號、貨幣符號等特殊字符

3. 混合層次化設計

4. 隨機化增強

   • 行列標識隨機混排消除位置偏差
   • 多字符短語隨機排序避免語言偏好

實際應用價值

1. 多語言模型優化

   • 解決稀有字符OOV(Out-of-Vocabulary)問題
   • 支持小語種文本的高效處理

2. 緊湊模型部署

   • 減少Embedding層參數90%以上
   • 在保持覆蓋度的同時控制詞表在10K內

3. 特殊領域擴展

   • 通過添加領域短語支持專業術語
   • 數學公式、化學符號的特殊支持

潛在改進方向

1. 擴展字符范圍

   # 擴展至Unicode完整范圍(0-0x10FFFF)
   for plane in range(0, 17):start = plane * 0x10000end = start + 0x10000# 處理每個平面的字符
   

2. 動態詞匯注入

   def inject_domain_terms(voc, domain_terms):"""按需添加領域詞匯"""new_terms = [term for term in domain_terms if term not in voc]return voc + new_terms[:vacancy]
   

3. 壓縮表示優化

   # 對高頻字符提供單token別名
   char_aliases = {'的': '<|char_de|>',',': '<|char_comma|>',...
   }
   

結語

這種詞表構建策略通過數學優化和層次化設計，在字符覆蓋率和空間效率間取得了巧妙平衡。它不僅解決了Unicode表示的根本挑戰，還為構建緊湊高效的多語言模型提供了堅實基礎。在全球化AI應用日益普及的今天，這類高效表示方法的價值將愈發凸顯。

import pandas as pd
import unicodedataimport numpy as npdef is_meaningful(char):"""嚴格定義：已分配 + 非控制字符"""try:name = unicodedata.name(char)cat = unicodedata.category(char)return not (cat.startswith('C') and cat != 'Co')  # 排除Cc/Cf/Cs/Cnexcept:return Falsedef return_meaningful_chars():# 遍歷基本平面 (0-FFFF)，跳過明顯無效區meaningful_chars = []for code in range(0x10000):  # 僅BMP（已覆蓋99%常用字符）char = chr(code)if is_meaningful(char):meaningful_chars.append(char)print(f"? 發現 {len(meaningful_chars)} 個有意義字符")print("示例：", ''.join(meaningful_chars[:100]))  # 輸出前100個return meaningful_charsimport mathdef find_min_sum_integer(S):"""求解當 m*n = S 且 m,n,S 均為正整數時，m+n 的最小值參數:S (int): 正整數乘積值返回:tuple: (m, n, min_sum) 使 m*n=S 且 m+n 最小的 m, n 值及最小和"""if not isinstance(S, int) or S <= 0:raise ValueError("S 必須是正整數")# 初始化最小和為 S+1（最大可能和是 1+S）min_sum = S + 1best_pair = (1, S)# 遍歷到 sqrt(S) 即可，因為因子成對出現sqrt_S = int(math.isqrt(S))for m in range(1, sqrt_S + 1):if S % m == 0:n = S // mcurrent_sum = m + nif current_sum < min_sum:min_sum = current_sumbest_pair = (m, n)return (best_pair[0], best_pair[1], min_sum)
def gen_voc():str_list = list(return_meaningful_chars())[:-1]S = len(return_meaningful_chars()) - 1m, n, min_sum = find_min_sum_integer(S)sqrt_S = math.sqrt(S)# 判斷是否為完全平方數is_perfect_square = math.isclose(sqrt_S, int(sqrt_S))remark = "完全平方數" if is_perfect_square else f"最接近√S({sqrt_S:.2f})"print(f"{S:<5} | {m:<5} | {n:<5} | {min_sum:<5} | {m * n:<5} | {sqrt_S:<8.2f} | {remark}")voc = []voc_single_all_str = dict()for i in range(m):s = "s_{}".format(i)for j in range(n):e = "e_{}".format(j)voc_single_all_str[(s, e)] = str_list.pop()if s not in voc:voc.append(s)if e not in voc:voc.append(e)np.random.shuffle(voc)# 使用雙token 表示所有 單個字符# 多個字符使用 單個token 表示 且最大的voc_data = pd.read_pickle("voc.pkl")voc_data = sorted(voc_data, key=lambda x: voc_data[x], reverse=False)voc += [i for i in voc_data if len(i) > 1][:5000]np.random.shuffle(voc)voc = ["<|pad|>", "<|im_start|>", "<|im_end|>", "<|think|>", "<|end_think|>", "<|user|>", "<|agent|>", "<|system|>","<|func|>", "<|args|>"] + voc# voc_single_all_str_new={ v:k for k,v in voc_single_all_str.items()}# mini_voc = {v: i for i, v in enumerate(voc)}voc_x2id = {v: i for i, v in enumerate(voc)}voc_single_all_str_new = {v: [voc_x2id.get(j, 0) for j in k] for k, v in voc_single_all_str.items()}voc_x2id.update(voc_single_all_str_new)voc_id2x = {tuple(v) if isinstance(v, list) else v : k for k, v in voc_x2id.items() }pd.to_pickle(voc_id2x, "voc_id2x.pkl")pd.to_pickle(voc_x2id, "voc_x2id.pkl")# 測試示例
if __name__ == "__main__":gen_voc()將上述代碼分析 這樣建立詞表的優勢并 寫成博客