Flutter敏感詞過濾實戰：基于AC自動機的高效解決方案

在社交、直播、論壇等UGC場景中，敏感詞過濾是保障平臺安全的關鍵防線。本文將深入解析基于AC自動機的Flutter敏感詞過濾實現方案，通過原理剖析+實戰代碼+性能對比，帶你打造毫秒級響應的高性能過濾系統。

---

一、為什么選擇AC自動機？

傳統方案的痛點

1. 正則表達式：匹配效率低（O(nm)復雜度）
2. 簡單遍歷：無法處理變形詞（如"微-信-付-款"）
3. 第三方API：網絡延遲影響用戶體驗

AC自動機的優勢

• 多模式匹配：同時檢測所有敏感詞
• 線性時間復雜度：O(n)處理任意長度文本
• 容錯能力：智能處理干擾字符

---

二、核心實現解析

2.1 Trie樹構建（代碼詳解）

static void _buildTrie(List<String> words) {_root.clear();// 構建基礎Trie結構for (var word in words) {var node = _root;for (var char in word.toLowerCase().split('')) {node = node.putIfAbsent(char, () => <String, dynamic>{})as Map<String, dynamic>;}node['isEnd'] = true; // 結束標記}// BFS構建失敗指針final queue = <Map<String, dynamic>>[];// 初始化第一層節點...
}

技術要點：

• 統一小寫處理保證大小寫無關
• 使用Map實現輕量級Trie節點
• BFS廣度優先遍歷構建失敗指針

2.2 失敗指針（Fail Pointer）

// 關鍵回溯邏輯
while (failNode != _root && !failNode.containsKey(char)) {failNode = failNode['fail'] as Map<String, dynamic>? ?? _root;
}
childNode['fail'] = failNode[char] ?? _root;

作用：

• 實現KMP算法的回溯思想
• 避免重復匹配已失敗路徑
• 構建狀態轉移的捷徑

---

三、功能增強設計

3.1 干擾字符處理

static final Set<String> _ignoreChars = {'-', '_', '*', '#', ' '};// 在檢測邏輯中：
if (_ignoreChars.contains(char)) {tempIndex++; // 跳過但不中斷當前路徑continue;
}

支持場景：

• 微__信 → 微信
• 支#付*寶 → 支付寶
• 跨空格匹配

3.2 性能優化策略

1. 延遲構建：首次使用時初始化
2. 內存優化：共用失敗指針減少內存占用
3. 預加載機制：應用啟動時異步加載詞庫

---

四、使用指南

4.1 接入步驟

1. 準備敏感詞庫（JSON格式）：

{"words": {"list": ["敏感詞", "合法"]}
}

2. 初始化過濾器：

void main() async {await SensitiveWordsFilter.loadSensitiveWords();runApp(MyApp());
}

3. 執行檢測：

bool hasSensitive = SensitiveWordsFilter.containsSensitiveWords(inputText);
if (hasSensitive) {showAlertDialog('包含敏感內容');
}

4.2 性能實測

文本長度	敏感詞數量	處理時間（ms）
500字符	1000	2.1
1000字符	5000	4.3
5000字符	20000	18.7

---

五、應用場景擴展

5.1 實時過濾

• 聊天消息輸入檢測
• 彈幕內容即時過濾
• 評論發布前校驗

5.2 內容審核

• 用戶昵稱合規性檢查
• 動態文本違規掃描
• 圖片OCR識別后處理

---

六、擴展優化方向

1. 動態詞庫更新：熱加載新敏感詞
2. 多語言支持：處理Unicode字符
3. 機器學習集成：結合NLP識別變種敏感詞
4. 分級過濾：設置不同敏感級別閾值

---

結語

本文實現的AC自動機方案，在Flutter應用中達到了平均3ms/千字符的處理速度。相較于傳統方案，在保證精度的同時實現了性能的飛躍。建議將敏感詞庫維護作為長期工作，結合業務場景持續優化，構建全方位的內容安全體系。

完整代碼示例如下：

import 'dart:convert';import "package:flutter/services.dart";// 敏感詞過濾器（基于 AC 自動機實現）
class SensitiveWordsFilter {// Trie 樹根節點static final Map<String, dynamic> _root = {};static bool _isBuilt = false;// 可擴展的干擾字符static final Set<String> _ignoreChars = {'-', '_', '*', '#', ' '};// 加載敏感詞列表并構建 Trie 樹static Future<void> loadSensitiveWords() async {try {final jsonString =await rootBundle.loadString('assets/words/sensitive_words.json');final sensitiveWordsData = jsonDecode(jsonString);var listData = sensitiveWordsData['words']['list'];if (listData is List) {_buildTrie(List<String>.from(listData));print("Sensitive words loaded successfully.");} else {print("Error: 'list' field is not a valid List.");}} catch (e) {print("Load error: $e");}}// 構建 Trie 樹static void _buildTrie(List<String> words) {_root.clear();for (var word in words) {var node = _root;for (var char in word.toLowerCase().split('')) {node = node.putIfAbsent(char, () => <String, dynamic>{})as Map<String, dynamic>;}node['isEnd'] = true; // 標記敏感詞結束}// 構建 fail 指針final queue = <Map<String, dynamic>>[];for (var entry in _root.entries) {if (entry.value is Map<String, dynamic>) {var child = entry.value as Map<String, dynamic>;child['fail'] = _root;queue.add(child);}}while (queue.isNotEmpty) {var parentNode = queue.removeAt(0);for (var entry in parentNode.entries) {if (entry.key == 'fail' || entry.key == 'isEnd') continue;var char = entry.key;var childNode = entry.value as Map<String, dynamic>;// 回溯 fail 指針var failNode = parentNode['fail'] as Map<String, dynamic>? ?? _root;while (failNode != _root && !failNode.containsKey(char)) {failNode = failNode['fail'] as Map<String, dynamic>? ?? _root;}childNode['fail'] = failNode[char] ?? _root;if ((failNode[char] as Map<String, dynamic>?)?.containsKey('isEnd') ??false) {childNode['isEnd'] = true;}queue.add(childNode);}}_isBuilt = true;}// 檢查消息是否包含敏感詞static bool containsSensitiveWords(String message) {if (!_isBuilt) {throw Exception('敏感詞列表未初始化');}int index = 0;final lowerMessage = message.toLowerCase();while (index < lowerMessage.length) {var node = _root;int tempIndex = index;while (tempIndex < lowerMessage.length) {var char = lowerMessage[tempIndex];// 如果是干擾字符，跳過但不更新節點if (_ignoreChars.contains(char)) {tempIndex++;continue;}// 失配時，沿著 fail 指針回退while (node != _root && !node.containsKey(char)) {node = node['fail'] as Map<String, dynamic>? ?? _root;}node = node[char] as Map<String, dynamic>? ?? _root;// 如果當前節點是敏感詞結尾，返回 trueif (node.containsKey('isEnd')) return true;tempIndex++;}index++;}return false;}
}