import jieba
from tensorflow.keras.preprocessing.text import Tokenizer  # 安裝了新版本的tensorflow
# from keras.preprocessing.text import Tokenizer  # 系統里面沒有按照新版本的tensorflow 直接使用keras# pytroch tensorflow1.xxxx  (keras)
# 導入用于對象保存與加載的joblib
# from sklearn.externals import joblib
import joblib# 思路分析 生成onehot
# 1 準備語料 vocabs
# 2 實例化詞匯映射器Tokenizer, 使用映射器擬合現有文本數據 (內部生成 index_word word_index)
# 2-1 注意idx序號-1
# 3 查詢單詞idx 賦值 zero_list，生成onehot
# 4 使用joblib工具保存映射器 joblib.dump()
def dm01_onehot_gen():# 1 準備語料 vocabs# vocabs = {"周杰倫", "陳奕迅", "王力宏", "李宗盛", "吳亦凡", "鹿晗"}vocabs = ["周杰倫", "陳奕迅", "王力宏", "李宗盛", "吳亦凡", "鹿晗"]# 2 實例化詞匯映射器Tokenizer, 使用映射器擬合現有文本數據 (內部生成 index_word word_index)mytokenizer = Tokenizer()   # cmd+shift +umytokenizer.fit_on_texts(vocabs)print('mytokenizer.index_word-->', mytokenizer.index_word)print('mytokenizer.word_index-->', mytokenizer.word_index)# 2-1 注意idx序號-1# 3 查詢單詞idx 賦值 zero_list，生成onehotfor vocab in vocabs:zero_list = [0] * len(mytokenizer.index_word)  # 詞表有多長 onehot特征就有多長idx = mytokenizer.word_index[vocab] - 1zero_list[idx] = 1print(vocab, '的onehot編碼是', zero_list)# 4 使用joblib工具保存映射器 joblib.dump()joblib.dump(mytokenizer, './mytokenizer2' )print('保存 token ok')pass# 思路分析
# 1 加載已保存的詞匯映射器Tokenizer joblib.load(mypath)
# 2 查詢單詞idx 賦值zero_list，生成onehot 以token為'李宗盛'
# 3 token = "狗蛋" 會出現異常 # mytokenizer對沒有擬合的詞 會報錯
# OOV單詞問題 out of vocab 10萬單詞 把常用的21128個單詞進行訓練 其他單詞我不要！
# 文本生成 單詞表 5682 單詞！
def dm_onehot_use():# 1 load已經存在詞匯映射器文件mytokenizer = joblib.load('mytokenizer2')# 2 準備單詞vocab = '李宗盛'idx = mytokenizer.word_index[vocab] -1zero_list = [0] * len(mytokenizer.index_word)zero_list[idx] = 1# 3print(vocab, '的onehot編碼是', zero_list)# 4print('狗蛋 開始 ...')vocab = '狗蛋'idx = mytokenizer.word_index[vocab] - 1zero_list = [0] * len(mytokenizer.index_word)zero_list[idx] = 1print(vocab, '的onehot編碼是', zero_list)passif __name__ == '__main__':# dm01_onehot_gen()dm_onehot_use()print('one-hot編碼 End')