第N1周：one-hot編碼案例

???????🍨 本文為🔗365天深度學習訓練營中的學習記錄博客
? ? ? ?🍖 原作者：K同學啊

一、one-hot編碼概念

自然語言處理（NLP）中的文本數字化：文字對于計算機來說就僅僅只是一個個符號，計算機無法理解其中含義，更無法處理。因此，NLP第一步就是將文本數字化。

文本數字化方法：NLP中最早期的文本數字化方法，就是將文本轉換為字典序列。如:“阿”是新華字典中第1個單詞所以它的字典序列就是1。

?one-hot編碼（獨熱編碼）：將每個類別映射到一個向量，其中只有一個元素的值為1，其余元素的值為0。這樣，每個類別之間就是相互獨立的，不存在順序或距離關系。例如，對于三個類別的情況，可以使用如下的one-hot編碼：

類別1:[1,0,0]
類別2:[0,1,0]
類別3:[0,0,1]

舉例：

John likes to watch movies.? Mary likes too.
John also likes to watch football games.

以上兩句構成一個詞典：

{"John": 1, "likes": 2, "to": 3, "watch": 4,"movies": 5, "also": 6, "football": 7, "games": 8, "Mary": 9"too": 10}

one-hot可表示為：

John:[1，0，0，0，0，0，0，0，0，0]

likes:[0，1，0，0，0，0，0，0，0，0]
............等等，以此類推。

1.one-hot編碼的優點：

解決了分類器不好處理離散數據的問題，能夠處理非連續型數值特征。

2.one-hot編碼的缺點：

在文本表征表示上有些缺點非常突出，首先one-hot 編碼是一個詞袋模型，是不考慮詞和詞之間的順序問題，它是假設詞和詞之間是相互獨立的，但是在大部分情況下詞和詞之間是相互影響的。
one-hot編碼得到的特征是離散稀疏的，每個單詞的one-hot編碼維度是整個詞匯表的大小，維度非常巨大，編碼稀疏，會使得計算代價變大。

二、英文案例

import torch
import torch.nn.functional as F#示例文本
texts = ['Hello, how are you?','I am doing well, thank you!','Goodbye.']# 構建詞匯表
word_index={}
index_word={}
for i,word in enumerate(set(" ".join(texts).split())):word_index[word]=iindex_word[i]= word#將文本轉化為整數序列
sequences = [[word_index[word] for word in text.split()] for text in texts]#獲取詞匯表大小
vocab_size =len(word_index)#將整數序列轉化為one-hot編碼
one_hot_results = torch.zeros(len(texts),vocab_size)
for i,seq in enumerate(sequences):one_hot_results[i, seq] = 1#打印結果
print("詞匯表:")
print(word_index)
print("\n文本:")
print(texts)
print("\n文本序列:")
print(sequences)
print("\none-Hot編碼:")
print(one_hot_results)

詞匯表:
{'are': 0, 'thank': 1, 'am': 2, 'you!': 3, 'you?': 4, 'Hello,': 5, 'doing': 6, 'Goodbye.': 7, 'well,': 8, 'I': 9, 'how': 10}

文本:
['Hello, how are you?', 'I am doing well, thank you!', 'Goodbye.']

文本序列:
[[5, 10, 0, 4], [9, 2, 6, 8, 1, 3], [7]]

one-Hot編碼:
tensor([[1., 0., 0., 0., 1., 1., 0., 0., 0., 0., 1.],
??????? [0., 1., 1., 1., 0., 0., 1., 0., 1., 1., 0.],
??????? [0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0.]])

三、中文案例

1.以字為基本單位

import torch
import torch.nn.functional as F#示例中文文本
texts =['你好，最近怎么樣?', '我過得很好，謝謝!', 'K同學啊']#構建詞匯表
word_index={}
index_word ={}
for i,word in enumerate(set("".join(texts))):word_index[word]=iindex_word[i]= word#將文本轉化為整數序列
sequences =[[word_index[word] for word in text] for text in texts]#獲取詞匯表大小
vocab_size = len(word_index)#將整數序列轉化為one-hot編碼
one_hot_results =torch.zeros(len(texts),vocab_size)
for i,seq in enumerate(sequences):one_hot_results[i,seq]=1#打印結果
print("詞匯表:")
print(word_index)
print("\n文本:")
print(texts)
print("\n文本序列:")
print(sequences)
print("\none-Hot編碼:")
print(one_hot_results)

詞匯表:
{'?': 0, '同': 1, '樣': 2, '得': 3, '你': 4, '啊': 5, '，': 6, '好': 7, '很': 8, 'K': 9, '我': 10, '近': 11, '學': 12, '謝': 13, '怎': 14, '最': 15, '么': 16, '過': 17, '!': 18}

文本:
['你好，最近怎么樣?', '我過得很好，謝謝!', 'K同學啊']

文本序列:
[[4, 7, 6, 15, 11, 14, 16, 2, 0], [10, 17, 3, 8, 7, 6, 13, 13, 18], [9, 1, 12, 5]]

one-Hot編碼:
tensor([[1., 0., 1., 0., 1., 0., 1., 1., 0., 0., 0., 1., 0., 0., 1., 1., 1., 0.,
???????? 0.],
??????? [0., 0., 0., 1., 0., 0., 1., 1., 1., 0., 1., 0., 0., 1., 0., 0., 0., 1.,
???????? 1.],
??????? [0., 1., 0., 0., 0., 1., 0., 0., 0., 1., 0., 0., 1., 0., 0., 0., 0., 0.,
???????? 0.]])

2.使用結巴分詞工具

import torch
import torch.nn.functional as F 
import jieba#示例中文文本
texts = ['你好，最近怎么樣?', '我過得很好，謝謝!', '再見。']#使用結巴分詞進行分詞
tokenized_texts = [list(jieba.cut(text)) for text in texts]#構建詞匯表
word_index = {}
index_word = {}
for i,word in enumerate(set([word for text in tokenized_texts for word in text])):word_index[word] = iindex_word[i] = word#將文本轉化為整數序列
sequences =[[word_index[word] for word in text] for text in tokenized_texts]#獲取詞匯表大小
vocab_size =len(word_index)#將整數序列轉化為one-hot編碼
one_hot_results = torch.zeros(len(texts),vocab_size)
for i,seq in enumerate(sequences):one_hot_results[i,seq]=1#打印結果
print("詞匯表:")
print(word_index)
print("\n文本:")
print(texts)
print("\n分詞結果")
print(tokenized_texts)
print("\n文本序列:")
print(sequences)
print("\none-Hot編碼:")
print(one_hot_results)

詞匯表:
{'你好': 0, '得': 1, '再見': 2, '?': 3, '怎么樣': 4, '，': 5, '最近': 6, '很': 7, '!': 8, '謝謝': 9, '。': 10, '我過': 11, '好': 12}

文本:
['你好，最近怎么樣?', '我過得很好，謝謝!', '再見。']

分詞結果
[['你好', '，', '最近', '怎么樣', '?'], ['我過', '得', '很', '好', '，', '謝謝', '!'], ['再見', '。']]

文本序列:
[[0, 5, 6, 4, 3], [11, 1, 7, 12, 5, 9, 8], [2, 10]]

one-Hot編碼:
tensor([[1., 0., 0., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0.],
??????? [0., 1., 0., 0., 0., 1., 0., 1., 1., 1., 0., 1., 1.],
??????? [0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0.]])

四、任務案例

import torch
import torch.nn.functional as F 
import jieba# 定義文件路徑
file_name = 'F:/jupyter lab/DL-100-days/datasets/one_hot/任務文件.txt'# 打開文件并讀取內容
with open(file_name, "r", encoding="utf-8") as file:context = file.read()# 將內容分割成句子sentences = context.split()# 使用jieba對每個句子進行分詞
tokenized_texts = [list(jieba.lcut(sentence)) for sentence in sentences]# 構建詞匯表
word_index = {}
index_word = {}
for i, word in enumerate(set([word for text in tokenized_texts for word in text])):word_index[word] = iindex_word[i] = word# 將文本轉化為整數序列
sequences = [[word_index[word] for word in text] for text in tokenized_texts]# 獲取詞匯表大小
vocab_size = len(word_index)# 將整數序列轉化為one-hot編碼
one_hot_results = torch.zeros(len(sentences), vocab_size)
for i, seq in enumerate(sequences):one_hot_results[i, seq] = 1# 打印結果
print("====詞匯表:====\n", word_index)
print("====文本:====\n", sentences)
print("====分詞結果:====\n", tokenized_texts)
print("====文本序列:====\n", sequences)
print("====One-Hot編碼:====\n", one_hot_results)

====詞匯表:====
{'訓練營': 0, '實際意義': 1, '深度': 2, '順序': 3, '模型': 4, '不同': 5, '值': 6, '的': 7, '錯誤': 8, '字典': 9, '距離': 10, 'one': 11, '或': 12, '是': 13, '實際上': 14, '例如': 15, '存在': 16, '2': 17, '認為': 18, '使用': 19, '這是': 20, '內容': 21, '啊': 22, '有': 23, '-': 24, '獨立': 25, '就是': 26, '向量': 27, '“': 28, '情況': 29, '和': 30, '具有': 31, '問題': 32, '365': 33, '分別': 34, '為了': 35, '地': 36, '將': 37, '同學': 38, '，': 39, 'K': 40, '其余': 41, '1': 42, '之間': 43, '這種': 44, '稱': 45, 'hot': 46, '如下': 47, '直觀': 48, '。': 49, '用': 50, '其中': 51, '或者': 52, '）': 53, '比較': 54, '上面': 55, '為': 56, '3': 57, '可能': 58, '這些': 59, '引入': 60, '每個': 61, '相互': 62, '：': 63, '序列': 64, '編碼方式': 65, '關系': 66, '、': 67, '表示': 68, '避免': 69, '不': 70, '但是': 71, '類別': 72, '也': 73, '思想': 74, '0': 75, '學習': 76, '了': 77, '這樣': 78, '一個': 79, '編碼': 80, '基本': 81, '元素': 82, '”': 83, '采用': 84, '三個': 85, '到': 86, '天': 87, '這': 88, '提到': 89, '而': 90, '映射': 91, '對于': 92, '教案': 93, '（': 94, '可以': 95, '只有': 96, '一些': 97, '會': 98, '獨熱': 99}
====文本:====
['比較直觀的編碼方式是采用上面提到的字典序列。', '例如，對于一個有三個類別的問題，可以用1、2和3分別表示這三個類別。', '但是，這種編碼方式存在一個問題，就是模型可能會錯誤地認為不同類別之間存在一些順序或距離關系', '而實際上這些關系可能是不存在的或者不具有實際意義的，為了避免這種問題，引入了one-hot編碼（也稱獨熱編碼）。', 'one-hot編碼的基本思想是將每個類別映射到一個向量，其中只有一個元素的值為1，其余元素的值為0。', '這樣，每個類別之間就是相互獨立的，不存在順序或距離關系。', '例如，對于三個類別的情況，可以使用如下的one-hot編碼：', '這是K同學啊的“365天深度學習訓練營”教案內容']
====分詞結果:====
[['比較', '直觀', '的', '編碼方式', '是', '采用', '上面', '提到', '的', '字典', '序列', '。'], ['例如', '，', '對于', '一個', '有', '三個', '類別', '的', '問題', '，', '可以', '用', '1', '、', '2', '和', '3', '分別', '表示', '這', '三個', '類別', '。'], ['但是', '，', '這種', '編碼方式', '存在', '一個', '問題', '，', '就是', '模型', '可能', '會', '錯誤', '地', '認為', '不同', '類別', '之間', '存在', '一些', '順序', '或', '距離', '關系'], ['而', '實際上', '這些', '關系', '可能', '是', '不', '存在', '的', '或者', '不', '具有', '實際意義', '的', '，', '為了', '避免', '這種', '問題', '，', '引入', '了', 'one', '-', 'hot', '編碼', '（', '也', '稱', '獨熱', '編碼', '）', '。'], ['one', '-', 'hot', '編碼', '的', '基本', '思想', '是', '將', '每個', '類別', '映射', '到', '一個', '向量', '，', '其中', '只有', '一個', '元素', '的', '值', '為', '1', '，', '其余', '元素', '的', '值', '為', '0', '。'], ['這樣', '，', '每個', '類別', '之間', '就是', '相互', '獨立', '的', '，', '不', '存在', '順序', '或', '距離', '關系', '。'], ['例如', '，', '對于', '三個', '類別', '的', '情況', '，', '可以', '使用', '如下', '的', 'one', '-', 'hot', '編碼', '：'], ['這是', 'K', '同學', '啊', '的', '“', '365', '天', '深度', '學習', '訓練營', '”', '教案', '內容']]
====文本序列:====
[[54, 48, 7, 65, 13, 84, 55, 89, 7, 9, 64, 49], [15, 39, 92, 79, 23, 85, 72, 7, 32, 39, 95, 50, 42, 67, 17, 30, 57, 34, 68, 88, 85, 72, 49], [71, 39, 44, 65, 16, 79, 32, 39, 26, 4, 58, 98, 8, 36, 18, 5, 72, 43, 16, 97, 3, 12, 10, 66], [90, 14, 59, 66, 58, 13, 70, 16, 7, 52, 70, 31, 1, 7, 39, 35, 69, 44, 32, 39, 60, 77, 11, 24, 46, 80, 94, 73, 45, 99, 80, 53, 49], [11, 24, 46, 80, 7, 81, 74, 13, 37, 61, 72, 91, 86, 79, 27, 39, 51, 96, 79, 82, 7, 6, 56, 42, 39, 41, 82, 7, 6, 56, 75, 49], [78, 39, 61, 72, 43, 26, 62, 25, 7, 39, 70, 16, 3, 12, 10, 66, 49], [15, 39, 92, 85, 72, 7, 29, 39, 95, 19, 47, 7, 11, 24, 46, 80, 63], [20, 40, 38, 22, 7, 28, 33, 87, 2, 76, 0, 83, 93, 21]]
====One-Hot編碼:====
tensor([[0., 0., 0., 0., 0., 0., 0., 1., 0., 1., 0., 0., 0., 1., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 0.,
???????? 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
??????? [0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 1., 0., 1.,
???????? 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 0., 1., 0., 1., 0.,
???????? 0., 0., 0., 1., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0.,
???????? 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0.,
???????? 1., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 1., 0., 0., 1., 0.,
???????? 0., 0., 1., 0., 0., 1., 0., 0., 0., 0.],
??????? [0., 0., 0., 1., 1., 1., 0., 0., 1., 0., 1., 0., 1., 0., 0., 0., 1., 0.,
???????? 1., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 1., 0., 0., 0.,
???????? 1., 0., 0., 1., 0., 0., 0., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 0., 1.,
???????? 1., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 1., 1., 0.],
??????? [0., 1., 0., 0., 0., 0., 0., 1., 0., 0., 0., 1., 0., 1., 1., 0., 1., 0.,
???????? 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 1.,
???????? 0., 0., 0., 1., 0., 0., 0., 0., 1., 1., 1., 0., 0., 1., 0., 0., 1., 1.,
???????? 0., 0., 0., 0., 1., 1., 1., 0., 0., 0., 0., 0., 1., 0., 0., 1., 1., 0.,
???????? 0., 1., 0., 0., 0., 1., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 1., 0., 0., 0., 1., 0., 0., 0., 0., 1.],
??????? [0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 1., 0., 1., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 1., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 1., 0., 1., 0., 1., 1., 0., 0., 0., 1., 0., 0., 1., 0., 1., 0., 0.,
???????? 0., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 1., 0., 1., 1., 0., 0., 0., 1., 1., 1., 1., 0., 0., 0., 1., 0., 0., 0.,
???????? 0., 1., 0., 0., 0., 0., 1., 0., 0., 0.],
??????? [0., 0., 0., 1., 0., 0., 0., 1., 0., 0., 1., 0., 1., 0., 0., 0., 1., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 1., 0., 0., 0., 1., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 1., 0., 0., 0., 1., 0.,
???????? 1., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
??????? [0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 1., 0., 0., 0., 1., 0., 0.,
???????? 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 1., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 1., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0.,
???????? 0., 0., 1., 0., 0., 1., 0., 0., 0., 0.],
??????? [1., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 1., 1., 1., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 0.,
???????? 0., 0., 1., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
???????? 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 1., 0., 0.,
???????? 0., 0., 0., 1., 0., 0., 0., 0., 0., 0.]])