python 編碼問題之終極解決

結合之前遇到的坑以及下面貼的這篇文章， 總結幾種python亂碼解決方案，如果遇到亂碼，不妨嘗試一下？

1，必備

#encoding=utf-8

2,　python編程環境編碼

import sys
reload(sys)
sys.setdefaultencoding('utf8')

?

3,不知道神馬編碼的時候用chardet查一下

from chardet import detect  # detect(str),參數只能是str,不能是unicode編碼的
if not isinstance(line, unicode):line = line.decode(detect(line)['encoding']).rstrip().lower()

4,mysql 的默認字符集 latin1，Latin1是ISO-8859-1的別名，有些環境下寫作Latin-1，ISO-8859-1編碼是單字節編碼，向下兼容ASCII

try:line = line.rstrip().decode("utf-8").lower()
except UnicodeDecodeError:line = line.decode('latin-1').rstrip().lower()    # 很多網頁采用這種編碼格式，爬取網頁的時候會遇到

5，讀取oracle中文遇到問題的話，設置一下客戶端編碼

import os
os.environ['NLS_LANG']
= 'SIMPLIFIED CHINESE_CHINA.UTF8'

?

6, 非常好用的codecs, GB2312 < GBK < GB18030，

import codecs         # 下載的txt文本在mac上打開亂碼，這樣子轉一下就好了
fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'gbk')
fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'utf8')
fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'gb18030')

混合編碼的情況最煩人，可以采用try:....UnicodeDecodeError:....去嘗試不同解碼方法，或者用chardet先檢測再解碼(但是有些編碼格式字符串找不到解碼方式)

總之，讀進來先統一解碼為unicode的格式，寫出去都同一編寫為utf-8格式(除非特殊要求)

附上各種編碼教程 http://www.crifan.com/character_encoding_charset_simpile_tutorial/

?

?

【整理】Python中遇到"UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence"之類的編碼或解碼的錯誤時如何處理
原文? http://www.crifan.com/summary_python_unicodedecode_error_possible_reasons_and_solutions/


問題參見：

python2.7 urllib2 抓取新浪亂碼

中的：

報錯的異常是? ?
UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence

此問題，還是很具有代表性的，此處，專門整理如下：

【Python中如何處理UnicodeDecodeError和UnicodeEncodeError】

簡答：

1.仔細分析錯誤的類型

2.搞清自己處理的字符串是什么類型的

3.然后換用這種的字符編碼去編碼或解碼

詳解：

以上面的錯誤：

UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence

為例，去解釋，如何處理這類問題：

1.仔細分析錯誤的類型

（1）錯誤是Unicode的編碼還是解碼

對于此處，錯誤是：

UnicodeDecodeError
的類型的。

此英文，對應的中文的含義，其實已經很清楚了：

Unicode的解碼（Decode）出現錯誤（Error）了

而對于上面這句，我們可以推斷出：

你當前正在處理某種編碼類型的字符串
此處你要處理字符串，是想要將該字符串去解碼decode，變成Unicode
但是將該字符串解碼變成Unicode期間，卻出錯了
（2）所用的是何種編碼

好的，接著看上面的錯誤：

‘gbk’ codec can’t decode
使得錯誤信息更加明顯了：

你此處，要將字符串解碼為Unicode，是以gbk編碼的方式去解碼（該字符串變成Unicode）的
但是此處通過gbk的方式，卻無法解碼（can’t decode ）
注：此處的codec，意思是：編解碼（器），是Python內部的模塊，用來編碼或解碼（字符串）的
（3）錯誤位置

bytes in position 2-3

此處的信息，后續一般也很少用到。

有時候會用于定位具體錯誤的位置。

此處暫且忽略。

（4）錯誤的細節錯誤類型

illegal multibyte sequence

翻譯為中文為：

非法的，多字節，序列

簡單說就是：

沒法（解碼）了。

【原因及解決辦法】

好了，針對于上面所分析出來的信息：

將一個字符串，通過gbk的方式，去解碼，想要獲得Unicode字符串，結果出錯了

我們來說說原因和解決辦法：

此種錯誤，有幾種可能：
（1）要處理的字符串本身不是gbk編碼，但是你卻以gbk編碼去解碼
比如，字符串本身是utf-8的，但是你卻用gbk去解碼utf-8的字符串，所以結果不用說，則必然出錯

則必然會出現這類的錯誤，說是，用gbk的方式去解碼字符串，想要獲得Unicode字符串，但是結果卻解碼出錯了

解決辦法：

如果你確定當前字符串，比如抓取網頁通過charset=utf-8，已經確定html的字符串是utf-8的，

則可以直接去通過utf-8去解碼。

相關參考內容：

詳解抓取網站，模擬登陸，抓取動態網頁的原理和實現（Python，C#等）

中的：

【整理】關于HTML網頁源碼的字符編碼（charset）格式（GB2312，GBK，UTF-8，ISO8859-1等）的解釋

而如果本身對于所處理的字符串，不太清楚是什么編碼類型的，可以嘗試去通過chardet等模塊，去檢測看看：

【教程】如何用Python中的chardet去檢測字符編碼類型

然后搞清楚了，確定了，字符串是什么類型，然后再去解碼。

提示：

關于字符串編碼的類型，作為背景學習知識，也應該去了解一下。

這樣對于以后處理字符串方面，會更有幫助。

（2）你沒有主動的去將字符串編碼為對應的Unicode，但是結果也報上面的UnicodeDecodeError的錯誤

這個情況，最常見的，就是我之前在：

【總結】Python 2.x中常見字符編碼和解碼方面的錯誤及其解決辦法

所整理過的：

“Python中，打印字符串時，字符串本身的編碼，與輸出終端中所用編碼不匹配”

此處不再贅述，只簡要再說一下：

如果你本身拿到的是utf-8等，非gbk編碼的字符串，然后用print去打印出來

在windows系統就是輸出到cmd中

而cmd中，（對于多數中國人所用的是中文的系統）默認字符編碼是gbk

從而導致此種現象：

python要將utf-8編碼的字符串，在gbk的cmd的中打印出來

所以先要去嘗試，用gbk的編碼，解碼為Unicode然后再打印出來

結果就出現此處的錯誤了。

詳細解釋，還是參見上面的教程。

其中還有示例代碼的。

（3）處理的字符的確是gbk的，但是其中夾雜的部分特殊字符，是gbk編碼中所沒有的
如果有些特殊字符是GB18030中有的，但是是gbk中沒有的。
則用gbk去解碼，去所不支持的字符，也比如會出錯。
所以，此種情況，可以嘗試用和當前編碼（gbk）所兼容的但所包含字符更多的編碼（gb18030）去解碼，或許就可以了。

提示：

如果對于GBK，GB18030，以及GB2312不了解，則可參考：

字符編碼簡明教程

另外：

如果遇到其他的，類似此中錯誤的，比如：

UnicodeEncodeError: 'gbk' codec can't encode character u'\u3232' in position 0: illegal multibyte sequence
等類型的錯誤，你就可以按照上述的思路，去分析，錯誤的現象，原因，然后通過自己，就可以找到解決辦法了。

注：

其他和這類錯誤相關的，也還有一些可以參考的：

【總結】靜態網頁抓取，動態網頁抓取，模擬登陸的注意事項和心得

中的：“返回的html內容是亂碼”