九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
Python編解碼問題與文本文件處理

編解碼器

在字符與字節(jié)之間的轉(zhuǎn)換過程稱為編解碼,Python自帶了超過100種編解碼器,比如:
  • ascii(英文體系)

  • gb2312(中文體系)

  • utf-8(全球通用)

  • latin1

  • utf-16

編解碼器一般有多個別名,比如utf8、utf-8、U8。
這些編解碼器可以傳給open()、str.encode()、bytes.decode()等函數(shù)的encoding參數(shù)。

UnicodeEncodeError

多數(shù)非UTF編解碼器(比如cp437)只能處理Unicode字符的一小部分子集。把字符轉(zhuǎn)換成字節(jié)時,如果目標(biāo)編碼中沒有定義這個字符,那么就會拋出UnicodeEncodeError異常。
處理方式一:使用utf8編碼。
處理方式二:添加errors參數(shù):
# 忽略 如b'So Paulo'
city.encode("cp437", errors="ignore")
# 替換為? 如b'S?o Paulo'
city.encode("cp437", errors="replace")
# 替換為XML實體 如b'São Paulo'
city.encode("cp437", errors="xmlcharrefreplace")

UnicodeDecodeError

把字節(jié)轉(zhuǎn)換為字符時,遇到無法轉(zhuǎn)換的字節(jié)時會拋出UnicodeDecodeError異常。這是因為不是每個字節(jié)都包含有效的ASCII字符,也不是每個字符都是有效的UTF-8。
處理方式也有兩種,跟上面一樣。

SyntaxError

Python3默認(rèn)使用UTF-8編碼源碼。如果加載的.py模塊中包含UTF-8之外的數(shù)據(jù),而且沒有聲明編碼,就會拋出SyntaxError異常。
處理方式是在文件頂部添加coding注釋:
# coding: cp1252
但是這個辦法并不好,最好還是找到這些報錯字符,把它們轉(zhuǎn)換為UTF-8。
從網(wǎng)上直接復(fù)制代碼到IDE中執(zhí)行經(jīng)常會報這個錯。

處理文本文件

Unicode三明治:
在程序中盡量少接觸二進(jìn)制,把字節(jié)解碼為字符,只處理字符串對象。比如在Django中,view應(yīng)該輸出Unicode字符串,Django會負(fù)責(zé)把響應(yīng)數(shù)據(jù)編碼成字節(jié)序列,而且默認(rèn)使用UTF-8編碼。
Python內(nèi)置的open函數(shù)就是采用了這個原則,在讀取文件時會做必要的解碼,以文本模式寫入文件時會做必要的編碼。

文件亂碼

Windows更容易遇到這個問題,因為Windows并不是統(tǒng)一的UTF-8編碼,比如在Windows10中:
>>> open("cafe.txt", "w", encoding="utf8").write("café")
4
>>> open("cafe.txt").read()
'caf茅'
寫入文件時指定了utf8,但是讀取文件沒有指定,Python就會使用系統(tǒng)默認(rèn)編碼:
>>> import locale
# 打開文件用這個
# 如果沒有設(shè)置PYTHONENCODING環(huán)境變量,sys.stdout/stdin/stderr也用這個
>>> locale.getpreferredencoding()
'cp936'
cp936把最后一個字節(jié)解碼成了而不是é
>>> import sys
# 二進(jìn)制數(shù)據(jù)和字符串之間轉(zhuǎn)換用這個
>>> sys.getdefaultencoding()
'utf-8'
>>> import sys
# 文件名(不是文件內(nèi)容)用這個
>>> sys.getfilesystemencoding()
'utf-8'
GNU/Linux或Mac OS X不會遇到這個問題,因為多年來它們的默認(rèn)編碼都是UTF-8。
解決辦法是一定不能依賴系統(tǒng)默認(rèn)編碼,打開文件時始終應(yīng)該明確傳入encoding=參數(shù),因為不同的設(shè)備使用的默認(rèn)編碼可能不同,有時隔一天也會發(fā)生變化。

小結(jié)

本文介紹了Python的編解碼器,以及可能出現(xiàn)的UnicodeEncodeError、UnicodeDecodeError、SyntaxError問題,然后給出了Python的open函數(shù)處理文本文件的原則,最后對Windows容易出現(xiàn)的文件亂碼問題進(jìn)行了說明。
參考資料:
《流暢的Python》
本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
郵件亂碼破解完全手冊
深入淺出地,徹徹底底地理解python中的編碼
Python文件與數(shù)據(jù)格式化
字符編碼
詳解Python字符串編碼格式
也談 Python 的中文編碼處理
更多類似文章 >>
生活服務(wù)
熱點新聞
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服