编码的概念
首先让我们来了解一些有关编码的背景知识。在计算机世界中的，一个字节（byte）通常有8位（bit），能表示256个字符（character）。不过当今世界不同的语言中包含的文字成千上万，一个字节所能表示的字符个数远远不能满足实际的需要，所以我们要用更多的字节来表示更多的字符。用字节来表示字符的过程称之为编码。ASCII编码共有127字符，所以每个字符可以用一个字节表示。覆盖众多西欧语言的ISO-8859（Latin）系列编码是 ASCII编码的超集，每个字符也使用一个字节来表示，最多可以表示256个字符。在我们的国标码GB2312中，每个字符用两个字节表示。 Windows NT的内部使用UCS-2编码，也是双字节编码。Linux平台上流行的UTF-8编码是可变长编码，单字节兼容ASCII编码，双字节覆盖西欧语言，三字节用来编码中、日、韩（CJK）文字。
请看下面的图示，横列是字符串，竖列是相应编码后的字节序列，竖列框中用十六进制表示字节的值：
+-+-+-+-+-+-+-+-+-+-+-+-+ +--+--+ +--+--+
ASCII |p|y|t|h|o|n| GB2312 |巨|蟒| UTF-8 |巨|蟒|
+-+-+-+-+-+-+ +--+--+ +--|--+
| | | | | | | | | | | | |
+----+<---+ | | | | | | +----+<--+ | | +----+<--+ | |
|0x70| | | | | | | |0xbe| | | |0xe5| | |
+----+<-----+ | | | | | +----+ | | +----+ | |
|0x79| | | | | | |0xde| | | |0xb7| | |
+----+<-------+ | | | | +----+<-----+ | +----+ | |
|0x74| | | | | |0xf2| | |0xa8| | |
+----+<---------+ | | | +----+ | +----+<-----+ |
|0x68| | | | |0xfe| | |0xe8| |
+----+<-----------+ | | +----+<--------+ +----+ |
|ox6f| | | |0x9f| |
+----+<-------------+ | +----+ |
|0x6e| | |0x92| |
+----+<---------------+ +----+<--------+
编码方面就简单介绍到这了，下面进入python部分。
python中的bytestring
在python的交互模式下尝试输入下面的语句：
>>> '\x41'
'A'
>>> '\172'
'z'
如上所示，在python字符串（这里的字符串都指单个引号包围的字符串）中，可以使用'\'来进行转义。'\x41'使用两位十六进制数来表示一个字节的值，在ASCII中代表'A'。'\172'使用三位八进制数来表示一个字节的值，在ASCII中代表'z'。
让我们来输入一些中文（windows下）：
>>> bytestr = 'python巨蟒'
>>> bytestr
'python\xbe\xde\xf2\xfe'
>>> len(bytestr)
10
中文环境下，cmd的代码页是cp936（即是GBK编码，GB2312的扩展编码），每个汉字占两个字节。因此'python巨蟒'共10个字节，可以看出python中的字符串其实是字节串（byte string）。
python中的unicode
python 中除了byte string，还有unicode string。因为unicode大到足以容纳我们用到的所有字符，所以可以把unicode看成对字符的一种抽象表示。使用unicode的明显好处是可以处理更大的字符集，所以常常要把byte string转换成unicode string，这个过程称为解码。
现在让我们来对byte string进行解码，将其转换成unicode string
>>> bytestr = 'python巨蟒'
>>> unicodestr = bytestr.decode('cp936')
>>> unicodestr
u'python\u5de8\u87d2'
>>> len(unicodestr)
8
可以看到unicodestr的长度是8，和'python巨蟒'的字符个数一样。
也可以照下面这样做：
>>> bytestr = 'python巨蟒'
>>> unicodestr = unicode(bytestr, 'cp936')
之后，可以对unicode string进行不同格式的编码，转化为相应的byte string
>>> unicodestr.encode('cp936')
'python\xbe\xde\xf2\xfe'
>>> unicodestr.encode('utf-8')
'python\xe5\xb7\xa8\xe8\x9f\x92' 因为cmd的代码页是cp936，所以把unicodestr按utf-8编码后，会打印出的乱码字符
>>> utf8bytestr = unicodestr.encode('utf-8')
>>> utf8bytestr
'python\xe5\xb7\xa8\xe8\x9f\x92'
>>> print utf8bytestr
python宸ㄨ煉 python脚本中的编码指定
如果是在python的脚本文件中，可以在首行或者紧跟着#!行注明编码
# -*- encoding: utf-8 -*-
下面是一段脚本
# -*- encoding: utf-8 -*-
unicodestr = unicode('python巨蟒', 'utf-8')
print unicodestr
unicodestr = unicode('python巨蟒', 'cp936')
print unicodestr
unicodestr = u'python巨蟒'
print unicodestr
输出结果如下
python巨蟒
python宸ㄨ煉
python巨蟒
一个小问题
可以看到，u'python巨蟒'中的字符串被自动解码，转化为unicode，这是python中另一种定义unicode字符串的方式。不过这种方式在GUI shell下会有一些问题。比如在IDLE中输入u'巨蟒'结果如下：
>>> u'巨蟒'
u'\xbe\xde\xf2\xfe'
而在python的交互模式下就不会有问题：
>>> u'巨蟒'
u'\u5de8\u87d2'
GUI shell其实是使用code标准模块来进行read-eval-print loop的。
另外通过调用命令行"python -c command"来执行代码结果也是如此。在cmd中输入
python -c "for x in u'巨蟒': print hex(ord(x))"
结果是：
0xbe
0xde
0xf2
0xfe
