您的位置：首页 > 脚本大全 > > 正文

python中encode中文自定义编码（详解Python解决抓取内容乱码问题decode和encode解码）

更多时间：2021-10-25 10:59:14 类别：脚本大全浏览量：2511

python中encode中文自定义编码

详解Python解决抓取内容乱码问题decode和encode解码

一、乱码问题描述

经常在爬虫或者一些操作的时候，经常会出现中文乱码等问题，如下

python中encode中文自定义编码（详解Python解决抓取内容乱码问题decode和encode解码）

原因是源网页编码和爬取下来后的编码格式不一致

二、利用encode与decode解决乱码问题

字符串在python内部的表示是unicode编码，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘utf-8')，表示将unicode编码的字符串str2转换成utf-8编码。

decode中写的就是想抓取的网页的编码，encode即自己想设置的编码

代码如下

1

2

3

4

5

6

7

8

9

10

11

12 #!/usr/bin/env python

# -*- coding:utf-8 -*-

# author: xulinjie time:2017/10/22

import urllib2

request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')

res=urllib2.urlopen(request).read()

res = res.decode('gb2312').encode('utf-8')//解决乱码

wfile=open(r'./1.html',r'wb')

wfile.write(res)

wfile.close()

print res

或者

1

2

3

4

5

6

7

8

9

10

11

12

13 #!/usr/bin/env python

# -*- coding:utf-8 -*-

# author: xulinjie time:2017/10/22

import urllib2

request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')

res=urllib2.urlopen(request).read()

res=res.decode('gb2312')

res=res.encode('utf-8')

wfile=open(r'./1.html',r'wb')

wfile.write(res)

wfile.close()

print res

但是还要注意：
如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断

isinstance(s, unicode)#用来判断是否为unicode

用非unicode编码形式的str来encode会报错

所以最终可靠代码：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17 #!/usr/bin/env python

# -*- coding:utf-8 -*-

# author: xulinjie time:2017/10/22

import urllib2

request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')

res=urllib2.urlopen(request).read()

if isinstance(res, unicode):

res=res.encode('utf-8')

else:

res=res.decode('gb2312').encode('utf-8')

wfile=open(r'./1.html',r'wb')

wfile.write(res)

wfile.close()

print res