python提取json数据(Python爬取数据保存为Json格式的代码示例)
类别:脚本大全 浏览量:2226
时间:2021-10-19 06:20:04 python提取json数据
Python爬取数据保存为Json格式的代码示例python爬取数据保存为json格式
代码如下:
|
#encoding:'utf-8' import urllib.request from bs4 import beautifulsoup import os import time import codecs import json #找到网址 def getdatas(): # 伪装 header = { 'user-agent' : "mozilla/5.0 (x11; cros i686 2268.111.0) applewebkit/536.11 (khtml, like gecko) chrome/20.0.1132.57 safari/536.11" } # url="https://movie.douban.com/top250" url = "file:///e:/scrapy/2018-04-27/movie/movie.html" ret = urllib.request.request(url = url,headers = header) # 打开网页 res = urllib.request.urlopen(ret) # 转化格式 response = beautifulsoup(res, 'html.parser' ) # 找到想要数据的父元素 datas = response.find_all( 'li' ,{ 'class' : 'item' }) # print(datas) #创建存放数据的文件夹 folder_name = "output" if not os.path.exists(folder_name): os.mkdir(folder_name) # 定义文件 current_time = time.strftime( '%y-%m-%d' ,time.localtime()) file_name = "move" + current_time + ".json" # 文件路径 file_path = folder_name + "/" + file_name for item in datas: # print(item) dict1 = {} dict1[ 'rank' ] = item.find( 'li' ,{ 'class' : 'pic' }).find( 'em' ).get_text() dict1[ 'title' ] = item.find( 'li' ,{ 'class' : 'info' }).find( 'li' ,{ 'class' : 'hd' }).find( 'a' ).find( 'span' ,{ 'class' : 'title' }).get_text() dict1[ 'picurl' ] = item.find( 'li' ,{ 'class' : 'pic' }).find( 'a' ).find( 'img' ).get( 'src' ) # print(picurl) # 保存数据为json格式 try : with codecs. open (file_path, 'a' ,encoding = "utf-8" ) as fp: fp.write(json.dumps(dict1,ensure_ascii = false) + ",\n" ) except ioerror as err: print ( 'error' + str (err)) finally : fp.close() pass getdatas() # 爬取数据 |
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/zhanghl150426/article/details/82022339
您可能感兴趣
- python itchat库介绍(Python利用itchat库向好友或者公众号发消息的实例)
- python在mysql创建数据库(python3对接mysql数据库实例详解)
- python 绕过密码(一小段Python代码,破解加密zip文件的密码)
- python程序运行步骤(详解python运行三种方式)
- python 从入门到实践笔记(python基础梳理一推荐)
- 学会python一月能赚多少钱(学习python的前途 python挣钱)
- python批量注册(python实现批量注册网站用户的示例)
- python语句for循环(Python基础之循环语句用法示例for、while循环)
- python加密和解密(python实现对输入的密文加密)
- python中if条件语句如何使用(对python中if语句的真假判断实例详解)
- python中查看数据类型的内置函数(python学习——内置函数、数据结构、标准库的技巧推荐)
- python爬取数据总结(python3爬虫学习之数据存储txt的案例详解)
- python如何编写定时器(python 定时器,轮询定时器的实例)
- 2021-10-23 10:04:24
- python语言的读取图像(详解python读取image)
- python怎么从数组中取内容(python调用c++ ctype list传数组或者返回数组的方法)
- ()
- 百事大吉蓝底 绿底手机高清壁纸(绿底手机高清壁纸)
- 蓝底证件照怎么制作 证件照换底色 换尺寸快速搞定(蓝底证件照怎么制作)
- 你喜欢足球吗 足球如何点亮世界的(足球如何点亮世界的)
- 不可分鸽是什么梗(不可分鸽是什么梗)
- 古代的鸽子是爱情的象征,并非和平的使者(古代的鸽子是爱情的象征)
热门推荐
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9