python ip代理池(Python 实现域名解析为ip的方法)
类别:脚本大全 浏览量:1303
时间:2022-04-02 10:51:53 python ip代理池
Python 实现域名解析为ip的方法今天得了一批域名,需要把域名解析成ip
因为量比较大所以采用了多进程和队列的方式
|
from multiprocessing import Process,Queue,Pool import socket import multiprocessing import os #写入文件 def write(q,lock,filename): while not q.empty(): url = q.get() print (url) try : ip = socket.gethostbyname(url) except : ip = "unknow" print (ip) with open (filename, 'a+' ) as f: lock.acquire() #加锁防止多个进程写入会混乱 try : f.write(url + " " + ip + "\n" ) finally : lock.release() #添加到队列 def readurl(q,n): with open ( str (n) + '.txt' , 'r' ) as f: lines = f.readlines() for line in lines: q.put(line.strip()) return q #根据进程进行拆分txt def multi(urllist,n): with open (urllist, 'r' ) as f: lines = f.readlines() line = int ( len (lines) / n) print (line) for m in range ( 0 ,n): with open ( str (m) + '.txt' , 'a+' ) as f1: for i in range (line * m,line * (m + 1 )): f1.write(lines[i]) #删除拆分的txt文件 def remove(n): for i in range ( 0 ,n): os.remove( str (i) + '.txt' ) print ( "######清除临时文件######" ) if __name__ = = "__main__" : manager = multiprocessing.Manager() q = manager.Queue() lock = manager.Lock() m = 5 #设置扫描进程数 urllist = "url.txt" #待解析的url filename = "test.txt" #结果保存的文件名 multi(urllist,m) p = Pool(m) for i in range (m): p.apply_async(write,args = (readurl(q,i),lock,filename)) p.close() p.join() remove(m) print ( "#######全部文件采集完成########" ) |
以上这篇Python 实现域名解析为ip的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/qq1124794084/article/details/80534678
您可能感兴趣
- python udp通信(Python socket模块实现的udp通信功能示例)
- python函数使用方法高级用法(Python骚操作之动态定义函数)
- python爬虫面试经历(搞定这套Python爬虫面试题面试会so easy)
- python怎么在csv修改数据(python 编写输出到csv的操作)
- 使用python编辑个人名片(python实现名片管理系统项目)
- python爬虫入门代码(python爬虫基础教程:requests库二代码实例)
- python高德地图可视化(利用python和百度地图API实现数据地图标注的方法)
- python扫描服务器端口(Python实现的对本地host127.0.0.1主机进行扫描端口功能示例)
- python用指针合并两个有序数组(Python3实现计算两个数组的交集算法示例)
- python一分钟认识条件判断(对python判断ip是否可达的实例详解)
- python如何编写判断正负数程序(Python实现判断一个整数是否为回文数算法示例)
- python学生管理系统的思路(python实现学员管理系统)
- python图书馆管理系统源码(python实现图书借阅系统)
- 怎么用python实现链表(Python3实现的判断回文链表算法示例)
- python程序怎么打包(Python 实现文件打包、上传与校验的方法)
- wxpython控件如何移动(基于wxPython的GUI实现输入对话框1)
- 嘉南传 第22集(嘉南传第22集)
- 哪版孙悟空最萌 黄渤躺萌了(哪版孙悟空最萌)
- 融入小人物的喜怒哀乐,黄渤饰演的角色为什么让人观看时欲罢不能(融入小人物的喜怒哀乐)
- 《极限挑战》深访都市夜归人,夜间打工者体验,黄磊录完憔悴了(极限挑战深访都市夜归人)
- Google 推出了一个游戏生成器,让不会编程的你也能自己设计游戏(推出了一个游戏生成器)
- 二胎家庭老大爱闹情绪,用这招很有效(二胎家庭老大爱闹情绪)
热门推荐
- php nginx 底层执行流程(nginx/apache/php隐藏http头部版本信息的实现方法)
- VPS跟云服务器的区别是什么?(VPS跟云服务器的区别是什么?)
- canvas如何开启(canvas实现手机的手势解锁的步骤详细)
- css3特效旋转菜单(CSS3实现的水平标题菜单)
- mysql常见错误分析(分析MySQL抛出异常的几种常见解决方式)
- dockerfile镜像介绍(使用Dockerfile构建docker镜像)
- mysql索引面试总结(Mysql数据库索引面试题程序员基础技能)
- mysqlexplain的用法(MySQL SHOW STATUS语句的使用)
- @RenderBody、@RenderPage、@RenderSection用法
- treeview绑定xml
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9