列表重复数据怎么删除python(Python实现的删除重复文件或图片功能示例去重)
类别:脚本大全 浏览量:2255
时间:2021-10-14 00:48:41 列表重复数据怎么删除python
Python实现的删除重复文件或图片功能示例去重本文实例讲述了python实现的删除重复文件或图片功能。分享给大家供大家参考,具体如下:
通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件,
通过下面的python代码可以将重复的文件删除以达到去重的目的。其中,文件目录结构如下图:
|
# /usr/bin/env python # -*- coding:utf-8 -*- # 运行的代码文件要放到删除重复的文件或图片所包含的目录中 import os import hashlib def filecount(): filecount = int (os.popen( 'dir /b |find /v /c ""' ).read()) return (filecount) def md5sum(filename): f = open (filename, 'rb' ) md5 = hashlib.md5() while true: fb = f.read( 8096 ) if not fb: break md5.update(fb) f.close() return (md5.hexdigest()) def delfile(): all_md5 = {} filedir = os.walk(os.getcwd()) for i in filedir: for tlie in i[ 2 ]: if md5sum(tlie) in all_md5.values(): os.remove(tlie) else : all_md5[tlie] = md5sum(tlie) if __name__ = = '__main__' : oldf = filecount() print ( '去重前有' , oldf, '个文件\n\n\n请稍等正在删除重复文件...' ) delfile() print ( '\n\n去重后剩' , filecount(), '个文件' ) print ( '\n\n一共删除了' , oldf - filecount(), '个文件\n\n' ) |
希望本文所述对大家python程序设计有所帮助。
原文链接:https://blog.csdn.net/loveliuzz/article/details/81661281
您可能感兴趣
- python代码如何进行切片索引(Python读取Pickle文件信息并计算与当前时间间隔的方法分析)
- 如何去阿里云解析域名(利用Python+阿里云实现DDNS动态域名解析的方法)
- python元组和列表的定义(Python基本数据结构与用法详解列表、元组、集合、字典)
- python 文本分析 摘要(用Python逐行分析文件方法)
- python包和模块管理(python的依赖管理的实现)
- python数据存取(python异步存储数据详解)
- python dict 操作(Python中dict和set的用法讲解)
- python自动解密(python实现移位加密和解密)
- python编写自动发送微信信息(python实现向微信用户发送每日一句 python实现微信聊天机器人)
- python多线程有两个参数怎么传(python从子线程中获得返回值的方法)
- python里字典常用方法(Python使用字典的嵌套功能详解)
- python为什么要用多进程(对Python的多进程锁的使用方法详解)
- python如何编写判断正负数程序(Python实现判断一个整数是否为回文数算法示例)
- python列表中的数组(Python3.4学习笔记之列表、数组操作示例)
- pythonjson格式化原理(详解pythonstr与json类型转换)
- pythontkinter详解(python3.6使用tkinter实现弹跳小球游戏)
- 逐渐消失的东北八大怪现象,进步的社会里我们遗失的是什么(逐渐消失的东北八大怪现象)
- 今日大雪,大雪养生这样做,一年都有好气色(大雪养生这样做)
- 粗盐是什么 粗盐的功效与作用(粗盐的功效与作用)
- 会 吃人 的客机 从天堂到地狱只需5分钟,图-104如何做到(会吃人的客机)
- 男人犯的错,为什么要女人来承担(为什么要女人来承担)
- 心理学 四个金蟾,哪个最招财 测你今生的运势有多棒(心理学四个金蟾)
热门推荐
- dedecms设置二级域名(织梦DEDECMS中要删除指定IP的评论的方法)
- python plot绘图(python使用Plotly绘图工具绘制气泡图)
- iframe怎么设置域名(iframe与window.onload如何使用详解)
- SQL Server 批量导入数据的方法
- 阿里云域名解析在哪里(阿里云服务器实现域名解析步骤小白教程)
- docker管理工具选择(Docker可视化管理工具DockerUI的使用)
- localstorage可以存多少(解决localstorage存储boolean类型值的小坑)
- mysqlcount使用方法(详解 MySQL中count函数的正确使用方法)
- python3配置教程(python3中property使用方法详解)
- css中width:auto和width:100%的区别
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9