0%

Python 进行图像处理的最佳实践,如:

  • pillow:基础的数字图像处理,操作图像的功能强大,API 简单易用。
  • opencv:Open Source Computer Vision Library,计算机视觉的图像处理经典专用库,广泛应用于工业与科研的图像处理、计算机视觉、模式识别。
  • scikit-image:基于 scipy 的图像处理包
  • imghdr:【标准库】推测图片类型
  • pyzbar:二维码识别
  • qrcode:二维码相关操作
  • muggle-ocr:无脑级验证码识别。准确率还可以。
    • tesseract:光学识别验证码,不太准,还需要安装各种语言包,OUT
  • pyexiv2:操作图片的元数据
阅读全文 »

Python 在正则表达式、匹配上的最佳实践。如:

  • re:【标准库】,正则表达式
  • pampy:优雅的模式匹配库
  • difflib:【标准库】,文件内容对比
  • filecmp:目录对比
  • meld: 有图形界面的一个不错的文件比较工具
  • fuzzywuzzy:模糊字符串匹配。
    • Levenshtein:快速计算编辑距离以及字符串的相似度。
阅读全文 »

使用 Python 对各种文件类型进行操作的相关实践。如:

  • csv:【标准库】支持逗号分隔值格式直接读取和写入文件,一般用于数据库或 excel。
    • csvkit:用于转换和操作 CSV 的工具。
  • XML:XML 格式解析。
    • xmltodict:致力于将 XML 变得像 JSON。
  • json:【标准库】json 编码与解码器
  • pickle:【标准库】Python 特有的序列化对象的标准方式。
  • BSON:short for Binary JSON:JSON 的二进制序列化编码格式
  • pyyaml:yaml 格式文件操作
  • struct:【标准库】处理不定长度的二进制记录格式
  • io:【标准库】处理流的核心工具
  • shelve:【标准库】Python 对象持久化。简单的数据存储方案。
  • base64:【标准库】Base16, Base32, Base64, Base85 数据编码
  • chardet:字符编码探测器:对文本、网页、XML 的编码格式检测,支持中文、日文、韩文等多种语言
  • ConfigParser:【标准库】读取配置文件 ini 的包。
  • markdown :markdown 工具,如 md 转 html
  • xlwings:【优先考虑 pandas】读与改 excel,与 matplotlib 及 pandas 无缝连接,可调用 excel 的 vba
  • tablib:方便地处理表格类型数据。支持导出:Excel、 JSON、 YAML、 Pandas DataFrames、 HTML、 TSV、 OSD、 CSV、 DBF 等格式
  • aiofiles:文件异步操作
  • mimetypes:标准库,将文件名映射为 MIME 类型。
  • python-docx:读写 docx
  • demjson:javascript 的 json 字符串转 python 的字典
阅读全文 »

常见的数据存档和压缩的模块。如:

  • zipfile:【标准库】zip 文件的压缩解压相关操作
    • tarfile:【标准库】对 tar 压缩包的操作,感觉有一个 zipfile 操作 zip 就够了,OUT
  • zlib:【标准库】 与 gzip 兼容的压缩
  • gzip:【标准库】对 gzip 格式的支持。
  • bz2:【标准库】对 bzip2 压缩算法的支持。
  • lzma:【标准库】用 LZMA 算法压缩。
阅读全文 »

Python 程序度量监测、数据验证的模块。如:

  • timeit:【标准库】运行时间效率测量,精细粒度级别
    • pyheat:可视化显示运行时间,好像不太行,time.sleep(10) 都没检测出来
  • profile:性能调优利器,定位性能/耗时瓶颈。
  • memory_profiler:监控 python 进程的工具,加个装饰器即可输出每行代码内存使用情况
  • pydantic:校验数据的工具
  • typing:【标准库】类型标注支持
阅读全文 »

一些 Python 工具模块。如:

  • tqdm:终端的进度条
  • retry:重试操作
  • argparse:命令行参数与选项解析的标准模块,相比于带参数,更喜欢配置文件
  • copy:【标准库】浅层 shallow 和深层 deep 复制操作
  • locale:【标准库】Python 的国际化和本地化支持库
  • atexit:内置模块,在解释器正常终止时自动执行一些程序
  • pygments:代码高亮神器
  • http.server:【标准库】HTTP 服务器
  • turtle:【标准库】海龟绘图
  • typing:【标准库】类型标注支持
  • emoji:使用 emoji 表情
  • homeassistant:家庭自动化,智能家居必备
阅读全文 »

Python 在安全加密方面的最佳实践。如:

  • cryptography:提供了常用的加密方法,名字太长,OUT
  • hashlib:【标准库】为不同的安全哈希和信息摘要算法实现的公共接口,如 MD5、SHA1、SHA224、SHA256、SHA384 和 SHA512 等
  • Passlib:安全的密码存储/哈希库,非常高的安全级别
  • hashmac:在基于各种哈希算法/散列算法同时,使和密钥增加安全性。与 hashilib 的 api 基本一致
  • hmac:【标准库】标准的 Hmac 算法
  • pyobfuscate:Python 代码混淆器,通过多种方式改变源码,一些可以被反解,一些不可以。
阅读全文 »

Python 在程序测试、调试方面的最佳实践。如:

  • logging:【标准库】功能齐全且灵活的日志记录模块,可方便地设置输出日志的等级、输出方式、保存路径、日志文件回滚。
  • pytest:小型测试,功能测试 、单元测试
  • converage:显示测试覆盖率,将结果输出到控制台或 HTML 页面,指明哪些具体地方未被覆盖到。
  • doctest:对 Python 的 docstring 注释部分的测试用例进行测试
  • unittest:【标准库】单元测试框架,编写用例 、组织用例、执行用例、输出报告等
  • pdb:简单而够用的控制台模式 Python 调试器
  • nose:Python 测试框架
  • pydoc:从 python 代码中获取 docstring,并生成帮助信息
阅读全文 »

与 Python 编码规范相关的模块,如:

  • this:【标准库】python 之禅,The Zen of Python
  • flake8:PEP8(检查代码风格)+ Pyflakes(检查代码错误)+ McCabe(检查代码复杂度)等工具组合,用于检查 Python 代码风格和质量。
  • black:less is more,不妥协的代码格式化工具
阅读全文 »

Python 性能提升、多线程相关的最佳实践。如:

  • gevent:通过 greenlet 实现协程,轻松进行并发同步或异步编程
  • threading:【标准库】基于线程的并行
  • multiprocessing:【标准库】基于进程的并行
  • asyncio:【标准库】异步 IO。new in python 3.4。
  • objgraph:查看内存中对象的数量,定位含有该对象的引用的所有代码的位置。
  • subprocess:调用 shell 命令的神器,创建一个子进程让其执行另外的程序,并与之通信
阅读全文 »