JS逆向---国密算法
本文主要介绍了SM国密算法的介绍和案例使用
Scrapy部署
本文主要介绍了基于Scrapy的部署方式
Scrapy架构
本文主要介绍了基于Scrapy的架构
Scrapy分布式爬虫
本文主要介绍了基于Scrapy分布式爬虫基本原理
python小工具库汇总记录
tqdm 库
tqdm 是一个易用性强、扩展性高的 Python 进度条库，可以在 Python 长循环中添加一个进度提示信息，我们只需要封装任意的迭代器 tqdm(iterator) 即可。
pip install tqdm
Centos7 设置代理服务器
TinyProxy 和 Squid 都是比较优秀的代理软件。
TinyProxy比较小众，虽然没有Squid的功能丰富，但是小巧简单，也能满足普通用户的需求。Squid 是一款优秀的代理软件，有很丰富的ACL管理功能，虽然squid很强大，但配置比较繁琐。
因此本文以TintProxy为引，介绍一下TinyProxy在Centos7下配置过程。
1.安装TinyProxy12yum install -y epel-releaseyum -y install tinyproxy
2. 配置TinyProxy1vim /etc/tinyproxy/tinyproxy.conf
注释掉 Allow，表示允许所有人访问代理: Allow 127.0.0.1
修改 Port 端口，默认为 8888
隐藏掉Via请求头部，去掉下面的注释: DisableViaHeader Yes
3. 启动 TinyProxy123456systemctl start tinyproxy.service# 相关命令如下systemctl restart tinyproxy ...