tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)

问题概述

在爬取某大型网站时有时候可能会出现需要进行手机安全验证的情况。

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(1)

当爬虫项目是部署在 Linux 服务器上,且采用 --headless无头模式无界面运行时会发现无法进行安全验证。即使在本地有界面的浏览器手工通过了手机认证,但在不同 IP 地址的 Linux 服务器上仍需再次验证。

解决思路

解决的方式有很多,这里根据实际情况我采用了一种相对轻巧的方式:使用 TinyProxy 将 Linux 服务器设置成代理服务器从而进行 HTTP 代理。这样我们便可在本地浏览器中设置好代理,再由本地操作有界面浏览器进行访问目标网站以及验证等操作,期间请求会被代理服务器所代理,通过这种方式达到让 Linux 服务器通过安全验证的效果。

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(2)

设置代理服务器

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(3)

将运行程序的 Linux 服务器设置成代理服务器有多种方式,这里我采用的是 TinyProxy。Tinyproxy是一个轻量级的HTTP/HTTPS代理守护程序。它从头到脚设计得既快又小,是一种理想的解决方案,适用于需要完整功能的HTTP代理的嵌入式部署,但大型代理的系统资源不可用。

// 安装 tinyproxy yum -y install tinyproxy // 修改配置 (修改 Port 端口,默认为 8888,修改Allow 为自己的 IP 地址) vi /etc/tinyproxy/tinyproxy.conf // 启动停止等命令如下(这里还需要注意防火墙等设置) systemctl start tinyproxy.service systemctl restart tinyproxy.service systemctl stop tinyproxy.service systemctl status tinyproxy.service systemctl enable tinyproxy.service // 更多关于 TinyProxy 可查看官网 https://tinyproxy.github.io/

本地浏览器配置代理

这里以 chrome 浏览器为例,配置代理步骤如下:

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(4)

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(5)

tinyproxy免流最新配置文件(TinyProxy代理解决Linux上无头浏览器手机安全认证)(6)

之后重启浏览器进行访问。

最后

以上就是我采用 TinyProxy 代理解决 Linux上 --headless 浏览器无法进行手机安全认证的解决方案,希望对各位有所帮助,

感谢您的阅读,如果喜欢本文欢迎关注和转发,本头条号将坚持持续分享IT技术知识。对于文章内容有其他想法或意见建议等,欢迎提出共同讨论共同进步。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页