360 爬虫引擎和百度,有道等爬虫有所不同,这里的抓取工具测试HTTPS 域名,因为其进行SSL握手时,不传SNI(即server_name)或TLS 版本低,会导致无法和高防IP进行握手。
这类问题,不用担心,因为它并不影响实际蜘蛛的抓取。如图
蜘蛛的UA是有进来的。
亿速云高防IP和高防CDN,默认已经放行了 百度,谷歌,MSN,字节跳动等多家知名的爬虫IP段,同时,也放行了DNSPOD,阿里云拨测 等多家网络拨测工具的检测IP段。默认是不会拦截这些请求的
阿里云的OSS 上传回调,尤其是回调域名为HTTPS的,因其和高防IP进行握手时,不传SNI或TLS版本低,会导致无法和高防IP进行SSL握手。
这类问题,最简单的处理方法 1. 将回调域名改为走HTTP协议。2. 直接回调到服务器IP 3. 使用另外的HTTP协议的域名处理回调
TLS1.2和TLS1.3 ssl握手的差异
很多云厂商对于TLS协议,并不总是使用高版本的,这样,就会导致高低版本不兼容