需要爬取的網(wǎng)頁(yè)需要登陸才可以獲取，但是又對(duì)爬取ip有限制，所以我想要使用代理ip進(jìn)行爬?。?br>但是我在request的session中使用proxy后無(wú)法爬取到有信息的網(wǎng)頁(yè)，所以猜想可能是代理地址沒(méi)有進(jìn)行頭部轉(zhuǎn)發(fā)，這里<愛(ài)尬聊_創(chuàng)建詞條>想請(qǐng)教一下大家！

---

360U3369779585 2022-08-24 09:50

如果是從某個(gè)代理ip網(wǎng)站上抓取的ip，絕大部分是不可用的，可用的也因?yàn)槌瑫r(shí)等原因影響程序的穩(wěn)定性，requests會(huì)自動(dòng)幫你對(duì)HTTP頭部的處理了，不存在你猜想的問(wèn)題，應(yīng)該是你代理ip的問(wèn)題，看看我的使用代理ip

---