Python爬虫

Python爬虫面试题(附答案)

IP 存放在哪里？怎么维护 IP？对于封了多个 ip 的，怎么判定 IP 没被封？

Python爬虫

IP 存放在哪里？怎么维护 IP？对于封了多个 ip 的，怎么判定 IP 没被封？

存放在数据库(redis、mysql 等) 维护多个代理网站一般代理的存活时间往往在十几分...

235

Python爬虫

平常怎么使用代理的？

(1) 自己维护代理池 (2) 付费购买（目前市场上有很多 ip 代理商，可自行百度了解，建...

201

dumps,loads 与 dump,load 的区别？

Python爬虫

dumps,loads 与 dump,load 的区别？

json.dumps() 将 pyhton 的 dict 数据类型编码为 json 字符串 ...

271

为什么 requests 请求需要带上 header？

Python爬虫

为什么 requests 请求需要带上 header？

原因是：模拟浏览器，欺骗服务器，获取和浏览器一致的内容 header 的形式：字典 head...

448

robots 协议有什么用处？

Python爬虫

robots 协议有什么用处？

Robots 协议：网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓...

246

代理 IP 里的“透明”“匿名”“高匿”分别是指？

Python爬虫

代理 IP 里的“透明”“匿名”“高匿”分别是指？

(1) 透明代理它的意思是客户端根本不需要知道有代理服务器的存在，但是它传送的仍然是真实的...

378

谈一谈你对 Selenium 和 PhantomJS 了解？

Python爬虫

谈一谈你对 Selenium 和 PhantomJS 了解？

Selenium 是一个 Web 的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面...

492

动态加载又对及时性要求很高怎么处理？

Python爬虫

动态加载又对及时性要求很高怎么处理？

Selenium + Phantomjs，尽量不使用 sleep 而使用 WebDriver...

228

3/5 上一页 1 2 3 4 5 下一页