为什么 requests 请求需要带上 header？

1 Python 爬虫面试题阅读指南（必看）

2 爬取数据后使用哪个数据库存储数据的，为什么？

3 你用过的爬虫框架或者模块有哪些？谈谈他们的区别或者优缺点？

4 写爬虫是用多进程好？还是多线程好？ 为什么？

5 常见的反爬虫和应对方法？

6 需要登录的网页，如何解决同时限制 ip，cookie,session（其中有一些是动态生成的）在不使用动态爬取的情况下？

7 验证码的解决？

8 使用最多的数据库（Mysql，Mongodb，redis 等），对他们的理解？

9 写一个邮箱地址的正则表达式？

10 如何定时启动你的爬虫项目？

11 爬的那些内容数据量有多大，多久爬一次，爬下来的数据是怎么存储？

12 cookie 过期的处理问题？

13 动态加载又对及时性要求很高怎么处理？

14 谈一谈你对 Selenium 和 PhantomJS 了解？

15 代理 IP 里的“透明”“匿名”“高匿”分别是指？

16 robots 协议有什么用处？

17 为什么 requests 请求需要带上 header？

18 dumps,loads 与 dump,load 的区别？

19 平常怎么使用代理的？

20 IP 存放在哪里？怎么维护 IP？对于封了多个 ip 的，怎么判定 IP 没被封？

21 怎么获取加密的数据？

22 假如每天爬取量在 5、6 万条数据，一般开几个线程，每个线程 ip 需要加锁限定吗？

23 怎么监控爬虫的状态？

24 描述下 scrapy 框架运行的机制？

25 谈谈你对 Scrapy 的理解？

26 什么是增量爬取？

27 爬虫向数据库存数据开始和结束都会发一条消息，是 scrapy 哪个模块实现的？

28 爬取下来的数据如何去重，说一下具体的算法依据？

29 Scrapy 的优缺点？

30 什么是 scrapy-redis 中的指纹？是如何去重的？

31 怎么设置深度爬取？

32 scrapy 和 scrapy-redis 有什么区别？为什么选择 redis 数据库？

33 分布式爬虫主要解决什么问题？

34 什么是反向代理？作用是什么？

35 什么是分布式存储？

36 你所知道的分布式爬虫方案有哪些？