假如每天爬取量在 5、6 万条数据，一般开几个线程，每个线程 ip 需要加锁限定吗？

Python爬虫 3年前 0 295

(1) 5、6 万条数据相对来说数据量比较小，线程数量不做强制要求(做除法得一个合理值即可）

(2) 多线程使用代理，应保证不在同时一刻使用一个代理 IP

发表评论取消回复

后才能评论