安装
pip install pyspider浏览器查看
http://localhost:5000/框架方法
on_start 脚本入口
crawl 采集目标网址 返回成功 可指定处理方法
index_page 处理列表数据
detail_page 处理单个页面详细数据
pyspider 激活不成功
https://blog.csdn.net/SiHann/article/details/88239892
Deprecated option 'domaincontroller'
https://blog.csdn.net/qq_37253540/article/details/88196994
ImportError: cannot import name DispatcherMiddleware
https://blog.csdn.net/ShiMengRan107/article/details/104395751/
使用pyspider出现ssl证书错误解决方法
在self.crawl()方法中添加validate_cert=False
启动
cmd 命令行 会在当前目录 下生成 data目录 源码 结果 任务 都保存在sqlite文件中
pyspider all
