找回密码
 立即注册

QQ登录

只需一步,快速开始

Python网络爬虫从入门到实践笔记

0
回复
915
查看
[复制链接]
来源: 2021-2-6 21:51:32 显示全部楼层 |阅读模式
入门:
KYC框架
4P: Product,Place,Price,Promotion。
Robots协议(爬虫协议)
Robots协议的全程是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

  1. #

  2. # robots.txt for Discuz! X3

  3. #

  4. User-agent: Baiduspider    #百度爬虫搜索引擎

  5. Allow: /article

  6. Allow: /oshtml

  7. Allow: /ershou

  8. Disallow: /    #禁止访问除Allow规定页面的其它所有页面



  9. User-agent: baiduspider    #百度爬虫搜索引擎

  10. Allow: /article

  11. Allow: /oshtml

  12. Allow: /ershou

  13. Disallow: /    #禁止访问除Allow规定页面的其它所有页面



  14. User-agent: Googlebot    #谷歌爬虫搜索引擎

  15. Allow: /article

  16. Allow: /oshtml

  17. Allow: /ershou

  18. Disallow: /    #禁止访问除Allow规定页面的其它所有页面





  19. User-agent: *

  20. Disallow: /api/

  21. Disallow: /data/

  22. Disallow: /source/

  23. Disallow: /install/

  24. Disallow: /template/

  25. Disallow: /config/

  26. Disallow: /uc_client/

  27. Disallow: /uc_server/

  28. Disallow: /static/

  29. Disallow: /askymanage.php

  30. Disallow: /admin.php

  31. Disallow: /search.php

  32. Disallow: /member.php

  33. Disallow: /api.php

  34. Disallow: /misc.php

  35. Disallow: /connect.php

  36. Disallow: /forum.php?mod=redirect*

  37. Disallow: /forum.php?mod=post*

  38. Disallow: /home.php?mod=spacecp*

  39. Disallow: /userapp.php?mod=app&*

  40. Disallow: /*?mod=misc*

  41. Disallow: /*?mod=attachment*

  42. Disallow: /*mobile=yes*
复制代码
做爬虫时,应该遵循Robots协议。
“三月爬虫”: 三月份爬取数据,四月份分析数据,五月份交论文。

Python的安装1. 安装Python2. anoconda---python jupter notebook使用3. ---jupyter lab 以及插件安装:   3.1 https://zhuanlan.zhihu.com/p/101669800   3.2 ECS安装方式: https://blog.csdn.net/ds19991999/article/details/83663349   3.3 多用户配置: https://zhuanlan.zhihu.com/p/107347769?from_voters_page=true   3.3 15款非常nice的Jupyter Lab插件:https://zhuanlan.zhihu.com/p/101070029   3.4 安装C语言支持: https://blog.csdn.net/jxncxgx/article/details/104576319   3.5 cling:  https://root.cern.ch/download/cling/
爬虫流程:

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
您需要登录后才可以回帖 登录 | 立即注册
关闭

站长推荐 上一条 /1 下一条

商业洽谈 文章投递 寻求报道
电话咨询: 173xxxxxxx
关注微信