适宜人群：

• 萌新小白：我连爬虫也不知道是什么
• 入门菜鸟：我对一些爬虫的用法还不是很熟练
• 老司机：我想学习更高级的框架及分布式

从环境基础到进阶分布式，由浅入深，逐篇递进。

课程特色：

• 循序渐进。环境篇、基础篇、进阶篇、框架篇、分布式篇，由浅入深，娓娓道来，进阶无忧；
• 案例为王。猫眼电影、今日头条街拍、淘宝商品美食、微信文章、知乎用户信息等案例，结合反爬策略，例例实战，够生活、有质量、有趣味，寓课于乐；
• 诠释全面。理论介绍之上的代码级剖析，学员与讲师之间、学员之间，高效高频答疑与沟通，亦师亦友，互动共进；
• 思路制胜。通过课程，培养爬虫开发过程中洞察问题、分析问题，提出解决方案能力，一课所获，长久收益；
• 课程内容:

  一、环境篇

  • Python3+Pip环境配置
  • MongoDB环境配置
  • Redis环境配置
  • MySQL环境配置
  • Python多版本共存配置
  • Python爬虫常用库的安装

  二、基础篇

  • 爬虫基本原理
  • Urllib库基本使用
  • Requests库基本使用
  • 正则表达式基础
  • BeautifulSoup详解
  • PyQuery详解
  • Selenium详解

  三、实战篇

  • 使用Requests+正则表达式爬取猫眼电影
  • 分析Ajax请求并抓取今日头条街拍美图
  • 使用Selenium模拟浏览器抓取淘宝商品美食信息
  • 使用Redis+Flask维护动态代理池
  • 使用代理处理反爬抓取微信文章
  • 使用Redis+Flask维护动态Cookies池

  四、框架篇 

  • PySpider框架基本使用及抓取TripAdvisor实战
  • PySpider架构概述及用法详解
  • Scrapy框架的安装
  • Scrapy框架基本使用
  • Scrapy命令行详解
  • Scrapy中选择器的用法
  • Scrapy中Spiders的用法
  • Scrapy中Item Pipeline的用法
  • Scrapy中Download Middleware的用法
  • Scrapy爬取知乎用户信息实战
  • Scrapy+Cookies池抓取新浪微博
  • Scrapy+Tushare爬取微博股票数据

  五、分布式篇

  • Scrapy分布式原理及Scrapy-Redis源码解析
  • Scrapy分布式架构搭建抓取知乎
  • Scrapy分布式的部署详解