scrapy和python有什么关系

Scrapy是Python开发的一个快速、高层次的web数据抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘和监测。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。

Scrapy算得上是Python世界中最常用的爬虫框架了，同时它也是我掌握的几种流行语言中最好的爬虫框架，没有之一！我认为它也是最难学习的框架，同样没有之一。很多初学Scarpy的经常向我抱怨完全不清楚Scrapy该怎样入手，即使看的是中文的文档，也感到很难理解。我当初接触Scrapy时也有这样的感觉。之所以感到Scrapy难学，究其原因，是其官方文档实在太过凌乱，又缺少实用的代码例子，让人看得云里雾里，不知其所已然。虽然其文档不良，但却没有遮挡住它的光辉，它依然是Python世界中目前最好用的爬虫框架。其架构的思路、蜘蛛执行的效能，还有可扩展的能力都非常出众，再配以Python语言的简洁轻巧，使得爬虫的开发事半功倍。

相关推荐：《Python基础教程》

Scrapy的优点：

（1）提供了内置的HTTP缓存，以加速本地开发。

（2）提供了自动节演调节机制，而且具有遵守robots.txt的设置的能力。

（3）可以定义爬行深度的限制，以避免爬虫进入死循环链接。

（4）会自动保留会话。

（5）执行自动HTTP基本认证。不需要明确保存状态。

（6）可以自动填写登录表单。

（7）Scrapy有一个内置的中间件，可以自动设置请求中的引用(referrer)头。

（8）支持通过3xx响应重定向，也可以通过HTML元刷新。

（9）避免被网站使用的meta重定向困住，以检测没有JS支持的页面。

（10）默认使用CSS选择器或XPath编写解析器。

（11）可以通过Splash或任何其他技术(如Selenium)呈现JavaScript页面。

（12）拥有强大的社区支持和丰富的插件和扩展来扩展其功能。

（13）提供了通用的蜘蛛来抓取常见的格式：站点地图、CSV和XML。

（14）内置支持以多种格式(JSON、CSV、XML、JSON-lines)导出收集的数据并将其存在多个后端(FTP、S3、本地文件系统)中。

Scrapy框架原理

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器)：负责接收引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

Spider（爬虫）：负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

Item Pipeline(管道)：负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares(下载中间件)：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares(Spider中间件)：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

Scrapy各个组件介绍

·Scrapy Engine：

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。它也是程序的入口,可以通过scrapy指令方式在命令行启动,或普通编程方式实例化后调用start方法启动。

·调度器(Scheduler)

调度器从引擎接收爬取请求(Request)并将它们入队,以便之后引擎请求它们时提供给引擎。一般来说,我们并不需要直接对调度器进行编程,它是由Scrapy主进程进行自动控制的。

·下载器(Down-loader)

下载器负责获取页面数据并提供给引擎,而后将网站的响应结果对象提供给蜘蛛(Spider)。具体点说,下载器负责处理产生最终发出的请求对象 Request 并将返回的响应生成 Response对象传递给蜘蛛。

·蜘蛛——Spiders

Spider是用户编写用于分析响应(Response)结果并从中提取Item(即获取的Item)或额外跟进的URL的类。每个Spider负责处理一个特定(或一些)网站。

·数据管道——Item Pipeline

Item Pipeline 负责处理被 Spider 提取出来的 Item。 典型的处理有清理、验证及持久化(例如,存取到数据库中)。

·下载器中间件(Downloader middle-wares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的Response。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。

·Spider中间件(Spider middle-wares)

Spider 中间件是在引擎及 Spider 之间的特定钩子(specific hook),处理 Spider 的输入(Response)和输出(Items及Requests)。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。

从Scrapy的系统架构可见,它将整个爬网过程进行了非常具体的细分,并接管了绝大多数复杂的工作,例如,产生请求和响应对象、控制爬虫的并发等。

Python培训需要学习哪些内容

老男孩教育Python课程内容：

阶段一：Python开发基础

Python开发基础课程内容包括：计算机硬件、操作系统原理、安装linux操作系统、linux操作系统维护常用命令、Python语言介绍、环境安装、基本语法、基本数据类型、二进制运算、流程控制、字符编码、文件处理、数据类型、用户认证、三级菜单程序、购物车程序开发、函数、内置方法、递归、迭代器、装饰器、内置方法、员工信息表开发、模块的跨目录导入、常用标准库学习，b加密\re正则\logging日志模块等，软件开发规范学习，计算器程序、ATM程序开发等。

阶段二：Python高级级编编程数据库开发

Python高级级编编程数据库开发课程内容包括：面向对象介绍、特性、成员变量、方法、封装、继承、多态、类的生成原理、MetaClass、__new__的作用、抽象类、静态方法、类方法、属性方法、如何在程序中使用面向对象思想写程序、选课程序开发、TCP/IP协议介绍、Socket网络套接字模块学习、简单远程命令执行客户端开发、C\S架构FTP服务器开发、线程、进程、队列、IO多路模型、数据库类型、特性介绍，表字段类型、表结构构建语句、常用增删改查语句、索引、存储过程、视图、触发器、事务、分组、聚合、分页、连接池、基于数据库的学员管理系统开发等。

阶段三：前端开发

前端开发课程内容包括：HTML\CSS\JS学习、DOM操作、JSONP、原生Ajax异步加载、购物商城开发、Jquery、动画效果、事件、定时期、轮播图、跑马灯、HTML5\CSS3语法学习、bootstrap、抽屉新热榜开发、流行前端框架介绍、Vue架构剖析、mvvm开发思想、Vue数据绑定与计算属性、条件渲染类与样式绑定、表单控件绑定、事件绑定webpack使用、vue-router使用、vuex单向数据流与应用结构、vuex actions与mutations热重载、vue单页面项目实战开发等。

阶段四：WEB框架开发

WEB框架开发课程内容包括：Web框架原理剖析、Web请求生命周期、自行开发简单的Web框架、MTV\MVC框架介绍、Django框架使用、路由系统、模板引擎、FBV\CBV视图、Models ORM、FORM、表单验证、Django session cookie、CSRF验证、XSS、中间件、分页、自定义tags、Django Admin、cache系统、信号、message、自定义用户认证、Memcached、redis缓存学习、RabbitMQ队列学习、Celery分布式任务队列学习、Flask框架、Tornado框架、Restful API、BBS+Blog实战项目开发等。

阶段五：爬虫开发

爬虫开发课程内容包括：Requests模块、BeautifulSoup，Selenium模块、PhantomJS模块学习、基于requests实现登陆：抽屉、github、知乎、博客园、爬取拉钩职位信息、开发Web版微信、高性能IO性能相关模块：asyncio、aiohttp、grequests、Twisted、自定义开发一个异步非阻塞模块、验证码图像识别、Scrapy框架以及源码剖析、框架组件介绍（engine、spider、downloader、scheduler、pipeline）、分布式爬虫实战等。

阶段六：全栈项目实战

全栈项目实战课程内容包括：互联网企业专业开发流程讲解、git、github协作开发工具讲解、任务管理系统讲解、接口单元测试、敏捷开发与持续集成介绍、django + uwsgi + nginx生产环境部署学习、接口文档编写示例、互联网企业大型项目架构图深度讲解、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。

阶段七：数据分析

数据分析课程内容包括：金融、股票知识入门股票基本概念、常见投资工具介绍、市基本交易规则、A股构成等，K线、平均线、KDJ、MACD等各项技术指标分析，股市操作模拟盘演示量化策略的开发流程，金融量化与Python，numpy、pandas、matplotlib模块常用功能学习在线量化投资平台：优矿、聚宽、米筐等介绍和使用、常见量化策略学习，如双均线策略、因子选股策略、因子选股策略、小市值策略、海龟交易法则、均值回归、策略、动量策略、反转策略、羊驼交易法则、PEG策略等、开发一个简单的量化策略平台，实现选股、择时、仓位管理、止盈止损、回测结果展示等功能。

阶段八：人工智能

人工智能课程内容包括：机器学习要素、常见流派、自然语言识别、分析原理词向量模型word2vec、剖析分类、聚类、决策树、随机森林、回归以及神经网络、测试集以及评价标准Python机器学习常用库scikit-learn、数据预处理、Tensorflow学习、基于Tensorflow的CNN与RNN模型、Caffe两种常用数据源制作、OpenCV库详解、人脸识别技术、车牌自动提取和遮蔽、无人机开发、Keras深度学习、贝叶斯模型、无人驾驶模拟器使用和开发、特斯拉远程控制API和自动化驾驶开发等。

阶段九：自动化运维开发

自动化运维开发课程内容包括：设计符合企业实际需求的CMDB资产管理系统，如安全API接口开发与使用，开发支持windows和linux平台的客户端，对其它系统开放灵活的api设计与开发IT资产的上线、下线、变更流程等业务流程。IT审计+主机管理系统开发，真实企业系统的用户行为、管理权限、批量文件操作、用户登录报表等。分布式主机监控系统开发，监控多个服务，多种设备，报警机制，基于http+restful架构开发，实现水平扩展，可轻松实现分布式监控等功能。

阶段十：高并发语言GO开发

高并发语言GO开发课程内容包括：Golang的发展介绍、开发环境搭建、golang和其他语言对比、字符串详解、条件判断、循环、使用数组和map数据类型、go程序编译和Makefile、gofmt工具、godoc文档生成工具详解、斐波那契数列、数据和切片、makenew、字符串、go程序调试、slicemap、map排序、常用标准库使用、文件增删改查操作、函数和面向对象详解、并发、并行与goroute、channel详解goroute同步、channel、超时与定时器reover捕获异常、Go高并发模型、Lazy生成器、并发数控制、高并发web服务器的开发等。

scrapy connection was closed cleanly 是因为ip被封吗

由于你的账号在多地同时登陆。详解：1、现在有很多爱奇艺vip账号分享群，很多人都会登陆账号。所以经常性的会出现爱奇艺提示，账号在多地登陆，请重新设置密码这样的提示。时间久了，就会被封。2、根据《爱奇艺VIP会员服务协议》VIP会员账号只允许在五台设备上使用，但同一时间最多只能在两个设备上观看，如系统检测到您的账号超过使用范围，其账号会自动封禁，初次封禁可自助解禁，多次封禁后，该账号将永久封禁。最后，请所有爱奇艺VIP会员们珍惜自己的账号，不要随意分享，以确保您的权益不受损失。我们充分理解广大用户对爱奇艺vip账号的需求，请大家通过爱奇艺官方网站购买会员权益。VIP会员账号被封停解决办法 ·手机或PAD用户操作方法： 1、进入手机浏览器，打开爱奇艺网页(m)； 2、登录您的VIP会员账号； 3、点击播放任意VIP影片； 4、按照影片下方提示操作即可恢复VIP账号会员权益； 5、多次封禁，将永久封禁，无法解封，请妥善保管您的账户；

Python课程内容都学习什么啊？

以下是老男孩教育Python全栈课程内容：阶段一：Python开发基础

Python开发基础课程内容包括：计算机硬件、操作系统原理、安装linux操作系统、linux操作系统维护常用命令、Python语言介绍、环境安装、基本语法、基本数据类型、二进制运算、流程控制、字符编码、文件处理、数据类型、用户认证、三级菜单程序、购物车程序开发、函数、内置方法、递归、迭代器、装饰器、内置方法、员工信息表开发、模块的跨目录导入、常用标准库学习，b加密\re正则\logging日志模块等，软件开发规范学习，计算器程序、ATM程序开发等。

阶段二：Python高级级编编程数据库开发

Python高级级编编程数据库开发课程内容包括：面向对象介绍、特性、成员变量、方法、封装、继承、多态、类的生成原理、MetaClass、__new__的作用、抽象类、静态方法、类方法、属性方法、如何在程序中使用面向对象思想写程序、选课程序开发、TCP/IP协议介绍、Socket网络套接字模块学习、简单远程命令执行客户端开发、C\S架构FTP服务器开发、线程、进程、队列、IO多路模型、数据库类型、特性介绍，表字段类型、表结构构建语句、常用增删改查语句、索引、存储过程、视图、触发器、事务、分组、聚合、分页、连接池、基于数据库的学员管理系统开发等。

阶段三：前端开发

前端开发课程内容包括：HTML\CSS\JS学习、DOM操作、JSONP、原生Ajax异步加载、购物商城开发、Jquery、动画效果、事件、定时期、轮播图、跑马灯、HTML5\CSS3语法学习、bootstrap、抽屉新热榜开发、流行前端框架介绍、Vue架构剖析、mvvm开发思想、Vue数据绑定与计算属性、条件渲染类与样式绑定、表单控件绑定、事件绑定webpack使用、vue-router使用、vuex单向数据流与应用结构、vuex actions与mutations热重载、vue单页面项目实战开发等。

阶段四：WEB框架开发

WEB框架开发课程内容包括：Web框架原理剖析、Web请求生命周期、自行开发简单的Web框架、MTV\MVC框架介绍、Django框架使用、路由系统、模板引擎、FBV\CBV视图、Models ORM、FORM、表单验证、Django session cookie、CSRF验证、XSS、中间件、分页、自定义tags、Django Admin、cache系统、信号、message、自定义用户认证、Memcached、redis缓存学习、RabbitMQ队列学习、Celery分布式任务队列学习、Flask框架、Tornado框架、Restful API、BBS+Blog实战项目开发等。

阶段五：爬虫开发

爬虫开发课程内容包括：Requests模块、BeautifulSoup，Selenium模块、PhantomJS模块学习、基于requests实现登陆：抽屉、github、知乎、博客园、爬取拉钩职位信息、开发Web版微信、高性能IO性能相关模块：asyncio、aiohttp、grequests、Twisted、自定义开发一个异步非阻塞模块、验证码图像识别、Scrapy框架以及源码剖析、框架组件介绍（engine、spider、downloader、scheduler、pipeline）、分布式爬虫实战等。

阶段六：全栈项目实战

全栈项目实战课程内容包括：互联网企业专业开发流程讲解、git、github协作开发工具讲解、任务管理系统讲解、接口单元测试、敏捷开发与持续集成介绍、django + uwsgi + nginx生产环境部署学习、接口文档编写示例、互联网企业大型项目架构图深度讲解、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。

阶段七：数据分析

数据分析课程内容包括：金融、股票知识入门股票基本概念、常见投资工具介绍、市基本交易规则、A股构成等，K线、平均线、KDJ、MACD等各项技术指标分析，股市操作模拟盘演示量化策略的开发流程，金融量化与Python，numpy、pandas、matplotlib模块常用功能学习在线量化投资平台：优矿、聚宽、米筐等介绍和使用、常见量化策略学习，如双均线策略、因子选股策略、因子选股策略、小市值策略、海龟交易法则、均值回归、策略、动量策略、反转策略、羊驼交易法则、PEG策略等、开发一个简单的量化策略平台，实现选股、择时、仓位管理、止盈止损、回测结果展示等功能。

阶段八：人工智能

人工智能课程内容包括：机器学习要素、常见流派、自然语言识别、分析原理词向量模型word2vec、剖析分类、聚类、决策树、随机森林、回归以及神经网络、测试集以及评价标准Python机器学习常用库scikit-learn、数据预处理、Tensorflow学习、基于Tensorflow的CNN与RNN模型、Caffe两种常用数据源制作、OpenCV库详解、人脸识别技术、车牌自动提取和遮蔽、无人机开发、Keras深度学习、贝叶斯模型、无人驾驶模拟器使用和开发、特斯拉远程控制API和自动化驾驶开发等。

阶段九：自动化运维开发

自动化运维开发课程内容包括：设计符合企业实际需求的CMDB资产管理系统，如安全API接口开发与使用，开发支持windows和linux平台的客户端，对其它系统开放灵活的api设计与开发IT资产的上线、下线、变更流程等业务流程。IT审计+主机管理系统开发，真实企业系统的用户行为、管理权限、批量文件操作、用户登录报表等。分布式主机监控系统开发，监控多个服务，多种设备，报警机制，基于http+restful架构开发，实现水平扩展，可轻松实现分布式监控等功能。

阶段十：高并发语言GO开发高并发语言GO开发课程内容包括：Golang的发展介绍、开发环境搭建、golang和其他语言对比、字符串详解、条件判断、循环、使用数组和map数据类型、go程序编译和Makefile、gofmt工具、godoc文档生成工具详解、斐波那契数列、数据和切片、makenew、字符串、go程序调试、slicemap、map排序、常用标准库使用、文件增删改查操作、函数和面向对象详解、并发、并行与goroute、channel详解goroute同步、channel、超时与定时器reover捕获异常、Go高并发模型、Lazy生成器、并发数控制、高并发web服务器的开发等。

现在用scrapy爬一个网站始终遇到521错误，是怎么回事

【问题描述】： 如下图所示我们看到的，提示网站还原错误， br / 【原因分析】： 这往往是浏览器加载项造成的br / 【简易步骤】： 【IE】—【工具】—【管理加载项】，逐个关闭加载项排查。 br / 【解决方案】： 1. 点击【开始】—【所有程序】—【附件】—【系统工具】—【internet explorer（无加载项）】，这样你就可以打开ie了，你也可以右键单价IE的图标，在右键菜单中，选择无加载项启动。但是并不是所有的电脑都有这个选项。（如图1） 图1br / 2. 在打开的IE中，我们可以看到一个这样的页面，在标签栏下面有一个提示消息：当前正在禁用加载项……，右键点击这个提示消息，选择管理加载项，有的浏览器没有提示这个消息，我们用下面的方法打开加载项管理（如图2） 图2br / 3. 如果你的浏览器没有菜单栏，可以先调出菜单栏，如图所示在空白的位置右键单击，然后选择【菜单栏】（如图3） 图3 br / br / 4. 打开菜单栏后，在工具菜单下，点击【管理加载项】，这样也可以打开管理加载项。（如图4） 图4 br / br / 5. 在管理加载项面板中，你可以在这里看到很多加载项，先按下ctrl+a，选中所有的加载项，然后右键单击选择【全部禁用】（如图5） 图5 br / br / 6. 禁用了加载项以后，我们正常启动IE，不要以上面提到的【无加载项】的方式启动浏览器。只要双击打开浏览器就可以了。同样的方法：在菜单栏上执行，工具--管理加载项，打开加载项管理器，然后右键单击第一个加载项，选择【开启】，这样就启用了这个加载项。其中了第一个加载项以后，我们就关闭浏览器，重启浏览器看是否出现【网络还原错误】（如图6） 图6 br / br / 7. 如果仍然没有提示错误，我们接着启用第二个加载项，重启启动浏览器，看看是否出现【网络还原错误】。以此类推，我们逐一启动加载项，直到找到那个出现问题的加载项，比如下面我启动了百度工具的加载项以后，ie重启发生了网络还原错误，先关闭ie。（如图7） 图7 br / br / 8. 和上面提到的方法一样，点击【开始】—【程序】—【附件】—【系统工具】—【IE】（如图8） 图8 br / br / 9. 打开IE以后，菜单栏上执行执行：工具--管理加载项。找到产生错误的加载项，右键单击，然后选择【禁用】，启用其他的加载项。这样问题就最终解决了。（如图9） 图9

初学者怎么学习Python

初学者、零基础学Python的话，建议参加培训班，入门快、效率高、周期短、实战项目丰富，还可以提升就业竞争力。

以下是老男孩教育Python全栈课程内容：阶段一：Python开发基础

Python开发基础课程内容包括：计算机硬件、操作系统原理、安装linux操作系统、linux操作系统维护常用命令、Python语言介绍、环境安装、基本语法、基本数据类型、二进制运算、流程控制、字符编码、文件处理、数据类型、用户认证、三级菜单程序、购物车程序开发、函数、内置方法、递归、迭代器、装饰器、内置方法、员工信息表开发、模块的跨目录导入、常用标准库学习，b加密\re正则\logging日志模块等，软件开发规范学习，计算器程序、ATM程序开发等。

阶段二：Python高级级编编程数据库开发

Python高级级编编程数据库开发课程内容包括：面向对象介绍、特性、成员变量、方法、封装、继承、多态、类的生成原理、MetaClass、__new__的作用、抽象类、静态方法、类方法、属性方法、如何在程序中使用面向对象思想写程序、选课程序开发、TCP/IP协议介绍、Socket网络套接字模块学习、简单远程命令执行客户端开发、C\S架构FTP服务器开发、线程、进程、队列、IO多路模型、数据库类型、特性介绍，表字段类型、表结构构建语句、常用增删改查语句、索引、存储过程、视图、触发器、事务、分组、聚合、分页、连接池、基于数据库的学员管理系统开发等。

阶段三：前端开发

前端开发课程内容包括：HTML\CSS\JS学习、DOM操作、JSONP、原生Ajax异步加载、购物商城开发、Jquery、动画效果、事件、定时期、轮播图、跑马灯、HTML5\CSS3语法学习、bootstrap、抽屉新热榜开发、流行前端框架介绍、Vue架构剖析、mvvm开发思想、Vue数据绑定与计算属性、条件渲染类与样式绑定、表单控件绑定、事件绑定webpack使用、vue-router使用、vuex单向数据流与应用结构、vuex actions与mutations热重载、vue单页面项目实战开发等。

阶段四：WEB框架开发

WEB框架开发课程内容包括：Web框架原理剖析、Web请求生命周期、自行开发简单的Web框架、MTV\MVC框架介绍、Django框架使用、路由系统、模板引擎、FBV\CBV视图、Models ORM、FORM、表单验证、Django session cookie、CSRF验证、XSS、中间件、分页、自定义tags、Django Admin、cache系统、信号、message、自定义用户认证、Memcached、redis缓存学习、RabbitMQ队列学习、Celery分布式任务队列学习、Flask框架、Tornado框架、Restful API、BBS+Blog实战项目开发等。

阶段五：爬虫开发

爬虫开发课程内容包括：Requests模块、BeautifulSoup，Selenium模块、PhantomJS模块学习、基于requests实现登陆：抽屉、github、知乎、博客园、爬取拉钩职位信息、开发Web版微信、高性能IO性能相关模块：asyncio、aiohttp、grequests、Twisted、自定义开发一个异步非阻塞模块、验证码图像识别、Scrapy框架以及源码剖析、框架组件介绍(engine、spider、downloader、scheduler、pipeline)、分布式爬虫实战等。

阶段六：全栈项目实战

全栈项目实战课程内容包括：互联网企业专业开发流程讲解、git、github协作开发工具讲解、任务管理系统讲解、接口单元测试、敏捷开发与持续集成介绍、django + uwsgi + nginx生产环境部署学习、接口文档编写示例、互联网企业大型项目架构图深度讲解、CRM客户关系管理系统开发等。

阶段七：数据分析

数据分析课程内容包括：金融、股票知识入门股票基本概念、常见投资工具介绍、市基本交易规则、A股构成等，K线、平均线、KDJ、MACD等各项技术指标分析，股市操作模拟盘演示量化策略的开发流程，金融量化与Python，numpy、pandas、matplotlib模块常用功能学习在线量化投资平台：优矿、聚宽、米筐等介绍和使用、常见量化策略学习，如双均线策略、因子选股策略、因子选股策略、小市值策略、海龟交易法则、均值回归、策略、动量策略、反转策略、羊驼交易法则、PEG策略等、开发一个简单的量化策略平台，实现选股、择时、仓位管理、止盈止损、回测结果展示等功能。

阶段八：人工智能

人工智能课程内容包括：机器学习要素、常见流派、自然语言识别、分析原理词向量模型word2vec、剖析分类、聚类、决策树、随机森林、回归以及神经网络、测试集以及评价标准Python机器学习常用库scikit-learn、数据预处理、Tensorflow学习、基于Tensorflow的CNN与RNN模型、Caffe两种常用数据源制作、OpenCV库详解、人脸识别技术、车牌自动提取和遮蔽、无人机开发、Keras深度学习、贝叶斯模型、无人驾驶模拟器使用和开发、特斯拉远程控制API和自动化驾驶开发等。

阶段九：自动化运维开发

自动化运维开发课程内容包括：设计符合企业实际需求的CMDB资产管理系统，如安全API接口开发与使用，开发支持windows和linux平台的客户端，对其它系统开放灵活的api设计与开发IT资产的上线、下线、变更流程等业务流程。IT审计+主机管理系统开发，真实企业系统的用户行为、管理权限、批量文件操作、用户登录报表等。分布式主机监控系统开发，监控多个服务，多种设备，报警机制，基于http+restful架构开发，实现水平扩展，可轻松实现分布式监控等功能。

阶段十：高并发语言GO开发高并发语言GO开发课程内容包括：Golang的发展介绍、开发环境搭建、golang和其他语言对比、字符串详解、条件判断、循环、使用数组和map数据类型、go程序编译和Makefile、gofmt工具、godoc文档生成工具详解、斐波那契数列、数据和切片、makenew、字符串、go程序调试、slicemap、map排序、常用标准库使用、文件增删改查操作、函数和面向对象详解、并发、并行与goroute、channel详解goroute同步、channel、超时与定时器reover捕获异常、Go高并发模型、Lazy生成器、并发数控制、高并发web服务器的开发等。

scrapy爬知乎问题，每次爬到240000多以后就结束了，什么原因

发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector其按照我经验随便扯淡：面说爬虫基本3类：1.布式爬虫：Nutch

2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3. 非JAVA单机爬虫：scrapy

第类：布式爬虫

爬虫使用布式主要解决两问题：

1）海量URL管理

2）网速

现比较流行布式爬虫ApacheNutch于数用户说Nutch几类爬虫选择理由：

1）Nutch搜索引擎设计爬虫数用户需要做精准数据爬取（精抽取）爬虫Nutch运行套流程三二搜索引擎设计精抽取没太意义说用Nutch做数据抽取浪费间必要计算且试图通Nutch进行二发使适用于精抽取业务基本要破坏Nutch框架Nutch改面目全非修改Nutch能力真自重新写布式爬虫框架

2）Nutch依赖hadoop运行hadoop本身消耗间集群机器数量较少爬取速度反单机爬虫快

3）Nutch虽套插件机制且作亮点宣传看些源Nutch插件提供精抽取功能发Nutch插件都知道Nutch插件系统蹩脚利用反射机制加载调用插件使程序编写调试都变异困难更别说面发套复杂精抽取系统且Nutch并没精抽取提供相应插件挂载点Nutch插件五六挂载点五六挂载点都搜索引擎服务并没精抽取提供挂载点数Nutch精抽取插件都挂载页面解析（parser）挂载点挂载点其实解析链接（续爬取提供URL）及搜索引擎提供些易抽取网页信息（网页meta信息、text文本）

4）用Nutch进行爬虫二发爬虫编写调试所需间往往单机爬虫所需十倍间止解Nutch源码习本高何况要让团队都读懂Nutch源码调试程现除程序本身外各种问题（hadoop问题、hbase问题）

5）说Nutch2gora持久化数据avro文件、hbase、mysql等其实理解错说持久化数据指URL信息（URL管理所需要数据）存放avro、hbase、mysql并要抽取结构化数据其实数说URL信息存哪所谓

6）Nutch2版本目前并适合发官现稳定Nutch版本nutch2.2.1版本绑定gora-0.3想用hbase配合nutch（数用nutch2用hbase）能使用0.90版本左右hbase相应要hadoop版本降hadoop 0.2左右且nutch2官教程比较误导作用Nutch2教程两别Nutch1.xNutch2.xNutch2.x官网写支持hbase 0.94实际Nutch2.x意思Nutch2.3前、Nutch2.2.1版本版本官SVN断更新且非稳定（直修改）

所要做搜索引擎尽量要选择Nutch作爬虫些团队喜欢跟风非要选择Nutch发精抽取爬虫其实冲着Nutch名气（Nutch作者Doug Cutting）结往往项目延期完

要做搜索引擎Nutch1.x非选择Nutch1.xsolr或者es配合构套非强搜索引擎非要用Nutch2建议等Nutch2.3发布再看目前Nutch2非稳定版本

第二类：JAVA单机爬虫

JAVA爬虫单独类JAVA网络爬虫块态圈非完善相关资料全能争议我随便扯淡

其实源网络爬虫（框架）发非简单难问题复杂问题都前解决（比DOM树解析定位、字符集检测、海量URL重）说毫技术含量包括Nutch其实Nutch技术难点发hadoop本身代码非简单网络爬虫某种意义说类似遍历本机文件查找文件信息没任何难度言所选择源爬虫框架省事比爬虫URL管理、线程池类模块谁都能做要做稳定需要段间调试修改

于爬虫功能说用户比较关问题往往：

1）爬虫支持线程、爬虫能用代理、爬虫爬取重复数据、爬虫能爬取JS信息

支持线程、支持代理、能滤重复URL都叫源爬虫叫循环执行http请求

能能爬js信息爬虫本身没太关系爬虫主要负责遍历网站载页面爬js信息网页信息抽取模块关往往需要通模拟浏览器（htmlunit,selenium）完些模拟浏览器往往需要耗费间处理页面所种策略使用些爬虫遍历网站遇需要解析页面网页相关信息提交给模拟浏览器完JS信息抽取

2）爬虫爬取ajax信息

网页些异步加载数据爬取些数据两种：使用模拟浏览器（问题1描述）或者析ajaxhttp请求自ajax请求url获取返数据自ajax请求使用源爬虫意义哪其实要用源爬虫线程池URL管理功能（比断点爬取）

我已经我所需要ajax请求（列表）何用些爬虫些请求进行爬取

爬虫往往都设计广度遍历或者深度遍历模式遍历静态或者态页面爬取ajax信息属于deep web（深网）范畴虽数爬虫都直接支持通些完比WebCollector使用广度遍历遍历网站爬虫第轮爬取爬取种集合（seeds）所url简单说ajax请求作种放入爬虫用爬虫些种进行深度1广度遍历（默认广度遍历）

3）爬虫爬取要登陆网站

些源爬虫都支持爬取指定cookies模拟登陆主要靠cookies至于cookies获取爬虫管事情手获取、用http请求模拟登陆或者用模拟浏览器自登陆获取cookie

4）爬虫抽取网页信息

源爬虫般都集网页抽取工具主要支持两种规范：CSS SELECTORXPATH至于哪评价

5）爬虫保存网页信息

些爬虫自带模块负责持久化比webmagic模块叫pipeline通简单配置爬虫抽取信息持久化文件、数据库等些爬虫并没直接给用户提供数据持久化模块比crawler4jwebcollector让用户自网页处理模块添加提交数据库操作至于使用pipeline种模块操作数据库使用ORM问题类似取决于业务

6）爬虫网站封办

爬虫网站封般用代理（随机代理）解决些源爬虫般没直接支持随机代理切换所用户往往都需要自获取代理放全局数组自写代理随机获取（数组）代码

7）网页调用爬虫

爬虫调用Web服务端调用平用用些爬虫都使用

8）爬虫速度

单机源爬虫速度基本都讲本机网速用极限爬虫速度慢往往用户线程数少、网速慢或者数据持久化数据库交互速度慢些东西往往都用户机器二发代码决定些源爬虫速度都

9）明明代码写爬数据爬虫问题换爬虫能解决

代码写爬数据换其爬虫爬遇种情况要网站封要爬数据javascript爬数据通换爬虫能解决

10）哪爬虫判断网站否爬完、爬虫根据主题进行爬取

爬虫判断网站否爬完能尽能覆盖

至于根据主题爬取爬虫内容爬才知道主题所般都整爬再筛选内容嫌爬太泛通限制URL则等式缩范围

11）哪爬虫设计模式构架比较

设计模式纯属扯淡说软件设计模式都软件发完总结几设计模式设计模式软件发没指导性作用用设计模式设计爬虫使爬虫设计更加臃肿

至于构架源爬虫目前主要细节数据结构设计比爬取线程池、任务队列些家都能控制爬虫业务太简单谈构架

所于JAVA源爬虫我觉随便找用顺手业务复杂拿哪爬虫都要经复杂二发才满足需求

第三类：非JAVA单机爬虫

非JAVA语言编写爬虫优秀爬虫单独提取作类并针爬虫本身质量进行讨论针larbin、scrapy类爬虫发本影响

先说python爬虫python用30行代码完JAVA 50行代码干任务python写代码确快调试代码阶段python代码调试往往耗费远远于编码阶段省间使用python发要保证程序确性稳定性需要写更测试模块爬取规模、爬取业务复杂使用scrapy种爬虫蛮错轻松完爬取任务

于C++爬虫说习本比较且能计算习本软件需要团队发或者交接习本软件调试容易

些ruby、php爬虫评价确些非型数据采集任务用ruby或者php便选择些语言源爬虫面要调研相关态圈些源爬虫能些搜BUG（用少、资料少）

scrapy怎么跟进爬取url

以 oschina 为例:

生成项目

$ scrapy startproject oschina

$ cd oschina

配置 编辑 settings.py, 加入以下(主要是User-agent和piplines):

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0'

LOG_LEVEL = 'ERROR'

RETRY_ENABLED = False

DOWNLOAD_TIMEOUT = 10

ITEM_PIPELINES = {

'oschina.pipelines.SomePipeline': 300,

}

编辑 items.py, 内容如下:

# -*- coding: utf-8 -*-

import scrapy

class OschinaItem(scrapy.Item):

Link = scrapy.Field()

LinkText = scrapy.Field()

编辑 pipelines.py, 内容如下:

# -*- coding: utf-8 -*-

import json

from scrapy.exceptions import DropItem

class OschinaPipeline(object):

def __init__(self):

self.file = open('result.jl', 'w')

self.seen = set() # 重复检测集合

def process_item(self, item, spider):

if item['link'] in self.seen:

raise DropItem('Duplicate link %s' % item['link'])self.seen.add(item['link'])

line = json.dumps(dict(item), ensure_ascii=False) + '\n'

self.file.write(line)

return item

生成模板spider然后修改:

$ scrapy genspider scrapy_oschina oschina.net # scrapy genspider 爬虫名 要爬取的域名编辑 spiders/scrapy_oschina.py:

# -*- coding: utf-8 -*-

import scrapy

from oschina.items import OschinaItem

class ScrapyOschinaSpider(scrapy.Spider):

name = "scrapy_oschina"

allowed_domains = ["oschina.net"]

start_urls = (

'http://www.oschina.net/',

)

def parse(self, response):

sel = scrapy.Selector(response)

links_in_a_page = sel.xpath('//a[@href]') # 页面内的所有链接for link_sel in links_in_a_page:

item = OschinaItem()

link = str(link_sel.re('href="(.*?)"')[0]) # 每一个urlif link:

if not link.startswith('http'): # 处理相对URLlink = response.url + link

yield scrapy.Request(link, callback=self.parse) # 生成新的请求, 递归回调self.parseitem['link'] = link

link_text = link_sel.xpath('text()').extract() # 每个url的链接文本, 若不存在设为Noneif link_text:

item['link_text'] = str(link_text[0].encode('utf-8').strip())else:

item['link_text'] = None

#print item['link'], # 取消注释在屏幕显示结果#print item['link_text']

yield item

运行:

scrapy crawl scrapy_oschina

结果保存在 oschina.jl 文件中, 目的只是为了介绍怎样编写item pipeline，如果要将所有爬取的item都保存到同一个JSON文件， 需要使用 Feed exports截图如下:

运行截图 文件内容

保存数据到mongoDB

在 pipelines.py中加入:

import pymongo

class MongoPipeline(object):

def __init__(self, mongo_host, mongo_port, mongo_db):

self.mongo_host = mongo_host

self.mongo_port = mongo_port

self.mongo_db = mongo_db

@classmethod

def from_crawler(cls, crawler):

return cls(

mongo_host=crawler.settings.get('MONGO_HOST'),mongo_port=crawler.settings.get('MONGO_PORT'),mongo_db=crawler.settings.get('MONGO_DB', 'doubandb'),)

def open_spider(self, spider):

self.client = pymongo.MongoClient(self.mongo_host, self.mongo_port)self.db = self.client[self.mongo_db]

def close_spider(self, spider):

self.client.close()

def process_item(self, item, spider):

collection_name = item.__class__.__name__self.db[collection_name].insert(dict(item))return item

在settings.py设置相应的 MONGO_HOST(默认127.0.0.1),MONGO_PORT(默认27017), MONGO_DB, MONGO_COLLECTION, ITEM_PIPELINES字典加入这个项'scrapy_douban.pipelines.MongoPipeline':400,数字代表优先级, 越大越低

使用 XmlItemExporter

在pipelines.py添加:

from scrapy.exporters import XmlItemExporterfrom scrapy import signals

class XmlExportPipeline(object):

def __init__(self):

self.files = {}

@classmethod

def from_crawler(cls, crawler):

pipeline = cls()

crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)return pipeline

def spider_opened(self, spider):

file = open('%s_urls.xml' % spider.name, 'w+b')self.files[spider] = file

self.exporter = XmlItemExporter(file)

self.exporter.start_exporting()

def spider_closed(self, spider):

self.exporter.finish_exporting()

file = self.files.pop(spider)

file.close()

def process_item(self, item, spider):

self.exporter.export_item(item)

return item

settings.py中 ITEM_PIPELINES 添加项

'oschina.pipelines.XmlExportPipeline':500,