零基础学python爬虫（python 爬虫自学要多久）

本文目录

• python 爬虫自学要多久
• python爬虫需要什么基础
• python爬虫怎么入门python爬虫入门介绍
• 如何入门 Python 爬虫
• 零基础学Python应该学习哪些入门知识

python 爬虫自学要多久

一周或者一个月。
如果完全靠自己自学，又是从零基础开始学习Python的情况下，按照每个人的学习和理解能力的不同，我认为大致上需要半年到一年半左右的时间。
当然了，Python学习起来还是比较简单的，如果有其他编程语言经验，入门Python还是非常快的，花1-2个月左右的时间学完基础，就可以自己编写一些小的程序练练手了，5-6个月的时间就可以上手做项目了。
从一定程度上来说，一些零基础的初学者想要利用两个月的时间掌握好Python是不太可能的，学习完Python后想要应聘相对应的工作岗位，即便是选择最快的学习方式也是很难实现的，无法快速实现就业。

python爬虫需要什么基础

网页知识

html，js,css，xpath这些知识，虽然简单，但一定需要了解。 你得知道这些网页是如何构成的，然后才能去分解他们.

HTTP知识

• 一般爬虫你需要模拟浏览器的操作，才能去获取网页的信息

• 如果有些网站需要登录，才能获取更多的资料，你得去登录，你得把登录的账号密码进行提交

• 有些网站登录后需要保存cookie信息才能继续获取更多资料

正则表达式

有了正则表达式才能更好的分割网页信息，获取我们想要的数据，所以正则表达式也是需要了解的.

一些重要的爬虫库

• url,url2

• beautiul Soup

数据库

爬取到的数据我们得有个地方来保存，可以使用文件，也可以使用数据库，这里我会使用mysql，还有更适合爬虫的MongoDB数据库，以及分布式要用到的redis 数据库

爬虫框架

PySpider和Scrapy 这两个爬虫框架是非常NB的,简单的爬虫可以使用urllib与urllib2以及正则表达式就能完成，但高级的爬虫还得用这两个框架。 这两个框架需要另行安装。后面一起学习.

反爬虫

有时候你的网站数据想禁止别人爬取，可以做一些反爬虫处理操作。 打比方百度上就无法去查找淘宝上的数据，这样就避开了搜索引擎的竞争，淘宝就可以搞自己的一套竞价排名

分布式爬虫

使用多个redis实例来缓存各台主机上爬取的数据。

爬虫要学的东西还是挺多的，想把爬虫玩得666，基本就是这些知识点吧！

python爬虫怎么入门python爬虫入门介绍

Python是一门较为简单的编程语言，如今很多小学都已经开始教授python了，可见它的热度之高。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。而如果你是零基础想要自学Python的话，那么就建议你进行专业系统的视频课程学习！为帮助广大Python学习爱好者提升，精选到了几套专业优质的Python自学视频课程，学习就可以掌握Python编程技巧以及第三方库使用方法~

python爬虫入门介绍：

1.首先是获取目标页面，这个对用python来说，很简单。

运行结果和打开百度页面，查看源代码一样。这里针对python的语法有几点说明。

a).import就是引入的意思，java也用import，C/C++用的是include，作用一样

b).urllib这个是python自带的模块，在以后开发的时候，如果遇到自己需要的功能，python自带的模块中没有的时候，可以试着去网上找一找，比如需要操作MySql数据库，这个时候python是没有自带的，就可以在网上找到MySQLdb，然后安装引入就行了。

c).res是一个变量，不用像java，C语言那样声明。用的时候直接写就行了

d).标点符号。像java，C这些语言，每行代码后面都要用分号或者别的符号，作为结束标志，python不用，用了反了会出错。不过有的时候，会用标点符号，比如冒号，这个后面再说

e).关于print，在python2.7中，有print()函数，也有print语句，作用基本差不多。

f).#注释

g).encoding=utf8代表使用utf8编码，这个在代码中有中文的时候特别有用

2.解析获取的网页中的元素，取得自己想要的。

首先获取页面代码：

获取结果，通过分析页面源代码（建议用firefox浏览器，按F12，可看到源代码），可以定位到有效代码如下：

下面我们开始解析（这里用BeautifulSoup，自行下载安装），基本流程：

a).缩小范围,这里我们通过id="book"获取所有的书

b).然后通过class="title"，遍历所有的书名。

代码如下：

代码说明：

a).book_div通过id=book获取div标签

b).book_a通过class="title"获取所有的booka标签

c).for循环是遍历book_a所有的a标签

d).book.string是输出a标签中的内容

结果如下：

3.存储获取的数据，比如写入数据库，我的数据库用的Mysql，这里就以Mysql为例（下载安装MySQLdb模块这里不做叙述），只写怎么执行一条sql语句。

代码如下：

说明：

a).这段代码是执行sql语句的流程，针对不同的sql语句，会有不同的处理。比如，执行select的语句，我怎么获取执行的结果，执行update语句，怎么之后成没成功。那就要自己动手了。

b).创建数据库的时候一定要注意编码，建议使用utf8。

4.至此，一个简单的爬虫就完成了。之后是针对反爬虫的一些策略，比如，用代理突破ip访问量限制。

以上就是关于“python爬虫怎么入门？python爬虫入门介绍”的相关内容分享了，希望对于你的Python学习有所帮助！很多小伙伴问：Python怎么学？其实Python掌握是需要阶段性的学习的，学习Python零基础功能-Python编程技巧-Python核心原理分析循序渐进方可学会！所以，想学Python，但是无从下手，就来羽兔，点击链接：

如何入门 Python 爬虫

“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。
另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需要学会的东西的。当然，你可以争论说需要先懂python，不然怎么学会python做爬虫呢？但是事实上，你完全可以在做这个爬虫的过程中学习python :D
看到前面很多答案都讲的“术”——用什么软件怎么爬，那我就讲讲“道”和“术”吧——爬虫怎么工作以及怎么在python实现。
先长话短说summarize一下：
你需要学习
基本的爬虫工作原理
***隐藏网址***
Bloom Filter: Bloom Filters by Example
***隐藏网址***
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

零基础学Python应该学习哪些入门知识

1、Python入门导学

Python的特性、优点、缺点、前景以及python能做些什么？

2、Python环境安装

一键安装Python的编译环境，写出第一段Python代码

3、理解什么是写代码与Python的基本类型

Python的基本类型，包括整形、浮点型；10、8、2、16进制数的意义和转换关系；布尔类型；字符串与字符串常见运算操作

4、Python中表示“组”的概念与定义

了解“组”的概念，以及在Python中用来表示“组”的一些类型，包括：元组、列表、集合和字典。

5、变量与运算符

了解变量的意义与七种运算符，并对每一种运算符的扩展做出详细的讲解

6、分支、循环、条件与枚举

代码的基本逻辑结构，包括条件控制（ifelse）、循环控制（forin、while）、表达式与运算符的优先级。此外，还有Python的枚举类型以及Python编码的规范。

7、包、模块、函数与变量作用域

了解Python代码的组织结构核心：包、模块与函数。需要对Python代码的组织结构有一个非常清晰的认识。重点是函数，除了了解函数的基本概念外，还需要了解Python灵活的函数参数机制（默认参数、关键字参数与列表参数）。

8、Python函数

函数是所有语言中都具备的基本代码组织结构。函数的重要性不言而喻。而对于Python来说，函数的用法及其灵活，远比其他语言要强大很多。了解Python函数的定义、调用、序列解包、必须参数、关键字参数、默认参数等诸多内容。

9、高级部分：面向对象

了解面向对象的概念。包括面向对象的三大特性（继承、封装、多态）、类的基本构成元素、python的内置类属性、方法重写、运算符重载、静态方法等

10、正则表达式与JSON

正则表达式也是文本解析中非常重要的知识点。了解如何在Python中编写正则表达式与常见的正则表达式。此外，重点了解包括JSON对象，JSON字符串，Python类型与JSON的转换。

11、Python的高级语法与用法

了解Python进阶部分的高级特性，如枚举、闭包

12、函数式编程：匿名函数、高阶函数、装饰器

进一步了解函数式编程的lambda、mapece、filter以及装饰器

13、实战：原生爬虫

学习如何访问网络数据、获取与解析网络数据、爬虫的基本原理解释。并用最基础语法不使用爬虫框架的原生爬虫项目。

14、Pythonic与Python杂记

了解扩展Python的优秀写法，学会如何写出优质的Pythonic风格的代码。包括：如何让字典保持有序、lmbda表达式的应用等高级Python知识