python爬虫爬取不出信息

1. python爬虫爬取不出信息

Python爬虫程序本身没有问题，但是却爬取不了数据主要原因如下：

1.对方有反爬程序
几乎所网站为了防止一些恶意抓取，会设置反爬程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。
2.伪装方式没有绕过目标网站反爬
网站都有反爬虫机制，防止爬取数据，爬虫想要爬取数据，就需要隐藏自身的身份，伪装成用户的身份进行访问，如果没有伪装好，被检测到爬虫，也是被会限制的。比如请求头没有设置好，Cookie问题等等。
3.IP被限制
爬虫除了IP所有数据都可以伪装，当你的IP访问次数过多之后，就会被限制住，再也无法访问了。这个时候就需要带入ip代理池了。

2. python爬虫一般都爬什么信息

python爬虫一般都爬什么信息？
一般说爬虫的时候，大部分程序员潜意识里都会联想为Python爬虫，为什么会这样，我觉得有两个原因：
1.Python生态极其丰富，诸如Request、Beautiful Soup、Scrapy、PySpider等第三方库实在强大
2.Python语法简洁易上手，分分钟就能写出一个爬虫（有人吐槽Python慢，但是爬虫的瓶颈和语言关系不大）
爬虫是一个程序，这个程序的目的就是为了抓取万维网信息资源，比如你日常使用的谷歌等搜索引擎，搜索结果就全都依赖爬虫来定时获取
看上述搜索结果，除了wiki相关介绍外，爬虫有关的搜索结果全都带上了Python，前人说Python爬虫，现在看来果然诚不欺我～
爬虫的目标对象也很丰富，不论是文字、图片、视频，任何结构化非结构化的数据爬虫都可以爬取，爬虫经过发展，也衍生出了各种爬虫类型：
● 通用网络爬虫：爬取对象从一些种子 URL 扩充到整个 Web，搜索引擎干的就是这些事
● 垂直网络爬虫：针对特定领域主题进行爬取，比如专门爬取小说目录以及章节的垂直爬虫
● 增量网络爬虫：对已经抓取的网页进行实时更新
● 深层网络爬虫：爬取一些需要用户提交关键词才能获得的 Web 页面
不想说这些大方向的概念，让我们以一个获取网页内容为例，从爬虫技术本身出发，来说说网页爬虫，步骤如下：
模拟请求网页资源
从HTML提取目标元素
数据持久化
相关推荐：《Python教程》以上就是小编分享的关于python爬虫一般都爬什么信息的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！

3. 1.Python网络爬虫与信息提取（绪论-网络爬虫之前奏）