urllib的用法
urllib和request的区别总结？
urllib和request的区别总结？
区别如下：
在python中，urllib和urllib2不可相互替代的。
整体来说，urllib2是urllib的增强，但是urllib中有urllib2中所没有的函数。
urllib2可以用中设置Request参数，来修改Header头。如果你访问一个网站，想更改User Agent（可以伪装你的浏览器），你就要用urllib2.
urllib支持设置编码的函数，urllib.urlencode，在模拟登陆的时候，经常要post编码之后的参数，所以要想不使用第三方库完成模拟登录，你就需要使用urllib。
urllib一般和urllib2一起搭配使用
pycharm怎么添加第三方库urllib？
可以使用pip包管理器安装，也可以使用pycharm设置中项目添加
如何用Python修改需要需要登录的网站的信息？
大致的思路是先抓包，分析登陆包以及服务器返回的数据包的内容，然后用Python写。可以使用urllib2，cookiejar，beautifulsoup（这个用来分析网页，当然，自己用正则构造一个类效率会更高）这几个类。
网络爬虫是干什么的，在哪能学习？
概述一句话，网络爬虫就是模拟真人访问网络的操作，自动访问互联网上的网页，并进行数据提取和分析的工具。
网络爬虫，也叫网络机器人。是一种从互联网抓取数据信息的自动化程序。主要的作用是代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。
网络爬虫可以对网络上的数据信息进行自动采集，例如，搜索引擎使用网络爬虫对Internet中的网站进行爬取收录，收集到的数据可以用来进行数据分析与挖掘。除此之外，还可以将网络爬虫应用于舆情监测与分析、目标客户数据的收集等各个领域。同时，网络爬虫可以在抓取过程中进行各种URL地址去重、异常处理、错误重试等操作，确保爬取持续高效地运行。
网络爬虫的分类网络爬虫常分为通用爬虫和专用爬虫。
通用爬虫是捜索引擎抓取系统的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份；专用爬虫主要为某一类特定的人群提供服务，爬取的目标网页定位在与主题相关的页面中，节省大量的服务器资源和带宽资源。比如要获取某一垂直领域的数据或有明确的检索需求，此时就需要过滤掉一些无用的信息。工作原理网络爬虫可以根据我们提供的信息从网页上获取大量的图片、文字或表格，那么，它的工作原理是什么呢？
爬虫的工作流程为：获取网页 gt 分析源代码 gt 提取信息。
首先，网络爬虫构造一个请求并发送给服务器，服务器接收到请求并返回指定的网页。其次，网络爬虫基于HTML的基本格式，对返回的网页进行分析和有用信息提取。比如，标签内就是URL信息等等。对于复杂的字符串，最通用的方法是采用正则表达式进行匹配。最后，将提取到的信息保存在数据库中，用于后续的分析等操作。