甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。
创新互联是专业的广安网站建设公司，广安接单;提供成都网站建设、成都做网站,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行广安网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
在获取了我们需要的网页信息之后，我们需要从获得的网页中进一步获取我们需要的信息，这里我推荐使用 BeautifulSoup 这个模块， python自带的没有，可以自行百度谷歌下载安装。
出现了数据造假，这个数字可能是刷出来的 真的有这么多的评论，但这时候系统可能只显示其中比较新的评论，而对比较旧的评论进行了存档。
目前我想到的方案是借助爬虫框架，数据存储可利用mysql，mongodb之类的。打个比方，这是我用scrapy爬取诗词网站的数据，然后存储到Mongodb中，就是缺少一部更新。
步骤一：到wordpress网站下载源程序，并解压。步骤二：下载ftp上传工具并安装。步骤登陆阿里云虚拟主机后台。查看虚拟主机的登陆路径、用户名、密码。步骤四：打开ftp上传工具，选择导航栏上的“站点”菜单添加网站。并登陆。
使用其提供的已经安装好的服务器套件或镜像，直接启动即可使用。如：关于wordpress的阿里云云市场相关产品及知识介绍 根据网站提供的教程，安装软件。
阿里云本身可以轻松的搭建 wp博客，你也可以使用第三方面板来快速搭建。个人建站的办法很简单，首先网站1核2G内存1M带宽，40G高效云盘。要准备以下的资料 注册域名。最好能和网站内容有点关联 选择网站系统。
先去域名注册商那里注册一个自己喜欢的域名。需要选一台服务器，考虑到是个人博客可以先选择使用虚拟主机；如果使用国内服务器或者虚拟主机的话，需要对域名进行备案，备案流程比较简单。
第一你要注册个域名 第二你的服务器在国内你需要备案 第三你先给你的服务器安装一个环境 尽量用linux的系统。用ssh连接上服务器安装一个控制面板或者直接安装lamp环境。不过新手建议使用可视化的面板。
你需要登录云服务器管理控制台，记录被我打马赛克位置的公网ip。登录服务器 windows推荐下putty进行连接远程服务器，linux和macos不需要那么麻烦，ssl就行了。putty 在下图的host name中输入你的公网IP，点击open。
说明：windows下设置python环境变量，就是把python的安装目录添加到系统path中。步骤：1）确定python安装目录，根据版本不同安装目录也不同，可以在开始菜单中的快捷方式中查看。
发布到pypi首先需要注册一个账号，然后进行如下两步：注册package。输入python setup.py register。上传文件。输入python setup.py sdist upload。安装测试 上传成功后，就可以使用pip来下载安装了。