甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
jb51上面的资源还比较全，就准备用python来实现自动采集信息，与下载啦。
Python具有丰富和强大的库，使用urllib，re等就可以轻松开发出一个网络信息采集器！
下面，是我写的一个实例脚本，用来采集某技术网站的特定栏目的所有电子书资源，并下载到本地保存！
软件运行截图如下：
在脚本运行时期，不但会打印出信息到shell窗口，还会保存日志到txt文件，记录采集到的页面地址，书籍的名称，大小，服务器本地下载地址以及百度网盘的下载地址！
实例采集并下载创新互联成都网站设计公司的python栏目电子书资源：
# -*- coding:utf-8 -*-
import re
import urllib2
import urllib
import sys
import os
reload(sys)
sys.setdefaultencoding('utf-8')
def getHtml(url):
request = urllib2.Request(url)
page = urllib2.urlopen(request)
htmlcontent = page.read()
#解决中文乱码问题
htmlcontent = htmlcontent.decode('gbk', 'ignore').encode("utf8",'ignore')
return htmlcontent
def report(count, blockSize, totalSize):
percent = int(count*blockSize*100/totalSize)
sys.stdout.write("r%d%%" % percent + ' complete')
sys.stdout.flush()
def getBookInfo(url):
htmlcontent = getHtml(url);
#print "htmlcontent=",htmlcontent; # you should see the ouput html
#crifan
regex_title = '(?P.+?)</h2>';
title = re.search(regex_title, htmlcontent);
if(title):
title = title.group("title");
print "书籍名字:",title;
file_object.write('书籍名字:'+title+'r');
#<li>书籍大小：<span itemprop="fileSize">27.2MB</span></li>
filesize = re.search('<spans+?itemprop="fileSize">(?P<filesize>.+?)</span>', htmlcontent);
if(filesize):
filesize = filesize.group("filesize");
print "文件大小:",filesize;
file_object.write('文件大小:'+filesize+'r');
#<div class="picthumb"><a href="//img.jbzj.com/do/uploads/litimg/151210/1A9262GO2.jpg" target="_blank"
bookimg = re.search('<divs+?class="picthumb"><a href="(?P<bookimg>.+?)" rel="external nofollow" target="_blank"', htmlcontent);
if(bookimg):
bookimg = bookimg.group("bookimg");
print "封面图片：",bookimg;
file_object.write('封面图片:'+bookimg+'r');
#<li><a href="http://xz6.jb51.net:81/201512/books/JavaWeb100(jb51.net).rar" target="_blank">酷云中国电信下载</a></li>
downurl1 = re.search('<li><a href="(?P<downurl1>.+?)" rel="external nofollow" target="_blank">酷云中国电信下载</a></li>', htmlcontent);
if(downurl1):
downurl1 = downurl1.group("downurl1");
print "下载地址1:",downurl1;
file_object.write('下载地址1:'+downurl1+'r');
sys.stdout.write('rFetching ' + title + '...n')
title = title.replace(' ', '');
title = title.replace('/', '');
saveFile = '/Users/superl/Desktop/pythonbook/'+title+'.rar';
if os.path.exists(saveFile):
print "该文件已经下载了！";
else:
urllib.urlretrieve(downurl1, saveFile, reporthook=report);
sys.stdout.write("rDownload complete, saved as %s" % (saveFile) + 'nn')
sys.stdout.flush()
file_object.write('文件下载成功!r');
else:
print "下载地址1不存在";
file_error.write(url+'r');
file_error.write(title+"下载地址1不存在!文件没有自动下载！r");
file_error.write('r');
#<li><a href="http://pan.baidu.com/s/1pKfVNwJ" rel="external nofollow" target="_blank">百度网盘下载2</a></li>
downurl2 = re.search('</a></li><li><a href="(?P<downurl2>.+?)" rel="external nofollow" target="_blank">百度网盘下载2</a></li>', htmlcontent);
if(downurl2):
downurl2 = downurl2.group("downurl2");
print "下载地址2:",downurl2;
file_object.write('下载地址2:'+downurl2+'r');
else:
#file_error.write(url+'r');
print "下载地址2不存在";
file_error.write(title+"下载地址2不存在r");
file_error.write('r');
file_object.write('r');
print "n";
def getBooksUrl(url):
htmlcontent = getHtml(url);
#<ul class="cur-cat-list"><a href="/books/438381.html" rel="external nofollow" class="tit"</ul></div><!--end #content -->
urls = re.findall('<a href="(?P<urls>.+?)" rel="external nofollow" class="tit"', htmlcontent);
for url in urls:
url = "//www.jb51.net"+url;
print url+"n";
file_object.write(url+'r');
getBookInfo(url)
#print "url->", url
if __name__=="__main__":
file_object = open('/Users/superl/Desktop/python.txt','w+');
file_error = open('/Users/superl/Desktop/pythonerror.txt','w+');
pagenum = 3;
for pagevalue in range(1,pagenum+1):
listurl = "//www.jb51.net/ books/list476_%d.html"%pagevalue;
print listurl;
file_object.write(listurl+'r');
getBooksUrl(listurl);
file_object.close();
file_error.close();</pre><p align=center>另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、<a href="https://www.cdcxhl.com/gaofang/" target="_blank">高防服务器</a>、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。</p> <br>
网站名称：使用python采集脚本之家电子书资源并自动下载到本地的实例脚本-创新互联 <br>
本文网址：<a href="http://chengdu.cdxwcx.cn/article/dijhco.html">http://chengdu.cdxwcx.cn/article/dijhco.html</a>
</div>
</div>
</div>
<!--左边end-->
<!--右边begin-->
<div class="news_r">
<div class="news_t"><h2 class="h2">其他资讯</h2></div>
<div class="news_ul3">
<ul>
<li>
<a href="/article/dcpeppd.html">
<h3 class="h3">包含sap系统怎么清账的词条</h3>
</a>
</li><li>
<a href="/article/dcpehos.html">
<h3 class="h3">php数据排名 php实现排行榜</h3>
</a>
</li><li>
<a href="/article/dcpephc.html">
<h3 class="h3">腾讯云服务器地址在哪查看 腾讯云服务器地址在哪查看到</h3>
</a>
</li><li>
<a href="/article/dcpehdo.html">
<h3 class="h3">腾讯云服务器怎么存储文件 腾讯云服务器数据保存多久</h3>
</a>
</li><li>
<a href="/article/dcpehoh.html">
<h3 class="h3">cc域名怎么解析 cc域名后缀有价值吗</h3>
</a>
</li> </ul>
</div>
</div>
<!--右边end-->
<div class="c_l"></div>
</div>
</div>
<!--正文end-->
<!--尾部begin-->
<!--尾部begin-->
<footer>
<div class="f_bg">
<div class="wrap">
<div class="links">
<h2 class="h2">甜橘子解决方案<a href="/solution/" title="更多" class="more">更多+</a></h2>
<ul>
<li><a href="/solution/xiaochengxu.html" title="小程序定制解决方案">小程序定制解决方案</a></li>
<li><a href="/solution/qiyewz.html" title="企业网站建设解决方案">企业网站建设解决方案</a></li>
<li><a href="/solution/menhuwz.html" title="行业门户网站建设解决方案">行业门户网站建设解决方案</a></li>
<li><a href="/solution/yingxiaowz.html" title="营销型网站建设解决方案">营销型网站建设解决方案</a></li>
<li><a href="/solution/waimaowz.html" title="外贸网站建设解决方案">外贸网站建设解决方案</a></li>
<li><a href="/solution/pingpaiwz.html" title="品牌形象网站建设解决方案">品牌形象网站建设解决方案</a></li>
<li><a href="/solution/dianziwz.html" title="数码、电子产品网站建设解决方案">数码、电子产品网站建设解决方案</a></li>
<li><a href="/solution/jituanwz.html" title="集团、上市企业网站建设解决方案">集团、上市企业网站建设解决方案</a></li>
<li><a href="/solution/dichanwz.html" title="房地产、地产项目网站建设解决方案">房地产、地产项目网站建设解决方案</a></li>
<li><a href="/solution/zhubaowz.html" title="珠宝高端奢侈品网站建设解决方案">珠宝高端奢侈品网站建设解决方案</a></li>
</ul>
</div>
<div class="links w2">
<h2 class="h2">我们的实力<a href="/about/" title="更多" class="more">更多+</a></h2>
<ul>
<li>10年专业互联网服务经验</li>
<li>成都高端建站设计团队</li>
<li>资深行业分析策划</li>
<li>B2C营销型网站建设者</li>
<li>前沿视觉设计、研发能力</li>
<li>前端代码深度符合SEO优化</li>
<li>成都市高新技术企业证书</li>
<li>具有完备的项目管理</li>
<li>完善的售后服务体系</li>
<li>深厚的网络运营经验</li>
<li>时刻新技术研发能力</li>
<li>16个网站系统软件著作权</li>
</ul>
</div>
<div class="f_div2_r">
<h2 class="h2">关于甜橘子<a href="/about/" title="更多" class="more">更多+</a></h2>
甜橘子网站设计，为客户量身定制各类网站建设业务，包括企业型、电子商务型、行业门户型、品牌建立型等各类网站，实战经验丰富，成功案例众多。以客户利益为出发点，甜橘子网站制作为客户规划、定制符合企业需求、带有营销价值的建站方案，提供从网站前期定位分析策划到网站界面设计... </div>
<div class="c_l"></div>
</div>
<div class="wrap">
<div class="f_div3"> <span class="l">成都网站制作案例©2020 甜橘子设计 版权所有 | <a href="http://chengdu.cdxwcx.cn" target="_blank">甜橘子网站设计</a><a href="http://chengdu.cdxwcx.cn" target="_blank">chengdu.cdxwcx.cn</a></span> <span class="r"><a href="https://beian.miit.gov.cn/" target="_blank" rel="nofollow">蜀ICP备11025516号</a></span> </div>
</div>
</div>
</footer>
<!--尾部end-->
<script language="javascript" src="/Public/Home/js/foot.js"></script>
<!--尾部end-->
<!--侧边栏begin-->
<div class="side">
<ul>
<li id="qqonline_xbceo"><a href="tencent://message/?uin=631063699&Site=&Menu=yes"><i class="bgs1"></i>QQ咨询</a></li>
<li class="shangqiao"><a href="tencent://message/?uin=532337155&Site=&Menu=yes" title="在线咨询">
<div><i class="bgs2"></i>在线咨询</div>
</a></li>
<li class="sideewm"><i class="bgs3"></i>官方微信
<div class="ewBox"></div>
</li>
<li class="sideetel"><i class="bgs4"></i>联系电话
<div class="telBox">
<dd class="bgs1"><span>座机</span><a href="tel:028-86922220" target="_blank">028-86922220</a></dd>
<dd class="bgs2"><span>手机</span><a href="tel:13518219792" target="_blank">13518219792</a></dd>
</div>
</li>
<li class="sidetop" onClick="goTop()" id="sidetop"><i class="bgs6"></i>返回顶部</li>
</ul>
</div>
<script type="text/javascript">
$('.sideewm').hover(function(){
$('.ewBox').stop().fadeIn();
},function(){
$('.ewBox').stop().fadeOut();
});
$('.sideetel').hover(function(){
$('.telBox').stop().fadeIn();
},function(){
$('.telBox').stop().fadeOut();
});
$(".con_id img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
</script>
<!-- WPA start -->
<!-- WPA end -->
<!--侧边栏end-->
</body>
</html>