成都网站建设设计

将想法与焦点和您一起共享

python批量爬取xml文件-创新互联

1.网站链接:https://www.cnvd.org.cn/shareData/list

新蔡网站制作公司哪家好,找成都创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。成都创新互联2013年至今到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联

2.需要下载的页面文件:
python批量爬取xml文件

3.该页面需要登陆,然后批量下载共享漏洞文件,我们就通过cookie来实现。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
Date: 2019-08-17
Author: Bob
Description: python爬取xml文件
"""

import requests
from bs4 import BeautifulSoup

def cnvd_spider():
    url = 'https://www.cnvd.org.cn/shareData/list?max=240&offset=0'

    headers = {
        "Cookie": "__jsluid_s=65d5e7902f04498e89b16e93fb010b3c; __jsluid_h=1ab428e655aee36ac3c9835db29b6714; JSESSIONID=91BB91B37543D365AA64895EDFCD828F; __jsl_clearance=1566003116.655|0|CYPFsKirGYBG12qtoOrS5Kq1rM0%3D",
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",
    }

    html = requests.get(url=url, headers=headers).text
    soup = BeautifulSoup(html, 'lxml')
    links = soup.find_all('a', attrs={'title': '下载xml'})

    for link in links:
        url = 'https://www.cnvd.org.cn' + link.get('href')
        file_name = link.get_text()
        html_data = requests.get(url=url, headers=headers)
        with open(file_name, 'w') as f:
            f.write(html_data.content)

if __name__ == '__main__':
    cnvd_spider()

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


当前文章:python批量爬取xml文件-创新互联
转载注明:http://chengdu.cdxwcx.cn/article/desdos.html