今天小编给大家分享一下python scrapy.Request发送请求的方式是什么的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
目前创新互联已为近1000家的企业提供了网站建设、域名、网络空间、网站运营、企业网站设计、彭阳网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
说明
1、使用scrapy.Request()指定method,body参数发送post请求。
2、使用scrapy.FormRequest()发送post请求,也可以发送表格和ajax请求。
实例
import scrapy class Git2Spider(scrapy.Spider): name = 'git2' allowed_domains = ['github.com'] start_urls = ['http://github.com/login'] def parse(self, response): username = 'GitLqr' password = 'balabala' # 从登录页面响应中解析出post数据 token = response.xpath('//input[@name="authenticity_token"]/@value').extract_first() post_data = { 'commit': 'Sign in', 'authenticity_token': token, 'login': username, 'password': password, 'webauthn-support': 'supported', } print(post_data) # 针对登录url发送post请求 yield scrapy.FormRequest( url='https://github.com/session', callback=self.after_login, formdata=post_data ) def after_login(self, response): yield scrapy.Request('https://github.com/GitLqr', callback=self.check_login) def check_login(self, response): print(response.xpath('/html/head/title/text()').extract_first())
以上就是“python scrapy.Request发送请求的方式是什么”这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注创新互联行业资讯频道。