python 2.7 urlopen 函数,如何提高下载速度.

可以使用多进程或多线程并发下载。其实你的方法已经是多进程的一种了。

成都创新互联专注骨干网络服务器租用十余年，服务更有保障！服务器租用，川西大数据中心 成都服务器租用，成都服务器托管，骨干网络带宽，享受低延迟，高速访问。灵活、实现低成本的共享或公网数据中心高速带宽的专属高性能服务器。

python中有多进程模块multiprocessing和多线程multithreading。

思路是这样，将需要下载的连接送入队列，然后各个进程（或线程）从队列里拿任务然后下载。前面的两个类库都提供进程、线程安全的队列。

楼下给了个多线程的示例，这里我给一个稍微复杂点的进程的示例。其实线程和进程库的接口基本是一致的。

#!/usr/bin/env python

# encoding=utf-8

# test.py

from multiprocessing import Queue, Process

from Queue import Empty

import urllib

import time

urls = [line.strip() for line in open('urls.txt')]

queue = Queue(1024)

for url in urls:

queue.put(url)

def download():

while True:

try:

url = queue.get()

f = urllib.urlopen(url)

r = f.read()

# 这里保存你下载的文件

except Empty:

time.sleep(5)

except Exception, e:

print 'download error: %s' % e

for i in range(10):

p = Process(target=download)

p.start()

p.join()

使用方法：编辑一个文件urls.txt，每行一个url。然后：

nohup ./test.py 

结束进程则需要找到它的进程号，然后kill -9

望采纳，谢谢支持！

python常用函数包有哪些？

一些python常用函数包：

1、Urllib3

Urllib3是一个 Python 的 HTTP 客户端，它拥有 Python 标准库中缺少的许多功能：

线程安全

连接池

客户端 SSL/TLS 验证

使用分段编码上传文件

用来重试请求和处理 HTTP 重定向的助手

支持 gzip 和 deflate 编码

HTTP 和 SOCKS 的代理支持

2、Six

six 是一个是 Python 2 和 3 的兼容性库。这个项目旨在支持可同时运行在 Python 2 和 3 上的代码库。它提供了许多可简化 Python 2 和 3 之间语法差异的函数。

3、botocore、boto3、s3transfer、awscli

Botocore是 AWS 的底层接口。Botocore是 Boto3 库（#22）的基础，后者让你可以使用 Amazon S3 和 Amazon EC2 一类的服务。Botocore 还是 AWS-CLI 的基础，后者为 AWS 提供统一的命令行界面。

S3transfer（#7）是用于管理 Amazon S3 传输的 Python 库。它正在积极开发中，其介绍页面不推荐人们现在使用，或者至少等版本固定下来再用，因为其 API 可能发生变化，在次要版本之间都可能更改。Boto3、AWS-CLI和其他许多项目都依赖s3transfer。

4、Pip

pip是“Pip Installs Packages”的首字母递归缩写。

pip很容易使用。要安装一个包只需pip install package name即可，而删除包只需pip uninstall package name即可。

最大优点之一是它可以获取包列表，通常以requirements.txt文件的形式获取。该文件能选择包含所需版本的详细规范。大多数 Python 项目都包含这样的文件。

如果结合使用pip与virtualenv（列表中的 #57），就可以创建可预测的隔离环境，同时不会干扰底层系统，反之亦然。

5、Python-dateutil

python-dateutil模块提供了对标准datetime模块的强大扩展。我的经验是，常规的Python datetime缺少哪些功能，python-dateutil就能补足那一块。

6、Requests

Requests建立在我们的 #1 库——urllib3基础上。它让 Web 请求变得非常简单。相比urllib3来说，很多人更喜欢这个包。而且使用它的最终用户可能也比urllib3更多。后者更偏底层，并且考虑到它对内部的控制级别，它一般是作为其他项目的依赖项。

7、Certifi

近年来，几乎所有网站都转向 SSL，你可以通过地址栏中的小锁符号来识别它。加了小锁意味着与该站点的通信是安全和加密的，能防止窃听行为。

8、Idna

根据其 PyPI 页面，idna提供了“对 RFC5891 中指定的应用程序中国际化域名（IDNA）协议的支持。”

IDNA的核心是两个函数：ToASCII和ToUnicode。ToASCII会将国际 Unicode 域转换为 ASCII 字符串。ToUnicode则逆转该过程。在IDNA包中，这些函数称为idna.encode()和idna.decode()

9、PyYAML

YAML是一种数据序列化格式。它的设计宗旨是让人类和计算机都能很容易地阅读代码——人类很容易读写它的内容，计算机也可以解析它。

PyYAML是 Python 的YAML解析器和发射器，这意味着它可以读写YAML。它会把任何 Python 对象写成YAML：列表、字典，甚至是类实例都包括在内。

10、Pyasn1

像上面的IDNA一样，这个项目也非常有用：

ASN.1 类型和 DER/BER/CER 编码（X.208）的纯 Python 实现

所幸这个已有数十年历史的标准有很多信息可用。ASN.1是 Abstract Syntax Notation One 的缩写，它就像是数据序列化的教父。它来自电信行业。也许你知道协议缓冲区或 Apache Thrift？这就是它们的 1984 年版本。

11、Docutils

Docutils是一个模块化系统，用来将纯文本文档处理为很多有用的格式，例如 HTML、XML 和 LaTeX 等。Docutils能读取reStructuredText格式的纯文本文档，这种格式是类似于 MarkDown 的易读标记语法。

12、Chardet

你可以用chardet模块来检测文件或数据流的字符集。比如说，需要分析大量随机文本时，这会很有用。但你也可以在处理远程下载的数据，但不知道用的是什么字符集时使用它。

13、RSA

rsa包是一个纯 Python 的 RSA 实现。它支持：

加密和解密

签名和验证签名

根据 PKCS#1 1.5 版生成密钥

它既可以用作 Python 库，也能在命令行中使用。

14、Jmespath

JMESPath，发音为“James path”，使 Python 中的 JSON 更容易使用。它允许你声明性地指定如何从 JSON 文档中提取元素。

15、Setuptools

它是用于创建 Python 包的工具。不过，其文档很糟糕。它没有清晰描述它的用途，并且文档中包含无效链接。最好的信息源是这个站点，特别是这个创建 Python 包的指南。

16、Pytz

像dateutils一样，这个库可帮助你处理日期和时间。有时候，时区处理起来可能很麻烦。幸好有这样的包，可以让事情变得简单些。

17、Futures

从 Python 3.2 开始，python 提供current.futures模块，可帮助你实现异步执行。futures 包是该库适用于 Python 2 的 backport。它不适用于 Python3 用户，因为 Python 3 原生提供了该模块。

18、Colorama

使用 Colorama，你可以为终端添加一些颜色：

更多Python知识请关注Python自学网

python函数

参数match是正则表达式匹配后的结果，match.group(1)就是返回结果1。

import re

m = re.search('(^.+?)\n(.+?$)', 'print "111"\nprint "222"')

print m.group(1)#print "111"eval()一般是用来执行字符串代码，也就是命令注入。

其中的参数code：就是要执行的代码，比如print

"111"

其中的参数scope：是code执行范围的字典.

由于匹配的字符串代码经常有格式对齐等问题，所以加一个try

except来捕捉。

exec跟eval类似，可以执行代码，但是只是一个语法，没有返回值。

exec

code

in

scope就是执行code作用范围为scope字典

Python常用函数三有哪些？这7个函数使用频率最高，总算搞明白了

1.1 例如：print(hex(2))案例

1.2 输出函数：print(hex(2))

1.3 输出结果：0x2

1.4 解析说明：返回16进制的数。

2.1 例如：print(chr(10))案例

2.2 输出函数：print(chr(10))

2.3 输出结果：0o12

2.4 解析说明：返回当前整数对应的ASCll码

3.1 例如：print(ord("b"))案例

3.2 输出函数：print(ord("b"))

3.3 输出结果：98

3.4 解析说明：返回当前ASCll码的10进制数

4.1 例如：print(chr(97))

4.2 输出函数：print(chr(97))

4.3 输出结果：b

4.4 解析说明：返回当前ASCll码的10进制数。

案例一：给你一个字符串,s = 'hello kitty'

1.1 输出函数：print(s.capitalize())

1.2 输出结果：0x2

1.3 解析说明：返回16进制的数。

2.1输出函数：print(s.replace('kitty','kuang'))

2.2 输出结果：hello kuang

2.3 解析说明：替换功能，将kitty换成kuang。

2.4 输出函数：print(s.replace('4','KK'))

2.5 输出结果：12KK12KK

2.6 解析说明：所有的4都替换成KK

2.7 输出函数：print(s.replace('4','KK'))

2.8 输出结果：12KK12KK124

2.9 解析说明：将前两个的4替换成go

案例一：给你一个字符串，ip = '192.168.1.1'

3.1 输出函数：print(ip.split(','))

3.2 输出结果：['192.168.1.1']

3.3 解析说明：将字符串分割成列表

案例一：给你一个字符串，ip = '192.168.1.1'

3.3 输出函数：print(ip.split(',',2))

3.4 输出结果：['192.168.1.1']

3.5 解析说明：从第二个开始分割成列表

如何查看python库函数的代码？

python 所有版本的源代码可以在这里下载到：

python没有像matlab那样的函数可以直接查看某个函数的源代码，只有去下载整个源代码查看了，不过找起来应该也不难，另外你也可以写一个小程序来查看对应函数的源代码。

Python的函数调用方式是通过import来调用的对应的py文件。

库函数有内建函数build_in（会写python的时候已经可以不用看了，不会写的时候看也看不懂），和通过pip直接下载或者github上下载再安装的函数。本质上都是py文件。后者有时候由于环境的不同需要自行修改（这种情况较少），一般在安装路径下"\Lib\site-packages"文件夹中存在。

学习库函数最好的方法是看网上官方的帮助文档，此外还可以通过python自带的dir()方法查看所有的属性和方法，或者用help()方法查看帮助文档（部分别人造的轮子不一定有）。

另外推荐使用ipython，Python创始人之一的成员编写的交互式系统。

python常用函数

1、complex()

返回一个形如 a+bj 的复数，传入参数分为三种情况：

参数为空时，返回0j；参数为字符串时，将字符串表达式解释为复数形式并返回；参数为两个整数(a,b)时，返回 a+bj；参数只有一个整数 a 时，虚部 b 默认为0，函数返回 a+0j。

2、dir()

不提供参数时，返回当前本地范围内的名称列表；提供一个参数时，返回该对象包含的全部属性。

3、divmod(a,b)

a -- 代表被除数，整数或浮点数；b -- 代表除数，整数或浮点数；根据 除法运算 计算 a,b 之间的商和余数，函数返回一个元组(p,q) ，p 代表商 a//b ，q 代表余数 a%b。

4、enumerate(iterable,start=0)

iterable -- 一个可迭代对象，列表、元组序列等；start -- 计数索引值，默认初始为0‘该函数返回枚举对象是个迭代器，利用 next() 方法依次返回元素值，每个元素以元组形式存在，包含一个计数元素(起始为 start )和 iterable 中对应的元素值。

分享标题：python函数速查下载 python函数查询手册
转载来源：http://chengdu.cdxwcx.cn/article/hgddgi.html