甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
本文主要围绕以xpath和lxml库进行展开：
为永城等地区用户提供了全套网页设计制作服务，及永城网站建设行业解决方案。主营业务为网站制作、成都网站建设、永城网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符
二、lxml的安装、lxml的使用、lxml案例
一、xpath
1.xpath概念
XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式在 XML 文档中进行导航 。XPath 包含一个标准函数库 。XPath 是 XSLT 中的主要元素 。XPath 是一个 W3C 标准 。
2.xpath节点
xpath有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。
节点关系：父、子、兄弟、先辈、后辈。
3.xpath语法
xpath语法在W3c网站上有详细的介绍，这里截取部分知识，供大家学习。
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。下面列出了最有用的路径表达式：
在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：
谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。
在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
XPath 通配符可用来选取未知的 XML 元素。
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
通过在路径表达式中使用"|"运算符，您可以选取若干个路径。
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
4.xpath 轴
轴可定义相对于当前节点的节点集。
5.xpath运算符
下面列出了可用在 XPath 表达式中的运算符：
好了，xpath的内容就这么多了。接下来我们要介绍一个神器lxml，他的速度很快，曾经一直是我使用beautifulsoup时最钟爱的解析器，没有之一，因为他的速度的确比其他的html.parser 和html5lib快了许多。
二、lxml
1.lxml安装
lxml 是一个xpath格式解析模块，安装很方便，直接pip install lxml 或者easy_install lxml即可。
2.lxml 使用
lxml提供了两种解析网页的方式，一种是你解析自己写的离线网页时，另一种 则是解析线上网页。
导入包：
1.解析离线网页：
2.解析在线网页：
那么我们怎么获取这些标签和标签对应的属性值了，很简单，首先获取标签只需你这样做：
然后我们可以，比方说，你要获取a标签内的文本和它的属性href所对应的值，有两种方法，
1.表达式内获取
2.表达式外获取
这样就完成了获取，怎么样，是不是很简单了，哈哈哈。
下面再来lxml的解析规则：
3.lxml案例
为了偷懒，我决定还是采用urllib那篇文章的代码，哈哈哈，机智如我。
lambda是个匿名函数而已， 这里就是产生了字典{True:f1, False f2}，字典的两个值就是2个函数，f1 就是shutil.copy(...)，f2就是copytree了，你可以理解成两个函数指针。
bresult是个true或者false的值，后面[bresult]()：就表示，根据bresult的结果调用前面字典里面对应的两个函数。bresult在这里是字典的key。函数在这里是字典的value.
刚学用Python的时候，特别是看一些库的源码时，经常会看到func(*args, **kwargs)这样的函数定义，这个*和**让人有点费解。其实只要把函数参数定义搞清楚了，就不难理解了。
先说说函数定义，我们都知道，下面的代码定义了一个函数funcA
def funcA():
pass
显然，函数funcA没有参数（同时啥也不干:D）。
下面这个函数funcB就有两个参数了，
def funcB(a, b):
print a
print b
调用的时候，我们需要使用函数名，加上圆括号扩起来的参数列表，比如 funcB(100, 99)，执行结果是：
100
99
很明显，参数的顺序和个数要和函数定义中一致，如果执行funcB(100)，Python会报错的：
TypeError: funcB() takes exactly 2 arguments (1 given)
我们可以在函数定义中使用参数默认值，比如
def funcC(a, b=0):
print a
print b
在函数funcC的定义中，参数b有默认值，是一个可选参数，如果我们调用funcC(100)，b会自动赋值为0。
OK，目前为止，我们要定义一个函数的时候，必须要预先定义这个函数需要多少个参数（或者说可以接受多少个参数）。一般情况下这是没问题的，但是也有在定义函数的时候，不能知道参数个数的情况（想一想C语言里的printf函数），在Python里，带*的参数就是用来接受可变数量参数的。看一个例子
def funcD(a, b, *c):
print a
print b
print "length of c is: %d " % len(c)
print c
调用funcD(1, 2, 3, 4, 5, 6)结果是
1
2
length of c is: 4
(3, 4, 5, 6)
我们看到，前面两个参数被a、b接受了，剩下的4个参数，全部被c接受了，c在这里是一个tuple。我们在调用funcD的时候，至少要传递2个参数，2个以上的参数，都放到c里了，如果只有两个参数，那么c就是一个empty tuple。
好了，一颗星我们弄清楚了，下面轮到两颗星。
上面的例子里，调用函数的时候，传递的参数都是根据位置来跟函数定义里的参数表匹配的，比如funcB(100, 99)和funcB(99, 100)的执行结果是不一样的。在Python里，还支持一种用关键字参数(keyword argument)调用函数的办法，也就是在调用函数的时候，明确指定参数值付给那个形参。比如还是上面的funcB(a, b)，我们通过这两种方式调用
funcB(a=100, b=99)
和
funcB(b=99, a=100)
结果跟funcB(100, 99)都是一样的，因为我们在使用关键字参数调用的时候，指定了把100赋值给a，99赋值给b。也就是说，关键字参数可以让我们在调用函数的时候打乱参数传递的顺序！
另外，在函数调用中，可以混合使用基于位置匹配的参数和关键字参数，前题是先给出固定位置的参数，比如
def funcE(a, b, c):
print a
print b
print c
调用funcE(100, 99, 98)和调用funcE(100, c=98, b=99)的结果是一样的。
好了，经过以上铺垫，两颗星总算可以出场了：
如果一个函数定义中的最后一个形参有 ** （双星号）前缀,所有正常形参之外的其他的关键字参数都将被放置在一个字典中传递给函数，比如：
def funcF(a, **b):
print a
for x in b:
print x + ": " + str(b[x])
调用funcF(100, c='你好', b=200)，执行结果
100
c: 你好
b: 200
大家可以看到，b是一个dict对象实例，它接受了关键字参数b和c。
1.1 例如：print(hex(2))案例
1.2 输出函数：print(hex(2))
1.3 输出结果：0x2
1.4 解析说明：返回16进制的数。
2.1 例如：print(chr(10))案例
2.2 输出函数：print(chr(10))
2.3 输出结果：0o12
2.4 解析说明：返回当前整数对应的ASCll码
3.1 例如：print(ord("b"))案例
3.2 输出函数：print(ord("b"))
3.3 输出结果：98
3.4 解析说明：返回当前ASCll码的10进制数
4.1 例如：print(chr(97))
4.2 输出函数：print(chr(97))
4.3 输出结果：b
4.4 解析说明：返回当前ASCll码的10进制数。
案例一：给你一个字符串,s = 'hello kitty'
1.1 输出函数：print(s.capitalize())
1.2 输出结果：0x2
1.3 解析说明：返回16进制的数。
2.1输出函数：print(s.replace('kitty','kuang'))
2.2 输出结果：hello kuang
2.3 解析说明：替换功能，将kitty换成kuang。
2.4 输出函数：print(s.replace('4','KK'))
2.5 输出结果：12KK12KK
2.6 解析说明：所有的4都替换成KK
2.7 输出函数：print(s.replace('4','KK'))
2.8 输出结果：12KK12KK124
2.9 解析说明：将前两个的4替换成go
案例一：给你一个字符串，ip = '192.168.1.1'
3.1 输出函数：print(ip.split(','))
3.2 输出结果：['192.168.1.1']
3.3 解析说明：将字符串分割成列表
案例一：给你一个字符串，ip = '192.168.1.1'
3.3 输出函数：print(ip.split(',',2))
3.4 输出结果：['192.168.1.1']
3.5 解析说明：从第二个开始分割成列表
以python 3.8.5150.0版本为例，python中eval函数作用如下：
1、计算字符串中有效的表达式，并返回结果。
2、将字符串转成相应的对象（如list、tuple、dict和string之间的转换）。
3、将利用反引号转换的字符串再反转回对象。
参数解析：
expression：这个参数是一个字符串，python会使用globals字典和locals字典作为全局和局部的命名空间，将expression当作一个python表达式进行解析和计算。
globals：这个参数控制的是一个全局的命名空间，也就是我们在计算表达式的时候可以使用全局的命名空间中的函数，如果这个参数被提供了。
并且没有提供自定义的builtins(python的内建模块)，那么会将当前环境中的builtins拷贝到提供的globals里，然后进行计算。如果globals没有被提供，则使用python的全局命名空间。
locals：这个参数控制的是一个局部的命名空间，和globals类似，不过当它和globals中有重复的部分时，locals里的定义会覆盖掉globals中的，也就是说当globals和locals中有冲突的部分时，locals说了算，它有决定权，以它的为准。如果locals没有被提供的话，则默认为globals。
python中的函数，大多需要配置参数，以下是几种函数的参数类型：
1.必备参数：以正确的顺序、个数传入函数。调用时的参数情况要和声明时一样。最常用的情况。
def tplink(a,b):
c=a+b+b
return c
tplink(4,2)
2.关键字参数:使用关键字参数允许函数调用时参数的顺序和声明时不一致，因为python解析器会在调用函数时，用参数名匹配参数值。
def tplink(age1,age2):
ageall=age1+age2+age2
return ageall
tplink(age2=4,age1=2)
3.默认参数：默认某个参数的取值
def tplink(age1,age2=5):
ageall=age1+age2+age2
return ageall
tplink(age1=4)
4.不定长参数：在声明时并不确定 调用时的参数数量。这种情况，可以用不定长参数进行解决，具体操作是在参数名前用*。
但不能和 关键字参数并用。一般在正常参数arg之后。
*args、**kwargs的定义：
这两个都是python中的不定长参数，又称为可变参数。
*args 表示任何多个无名参数，它是一个 tuple ；
**kwargs 表示关键字参数，它是一个dict。
同时使用 * args和 ** kwargs 时，必须 * args参数列要在 ** kwargs前。且都在arg之后。
函数在调用时，会根据顺序，看是否放进 *args 或者 **kwargs中。
具体可根据实际情况使用，可以 更方便灵活的接收信息。