本篇文章为大家展示了利用python如何实现一个解析protobuf文件功能,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
创新互联长期为上1000+客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为贡嘎企业提供专业的网站设计制作、网站设计,贡嘎网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。ply使用
简介
如果你不是从事编译器或者解析器的开发工作,你可能从未听说过ply。ply是基于python的lex和yacc,而它的作者就是大名鼎鼎Python Cookbook, 3rd Edition的作者。可能有些朋友就纳闷了,我一个业务开发怎么需要自己写编译器呢,各位编程大牛说过,中央决定了,要多尝试新的东西。而且了解一些语法解析的姿势,以后自己解析格式复杂的日志或者数学公式,也是非常有帮助的。
针对没有编译基础的童鞋,强烈建议了解一些文法相关的基本概念。轮子哥强烈推荐的parsing techniques以及编译龙虎鲸书,个人感觉都不适合入门学习,在此推荐胡伦俊的编译原理(电子工业出版社),针对概念的例子讲解很多,很适合入门学习。当然也不需要特别深入研究,知道词法分析和语法分析的相关概念和方法就可以愉快的使用ply了。文档链接: http://www.pchou.info/open-source/2014/01/18/52da47204d4cb.html
为了方便大家上手,以求解多元一次方程组为例,讲解一下ply的使用。
例子说明
输入是多个格式为x + 4y - 3.2z = 7的一次方程,为了让例子尽可能简单,做如下限制:
学过线性代数的童鞋肯定知道,只需要将方程组抽象为矩阵,按照线性代数的方法就可以解决。因此只需要将输入方程组解析成右边的矩阵和变量列表即可,剩下的求解过程就可以交给线性代数相关的工具解决。
词法解析
ply中的lex来做词法解析,词法解析的理论有一大堆,但是lex用起来却非常直观,就是用正则表达式的方式将文本字符串解析为一个一个的token,下面的代码就是用lex实现词法解析。
from ply import lex # 空格 制表符 回车这些不可见符号都忽略 t_ignore = ' \t\r' # 解析错误的时候直接抛出异常 def t_error(t): raise Exception('error {} at line {}'.format(t.value[0], t.lineno)) # 记录行号,方便出错定位 def t_newline(t): r'\n+' t.lexer.lineno += len(t.value) # 支持c++风格的\\注释 def t_ignore_COMMENT(t): r'\/\/[^\n]*' # 变量的命令规则 def t_VARIABLE(t): r'[a-z]+' return t # 常数命令规则 def t_CONSTANT(t): r'\d+(\.\d+)?' t.value = float(t.value) return t # 输入中支持的符号头token,当然也支持t_PLUS = r'\+'的方式将加号定义为token literals = '+-,;=' tokens = ('VARIABLE', 'CONSTANT') if __name__ == '__main__': data = ''' -x + 2.4y + z = 0; //this is a comment 9y - z + 7.2x = -1; y - z + x = 8 ''' lexer = lex.lex() lexer.input(data) while True: tok = lexer.token() if not tok: break print tok