甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
看样子是mysql把值当成列名了，它们的区别就在于是否有单引号，所以改成这个试试
成都创新互联公司是一家集网站建设,安宁企业网站建设,安宁品牌网站建设,网站定制,安宁网站建设报价,网络营销,网络优化,安宁网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
= '%s'
作为一名 Web 开发人员，我第一次与数据库和 SQL 产生交集是使用对象关系映射（ORM）。我使用的是 Django 查询集 API，这个界面用户体验很好。之后，我转向数据工程方向，更多地利用数据集来构建 AI。我的职责是从用户应用程序中获取数据，并将其转换为数据科学家可利用的内容，这一过程通常称为 ETL(extract, transform and load)。
随着产业发展，生产系统中的数据非常混乱，需要进行大量转换才能用于构建 AI。有些 JSON 列每行模式都不相同，有些列包含混合数据类型，有些行有错误值。此外，还需要计算「用户成为访问者的时间」以及「他们在两次访问间的等待时间」等特征。当我着手清理、聚合和管理数据特征时，我想确定哪种语言最适合该任务。在之前的工作中我每天都使用 Python，我知道它可以完成工作。但是，这次经历使我了解到，Python 可以完成一项任务并不意味着这个任务就应该使用 Python 来做。
我对 SQL 的第一个误解是：SQL 无法进行复杂的转换
我们正在处理一个时间序列数据集，我们希望能够跟踪特定用户。隐私法规不允许获取用户访问的具体日期，因此我们决定将记录日期归一化为用户首次访问的日期（如首次访问后 5 天等）。对于我们的分析，重要的是要知道离上次访问过去了多久以及离首次访问过去了多久。A 有两个样本数据集，一个有大约 750 万行，大小为 6.5 GB，另一个有 55 万行，大小为 900MB。
我使用下面的 Python 和 SQL 代码先在较小的数据集上测试转换。Python 和 SQL 分别花费 591 秒和 40.9 秒完成了任务。这意味着 SQL 的速度是 Python 的大约 14.5 倍！
SQL 转换不仅速度更快，而且代码也更易读，更易于维护。在这里，我使用 lag 和 first_value 函数来查找用户 历史 记录中的特定记录（即分区）。然后使用 age 函数来确定两次访问间的时间差。
更有趣的是，当这些转换脚本应用于 6.5 GB 的数据集时，Python 完全失败。在 3 次尝试中，Python 崩溃了 2 次，第三次我的计算机完全崩溃...... 而 SQL 只耗时 226 秒。
更多信息参见：
我对 SQL 的第一个误解是：SQL 无法扁平化不规则的 json
对我来说，另一个改变是我意识到 Postgres 可以很好地处理 json。我最初认为用 Postgres 扁平化或解析 json 是不可能的...... 我不敢相信自己竟然如此愚蠢。如果你想关联 json 并且它的模式在行间是一致的，那么最好的选择可能就是使用 Postgres 内置功能来解析 json。
另一方面，我的样本数据集中一半 json 不是有效的，因此存储为文本。在这种情况下，我要么重新编码数据使其有效，或者删除无效的行。为此，我创建了一个名为 is_json 的新 SQL 函数，然后使用该函数来验证 WHERE 子句中的 json 是否有效。
不幸的是，我发现 user_json 具有不同的模式，具体取决于用户所使用的 app 版本。虽然从应用程序开发的角度来看这是有道理的，但是有条件地解析每行的每种可能性代价是很高昂的。难道我的最终归宿还是 Python？不不不！我在 Stack Overflow 上找到了一个由 Postgres 大神编写的 klin 函数（）。
这个函数能够成功地扁平化 json，轻松解决我的噩梦。
结语
有一种说法叫「Python 是做任何事情的第二好语言」。我相信这是真的，并且在某些情况下 Python 和「最好」语言之间的性能差异可以忽略不计。但是在本文介绍的情况下，Python 无法与 SQL 比肩。这些发现完全改变了我做 ETL 的方法。我现在的工作模式是「不要将数据移动到代码中，而是将代码移动到数据中」。Python 将数据移动到代码中，而 SQL 执行后者。更重要的是，我知道我只是触及了 SQL 和 postgres 的皮毛。我期待能发掘出更多出色的功能，使用分析库实现加速。
原文链接：
要看你的数据库里存的是什么格式的，如果是unicode的话：
sql="select * from t.branch where name='河南'".decode('utf8')
如果是gb系列编码的话:
sql="select * from t.branch where name='河南'".decode('utf8').encode('gb18030')
python把数据库查询结果写入文件的例子如下：
//以只读方式打开nodeset.txt
file_nodeset=open("nodeset.txt","r")
file_relationship=open("follower_followee.txt","a")
t=file_nodeset.readline()
while(''!=t):
cur=conn.cursor()
cur.execute("select * from follower_followee where followee_id=%s",t)
rows=cur.fetchall()//从数据库取出查询结果的一行
for row in rows: //开始循环处理
if (row[0] in nodeSet):
print('haha')
file_relationship.write('%s %s\n' % (row[0],row[1])) //写入文件
cur.close()
t=file_nodeset.readline()
file_nodeset.close()
file_relationship.close()
无论是什么工具，做数据分析的时候一定会涉及到两类工作：
这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程，从而对比其异同。
如图所示，所涉及的共有三个表：
可以看到，score表通过sno和student表连接、通过cno和course表连接。
另外，这张截图截自Excel，主要是为了方便后面Excel部分的讨论。
现在，我想要合并三张表，得到新表merge_table，表包含的列一次为：sno，cno，degree，sname，cname。
即，新表中包含score表的所有列，student表的sname列，以及course表的cname列。
为了讨论方便，先上结果：
首先，在 A17:E17 单元格创建所需列名，然后通过简单复制粘贴得到 A18:C28 这三列的数据。
D、E列的数据可以通过以下两种方法实现：
两种方法实现逻辑和结果都一样，但前者调用的时候比后者稍复杂。为了说明，D列数据的提取我使用了方法1，E列数据的提取我使用了方法2。
D列：
首先在 D18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 D28 。
E列：
在 E18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 E28 。
注意，如果要提取某个表中的多个列的数据，比如除了sname，我还想得到ssex、sbirthday和class的数据，由于这些列是一同储存在student表中的，用 VLOOPKUP() 显然更高效。
如果想要加快效率，还可以在原student表上新增一行，用数字x来表示第x列，然后在调用 VLOOPKUP() 时，直接把第三个参数指向这一行。
在合并关联表上，SQL非常便捷。实现的语句有两个（先创建或者导入原数据表）：
或
两种方法返回的结果相同，结果如下：
我用的MySQL，不知道为什么合并后行的顺序变了=。=
在Python中，首先导入 numpy 和 pandas 模块：
接着导入数据表。
之后通过以下语句实现merge_table表的建立：
结果如下：
现在假设score表多了一行数据：
如图所示，蓝色部分为多出的数据，且课程6-106在course表中不存在。请无视逻辑问题，主要是为了方便讨论:）
遇到这种情况，上述的实现方法会出现一个问题：
因为课程号6-106在course表里并不存在，所以函数在返回值的时候出错了。
解决的办法有一个，就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为：
如果函数计算结果错误，则返回0。
在SQL中，如果出现此类情况， LEFT JOIN 会返回NULL值：
如果想把NULL值替换为0，查询合并表的时候可以加上 isnull() 函数（MySQL中此函数写作 ifnull() ）：
如果函数计算结果错误，则返回0
返回结果和Excel的差不多，就不上图了。
Python中情况类似：
如果想把NaN值替换为0，只需要在创建merge_table表之后，添加一行语句：
返回结果也不上图了，和Excel的一样。
面对合并表中数据不匹配，SQL和Python中都可以在合并表的时候把多出项忽略不计，只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。
为了方便，现在做一个透视表，该表返回 选了课的同学的学号和其平均课程成绩 。
三个软件对于透视表的实现都很友好，并且效率相近。
Excel在数据透视表工具下把列各种拖拽就行了。
另外，Excel的数据透视表可以选择返回合计（Grand Total）或者不返回。
语句：
结果：
语句：
结果：
一般做透视表的最终目的是作图，毕竟一图胜千语。
从这个目的出发，Python比SQL、Excel更实用，一来Python比Excel作图高效很多，二来SQL不能作图。
通过上述对比可以发现，Excel合并关联表比SQL、Python要低效得多，而且在“数据不匹配”问题上解决得不好；而在另一方面，三者在创建透视表上表现相似，就看你习惯用哪个了:)
python可以利用pymysql模块操作数据库。
什么是 PyMySQL？
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。
PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。
PyMySQL 安装
在使用 PyMySQL 之前，我们需要确保 PyMySQL 已安装。
PyMySQL 下载地址：。
如果还未安装，我们可以使用以下命令安装最新版的 PyMySQL：
$ pip3 install PyMySQL
如果你的系统不支持 pip 命令，可以使用以下方式安装：
1、使用 git 命令下载安装包安装(你也可以手动下载)：
$ git clone cd PyMySQL/$ python3 setup.py install
2、如果需要制定版本号，可以使用 curl 命令来安装：
$ # X.X 为 PyMySQL 的版本号$ curl -L | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 现在你可以删除 PyMySQL* 目录
注意：请确保您有root权限来安装上述模块。
安装的过程中可能会出现"ImportError: No module named setuptools"的错误提示，意思是你没有安装setuptools，你可以访问 找到各个系统的安装方法。
Linux 系统安装实例：
$ wget python3 ez_setup.py
数据库连接
连接数据库前，请先确认以下事项：
您已经创建了数据库 TESTDB.
在TESTDB数据库中您已经创建了表 EMPLOYEE
EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
连接数据库TESTDB使用的用户名为 "testuser" ，密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码，Mysql数据库用户授权请使用Grant命令。
在你的机子上已经安装了 Python MySQLdb 模块。
如果您对sql语句不熟悉，可以访问我们的 SQL基础教程
实例：
以下实例链接 Mysql 的 TESTDB 数据库：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
# 使用 execute() 方法执行 SQL 查询 cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法获取单条数据.data = cursor.fetchone()
print ("Database version : %s " % data)
# 关闭数据库连接db.close()
执行以上脚本输出结果如下：
Database version : 5.5.20-log
创建数据库表
如果数据库连接存在我们可以使用execute()方法来为数据库创建表，如下所示创建表EMPLOYEE：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()
# 使用 execute() 方法执行 SQL，如果表存在则删除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用预处理语句创建表sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 关闭数据库连接db.close()
数据库插入操作
以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 插入语句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 执行sql语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()except: # 如果发生错误则回滚
db.rollback()
# 关闭数据库连接db.close()
以上例子也可以写成如下形式：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 插入语句sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \
LAST_NAME, AGE, SEX, INCOME) \
VALUES ('%s', '%s', %s, '%s', %s)" % \ ('Mac', 'Mohan', 20, 'M', 2000)try: # 执行sql语句
cursor.execute(sql)
# 执行sql语句
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭数据库连接db.close()
以下代码使用变量向SQL语句中传递参数:
..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, %s)' % \ (user_id, password))..................................
数据库查询操作
Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。
fetchone(): 该方法获取下一个查询结果集。结果集是一个对象
fetchall(): 接收全部的返回结果行.
rowcount: 这是一个只读属性，并返回执行execute()方法后影响的行数。
实例：
查询EMPLOYEE表中salary（工资）字段大于1000的所有数据：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 查询语句sql = "SELECT * FROM EMPLOYEE \
WHERE INCOME %s" % (1000)try: # 执行SQL语句
cursor.execute(sql)
# 获取所有记录列表
results = cursor.fetchall()
for row in results: fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 打印结果
print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \ (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
# 关闭数据库连接db.close()
以上脚本执行结果如下：
fname=Mac, lname=Mohan, age=20, sex=M, income=2000
数据库更新操作
更新操作用于更新数据表的的数据，以下实例将 TESTDB 表中 SEX 为 'M' 的 AGE 字段递增 1：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 更新语句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭数据库连接db.close()
删除操作
删除操作用于删除数据表中的数据，以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据：
实例(Python 3.0+)
#!/usr/bin/python3
import pymysql
# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法获取操作游标 cursor = db.cursor()
# SQL 删除语句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: # 执行SQL语句
cursor.execute(sql)
# 提交修改
db.commit()except: # 发生错误时回滚
db.rollback()
# 关闭连接db.close()
执行事务
事务机制可以确保数据一致性。
事务应该具有4个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。
原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。
一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
隔离性（isolation）。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。
持久性（durability）。持续性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。
实例
实例(Python 3.0+)
# SQL删除记录语句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: # 执行SQL语句
cursor.execute(sql)
# 向数据库提交
db.commit()except: # 发生错误时回滚
db.rollback()
对于支持事务的数据库， 在Python数据库编程中，当游标建立之时，就自动开始了一个隐形的数据库事务。
commit()方法游标的所有更新操作，rollback（）方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。
错误处理
DB API中定义了一些数据库操作的错误及异常，下表列出了这些错误和异常:
异常
描述
Warning 当有严重警告时触发，例如插入数据是被截断等等。必须是 StandardError 的子类。
Error 警告以外所有其他错误类。必须是 StandardError 的子类。
InterfaceError 当有数据库接口模块本身的错误（而不是数据库的错误）发生时触发。 必须是Error的子类。
DatabaseError 和数据库有关的错误发生时触发。 必须是Error的子类。
DataError 当有数据处理时的错误发生时触发，例如：除零错误，数据超范围等等。 必须是DatabaseError的子类。
OperationalError 指非用户控制的，而是操作数据库时发生的错误。例如：连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。
IntegrityError 完整性相关的错误，例如外键检查失败等。必须是DatabaseError子类。
InternalError 数据库的内部错误，例如游标（cursor）失效了、事务同步失败等等。 必须是DatabaseError子类。
ProgrammingError 程序错误，例如数据表（table）没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。
NotSupportedError 不支持错误，指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数，然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。