python——python连接oracle数据库,并且比较数据之间的差别
前几天同事问我一个问题,如何找出两份数据之间的不一样的值。这样描述问题不太好理解,举个例子:两份数据是从oracle中两个不同的表读出来的,两份数据均有四个字段,其中两个字段是相同的:日期和代码,另外两个字段名字不同,但代表的含义是一致的,都是代表最高价和最低价。现在想要找出两份数据相同日期和代码的记录是否最高价和最低价一致,有不一致的就找出来。
·
前几天同事问我一个问题,如何找出两份数据之间的不一样的值。这样描述问题不太好理解,举个例子:
两份数据是从oracle中两个不同的表读出来的,两份数据均有四个字段,其中两个字段日期和代码,另外两个字段代表最高价和最低价。现在想要找出两份数据相同日期和代码的记录是否最高价和最低价一致,有不一致的就找出来。
还原一下场景:
首先新建两个Dataframe:
import pandas as pd
df1 = pd.DataFrame({'date': ['2010', '2010', '2010', '2010', '2010', '2010'], 'symbol': [1, 2, 3, 4, 5, 6],
'maxprice': [100, 200, 300, 400, 500, 600], 'minprice': [10, 20, 30, 40, 50, 60]})
df2 = pd.DataFrame({'date': ['2010', '2010', '2010', '2010', '2010', '2010','2010'], 'symbol': [1, 2, 3, 4, 5, 6,7],
'maxprice': [100, 200, 300, 400, 500, 600,700], 'minprice': [10, 20, 30, 40, 50, 60,70]})
df1和df2如下:
思考了一下,用pandas的Dataframe可以很轻松解决。
首先是取数:
# encoding: utf-8
import pandas as pd
import cx_Oracle
from string import Template
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
database_oracle1 = {'user': 'xxx', 'password': 'xxx', 'ip': 'xxxx', 'port': 'xxxx','name': 'xxx'}
conn_oracle1 = cx_Oracle.connect(database_oracle1['user'], database_oracle1['password'],
database_oracle1['ip'] + ':' + database_oracle1['port'] + '/' + database_oracle1['name'])
query = "select A,B,C,D from table where the_year = '$year'"
query = Template(query)
query = query.substitute(year='2010')
df1 = pd.read_sql_query(query, conn_oracle1)这里只给出取一份数据的样例,假设我们两份数据都取出来了,并且就是上面定义的df1和df2。
现在需要比较两份数据的异同。
使用pandas的merge函数,可以轻松解决。
df3 = pd.merge(df1, df2, how='inner', on=['date', 'symbol'])df3如下:
merge的使用方式和sql语言的join是一致的。因为此处merge的方式选择的是inner,所以只有5行。
随后怎么处理就很清楚了。
df4 = pd.DataFrame()
for i in range(1, 3):
df4[i] = df3.icol(i)-df3.icol(i+3)上面数据没有造好,所以结果都是0。
各位可以考虑一下如何优化代码,适用性能更强一些,我这里就不写了。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)