转：https://blog.csdn.net/wulantian/article/details/53064123

用python把mysql数据库的数据导入到hive中，该过程主要是通过python语言操作sqoop.

#! /usr/bin/env python

# coding:utf-8

# --------------------------------

# Created by coco on 16/2/23

# ---------------------------------

# Comment: 主要功能说明 :初始化业务数据库

import os

import pyhs2

conn=pyhs2.connect(host="192.168.8.94",port=10000,authMechanism="PLAIN",user="hdfs")

mysql_info={"host":"192.168.8.94","port":3306,"user":"root","passwd":"gc895316"}

print mysql_info

def run_hive_query(sql):

with conn.cursor() as cursor:

cursor.execute(sql)

return cursor.fetchall()

def mysql_to_hive(host,port,user,passwd,database,table):

#os.system("hadoop fs -rm -r /user/task/%s"%table)

if [database] not in run_hive_query("show databases"):

with conn.cursor() as cursor:

cursor.execute("create database " +database)

with conn.cursor() as cursor:

cursor.execute("use "+database)

if [table] not in run_hive_query("show tables"):

os.system("sqoop import --connect jdbc:mysql://%s:%s/%s --username %s --password %s --table %s --hive-database %s -m 10 --create-hive-table --hive-import --hive-overwrite "%(

host,port,database,user,passwd,table,database))

else:

os.system("sqoop import --connect jdbc:mysql://%s:%s/%s --username %s --password %s --table %s --hive-database %s -m 10 --hive-import --hive-overwrite "%(

host,port,database,user,passwd,table,database))

mysql_to_hive(mysql_info["host"],mysql_info["port"],mysql_info["user"],mysql_info["passwd"].replace("(","\("),"wwn","cm_vip")

使用sqoop把mysql数据导入hive

使用sqoop把mysql数据导入hive export HADOOP_COMMON_HOME=/hadoop export HADOOP_MAPRED_HOME=/hadoop   cp /hive ...

Sqoop将mysql数据导入hbase的血与泪

Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天)  版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: https://my.oschina.net/yunsh ...

使用 sqoop 将mysql数据导入到hive表(import)

Sqoop将mysql数据导入到hive表中 先在mysql创建表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` varchar() ...

使用 sqoop 将mysql数据导入到hdfs(import)

Sqoop 将mysql 数据导入到hdfs(import) 1.创建mysql表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` va ...

sqoop将mysql数据导入hbase、hive的常见异常处理

原创不易,如需转载,请注明出处https://www.cnblogs.com/baixianlong/p/10700700.html,否则将追究法律责任!!! 一.需求: 1.将以下这张表(test_ ...

使用sqoop将mysql数据导入到hadoop

hadoop的安装配置这里就不讲了. Sqoop的安装也很简单. 完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下): ...

sqoop导出mysql数据进入hive错误

看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题, 最后去每个节点ping mysql的ip地址,发现 ...

使用sqoop将mysql中表导入hive中报错

[hdfs@node1 root]$ sqoop import --connect jdbc:mysql://node2:3306/cm?charset-utf8 --username root -- ...

Sqoop导出MySQL数据

导入所有表: sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password p ...

随机推荐

李洪强iOS开之【零基础学习iOS开发】【02-C语言】04-常量、变量

在我们使用计算机的过程中,会接触到各种各样的数据,有文档数据.图片数据.视频数据,还有聊QQ时产生的文字数据.用迅雷下载的文件数据等.这讲我们就来介绍C语言中数据的处理. 一.数据的存储 1.数据类型 ...

有indexPath获取到cell对象

//SHSecretaryTipsCell *cell=(SHSecretaryTipsCell *)[tableView cellForRowAtIndexPath:indexPath];

layui 的学习

1. meta标签 https://www.cnblogs.com/wangyang108/p/5995379.html

java 与 CDH kafka集成

本文主要是通过在网上找到的例子进行演示: 一.说明      开发环境如下:      idea + jdk 1.8 + maven      maven 中引用的架包如下: 二. 生产者 impor ...

队列&广搜

搜索里有深搜,又有广搜,而广搜的基础就是队列. 队列是一种特殊的线性表,只能在一段插入,另一端输出.输出的那一端叫做队头,输入的那一端叫队尾.是一种先进先出(FIFO)的数据结构. 正经的队列: 头文 ...

python datetime模块用法

1. 创建naive(无时区信息)的datetime对象 import datetime dt_utc = datetime.datetime.utcnow() dt_utc # datetime.d ...

我的less学习之路

less注释 可以在代码中使用块样式(/* */)和行内注释(//),但是当编译LESS代码时,单行注释不会显示在CSS文件中.开发中主要维护的是less文件,所以可以使用行内注释,最终编译的css文 ...

linux 使用进程管理工具 supervisor

1.supervisor是使用python进行开发的运行在linux服务器上的进程管理工具 老版本的supervisor需要运行在python2环境,如果需要使用supervisor管理python3 ...

〖Linux〗Shell十进制数值转换十六进制

dec2hex(){ printf } a=$(dec2hex ) echo $a

Dubbo -- 系统学习 笔记 -- 配置参考手册

Dubbo -- 系统学习 笔记 -- 目录 配置参考手册