从 hbase 导出数据到 mysql

  • A+
所属分类:基础运维

从 hbase 导出数据到 mysql

很多企业和团队为了尽快让传统数据部门人员顺利接手储存在 hbase 中的数据操作,于是利用 hive 做外部表映射,通过 hive 来对数据进行查询和简单分析。当遇到简单场景的需求时,需要从 hbase 抽取数据到上层应用数据库。有人说直接通过 sqoop 从 hive 外部表抽取不就好了。然而外部表只是一个映射,sqoop 无法从外部表映射表这种表中抽取数据,那么就需要把数据先运送到 hive 然后在抽取到 mysql

hive> CREATE TABLE hive_admin_tmp(id  int,name string,pass string,email string);
hive> insert overwrite table hive_admin_tmp select * from hive_admin limit 2;
$sqoop export --connect jdbc:mysql://10.16.71.27:3306/basport -m 1 --table admin --export-dir /user/hive/web/hive_admin_tmp --input-fields-terminated-by '\0001'
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: