hive导出数据到mysql，结果数据量变少
·
今天用sqoop导出数据，放入mysql，结果发现数据量对不上，明明hive的表里有几万行数据，导入mysql里只有几百行数据了
后来发现原来是因为，我在mysql创建表的时候，有个varchar字段的长度，应该是varchar(255),，我写的varchar(32)，就是因为字符长度不对，所以导入数据时，一些长度超过32的记录导入失败了。
用这句话查一下hive表中string数据的最大长度，然后在mysql建表的时候varchar()的值就设置成最大长度就可以了
然后导入数据就成功了
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)