软件设置

配置Java环境,最好配置JAVA1.7以上

处理之后的数据中文乱码

开发库和测试库是同一个mysql数据库服务器下不同的shemas而已,最后导到测试库的数据库出现中文乱码。

然后就开始百度了:

添加characterEncoding为utf8的设置,可以看到数据源连接的高级选项中都已经显示的制定字符集为utf8,但是文本文件输出和插入数据都是乱码;

数据库字符集都是utf8的,我试着指定为characterEncoding=gbk,然而还是乱码。

最后:

在jvm的启动参数中,添加参数-Dfile.encoding=UTF-8,乱码问题就解决了(PS:kettle在windows下跑的,然而数据库是utf8,这是个坑)。贴在这里吧,如果你试了很多方法都不行,不妨指定kettle这个程序的字符集。

显示正常

设置数据清洗

sh /home/data/kettle/data-integration/kitchen.sh -file=/home/data/kettle/data-integration/105-106.kjb -logfile=/var/log/kettle.log

执行以上命令即可

遇到驱动报错需要将

window端

需要将MySQL驱动,jar包放到lib目录下 重新启动kettle即可

linux端

需要将MySQL驱动,jar包放到libext/JBDDC目录下 重新启动kettle即可

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐