mapreduce清洗mysql_mapreduce数据清洗-第三阶段
3、数据可视化:将统计结果倒入MySql数据库中,通过图形化展示的方式展现出来。首先启动mysql,然后确保自己的local_infile是“ON”状态。SHOW VARIABLES LIKE '%local%'; (show variables like '%secure%';)来查看自己mysql-files的路径。 在这里我的mysql-files的路径就是 /var/lib/mysql-f
3、数据可视化:将统计结果倒入MySql数据库中,通过图形化展示的方式展现出来。
首先启动mysql,然后确保自己的local_infile是“ON”状态。SHOW VARIABLES LIKE '%local%';

(show variables like '%secure%';)来查看自己mysql-files的路径。

在这里我的mysql-files的路径就是 /var/lib/mysql-files;
之后将准备导入的文件放到mysql_files目录下,最后导入LOAD DATA INFILE '/var/lib/mysql-files/part-r-00000' INTO TABLE stage1 fields terminated by ',';(在这里每一列之间使用逗号分隔的)
之后在web工程下导入jdbc的jar包。
以下是dao层代码:
package Dao;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import Entity.entity;
public class dao {
public List stage1() {
List list = new ArrayList();
try {
// 加载数据库驱动,注册到驱动管理器
Class.forName("com.mysql.jdbc.Driver");
// 数据库连接字符串
String url = "jdbc:mysql://localhost:3306/mysql?useUnicode=true&characterEncoding=utf-8";
// 数据库用户名
String username = "root";
// 数据库密码
String password = "";
// 创建Connection连接
Connection conn = DriverManager.getConnection(url, username,
password);
// 添加图书信息的SQL语句
String sql = "select * from stage2";
// 获取Statement
Statement statement = conn.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
while (resultSet.next()) {
entity book = new entity();
book.setClick(resultSet.getString("click"));
book.setType(resultSet.getString("Type"));
list.add(book);
}
resultSet.close();
statement.close();
conn.close();
}catch (Exception e) {
e.printStackTrace();
}
return list;
}
public List stage2() {
List list = new ArrayList();
try {
// 加载数据库驱动,注册到驱动管理器
Class.forName("com.mysql.jdbc.Driver");
// 数据库连接字符串
String url = "jdbc:mysql://localhost:3306/mysql?useUnicode=true&characterEncoding=utf-8";
// 数据库用户名
String username = "root";
// 数据库密码
String password = "";
// 创建Connection连接
Connection conn = DriverManager.getConnection(url, username,
password);
// 添加图书信息的SQL语句
String sql = "select * from stage3";
// 获取Statement
Statement statement = conn.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
while (resultSet.next()) {
entity book = new entity();
book.setClick(resultSet.getString("click"));
book.setIp(resultSet.getString("ip"));
list.add(book);
}
resultSet.close();
statement.close();
conn.close();
}catch (Exception e) {
e.printStackTrace();
}
return list;
}
public List stage3() {
List list = new ArrayList();
try {
// 加载数据库驱动,注册到驱动管理器
Class.forName("com.mysql.jdbc.Driver");
// 数据库连接字符串
String url = "jdbc:mysql://localhost:3306/mysql?useUnicode=true&characterEncoding=utf-8";
// 数据库用户名
String username = "root";
// 数据库密码
String password = "";
// 创建Connection连接
Connection conn = DriverManager.getConnection(url, username,
password);
// 添加图书信息的SQL语句
String sql = "select * from stage1";
// 获取Statement
Statement statement = conn.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
while (resultSet.next()) {
entity book = new entity();
book.setTraffic(resultSet.getString("traffic"));
book.setType(resultSet.getString("Type"));
list.add(book);
}
resultSet.close();
statement.close();
conn.close();
}catch (Exception e) {
e.printStackTrace();
}
return list;
}
}
那么结果:




魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)