基于hadoop的餐饮平台数据分析

餐饮外卖平台向广大用户提供网上订餐服务，其市场占有量在近年不断增加。当用户在Z平台订餐完成后，平台会引导用户对于品尝过的菜品进行评价打分，最高为5分，最低为1分。通过用户的评分数据，可以分析外卖平台的受欢迎度、客户的体验度，现总结为用户评分数据（见附件评分.txt）和菜品数据集(见附件菜品.txt)。要求如下：技术栈：hadoop，mapduce，hive（1）代码（2）运行结果（3）清洗后数据食

weixin_43556059

296人浏览 · 2025-07-01 05:15:12

weixin_43556059 · 2025-07-01 05:15:12 发布

基于hadoop的餐饮平台数据分析

引言

1.创建数据库和表并导入数据。

在这里插入图片描述

2.数据清洗（通过mr程序去除缺失值、异常值等）

（1）代码

package com.itbys.test;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.*;


/**
 * Author xx
 * Date 2023/4/22
 * Desc 数据清洗
 */
public class Test {

    public static class Map extends Mapper<LongWritable, Text, Text, Text> {

        Text k = new Text();
        Text v = new Text();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            //input：  A6SQN5G68G4TKH,N/N,BO00H1HASD,NULL,1.0,N/N,20230415,666,同事们都很喜欢
            String line = value.toString();

            //清洗数据
            if (line.length() > 0 && line.split(",").length == 9) {

                String replace = line.trim().replace(",N/N", "").replace(",NULL", "");

                k.set("1");
                v.set(replace);
                context.write(k, v);
            }

        }
    }


    public static class Reduce extends Reducer<Text, Text, Text, Text> {

        Text v = new Text();

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            //写出
            for (Text value : values) {
                v.set(value.toString());
                context.write(null, v);
            }

        }

    }


    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        /**
         * 本地运行
         */
        // 1 获取配置信息以及封装任务
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration);

        // 2 设置jar加载路径
        job.setJarByClass(Test.class);

        // 3 设置map和reduce类
        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        // 4 设置map输出
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        // 5 设置最终输出kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        // 6 设置输入和输出路径
        FileInputFormat.setInputPaths(job, new Path("input/"));
        FileOutputFormat.setOutputPath(job, new Path("output/01"));
        // 7 提交
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);


    }

}

（2）运行结果
在这里插入图片描述