魔乐社区

魔乐社区

社区官网工具模型库数据集体验空间

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

魔乐社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

hive

Apache Hive入门：模拟实现Hive功能、Hive架构、组件

Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言(HQL)，用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行。Hive由Facebook实现并开源。..

黑马程序员官方
2022-08-18 11:25:30

 958

 2

#hive #apache #hadoop
hive函数及其性能优化

目录一、函数的分类二、Hive内置函数三、UDF开发流程四、hive事务五、hive的优化设计六、压缩算法一、函数的分类从输入输出角度分类标准函数：一行数据中的一列或多列为输入，结果为单一值聚合函数：多行的零列到多列为输入，结果为单一值表生成函数：零个或多个输入，结果为多列或多行从实现方式分类内置函数自定义函数UDF：自定义标准函数UDAF：自定义聚合函数UDTF：自定义表生成函数二、Hive内置

 Mr.梧桐
2020-09-22 19:02:26

 445

#hive #数据库
Hive中的复杂类型(array/map/struct/json)

Hive不仅支持基本类型，还支持比较复杂的类型，同时配套了一些函数，灵活运用这些复杂类型的字段，可以更好的设计离线表更加详细内容可以见：...

月亮124073734
2022-10-21 20:43:00

 794

#hive #json #java +2
计算机毕业设计hadoop+spark+hive漫画推荐系统动漫视频推荐系统漫画分析可视化大屏漫画爬虫漫画推荐系统漫画爬虫知识图谱大数据

计算机毕业设计hadoop+spark+hive漫画推荐系统动漫视频推荐系统漫画分析可视化大屏漫画爬虫漫画推荐系统漫画爬虫知识图谱大数据

 haochengxu2022
2024-06-15 00:00:00

 531

 6

#hadoop #spark #hive +3
Protobuf使用性能优化

protobuf代码解读复制代码// 语法 // 导包 // package // option // message、service // protoc.exe .\hello.proto --java_out=../src/main/java syntax = "proto3";基本使用：每次创建一个channel吞吐量2000左右顶破天一直使用同一个channel：吞吐量最高9000多，但是

 2403_88969259
2024-11-15 13:57:00

 499

 4

#hive
Apache Impala架构解析及与Hive、SparkSQL的性能比较_hive引擎执行效率对比(4)

Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式，而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶，因此可做更多的查询优化，从而省掉不必要的shuffle、sort等开销。8．使用Impala，您可以访问存储在HDFS，HBase和Amazon s3中的数据，而无需了解Java（MapReduce作业）。7．由于在数据驻留（在Hadoop集群上）时执行数据处理，因此

 2401_84184638
2024-05-03 08:42:23

 1476

 23

#apache #架构 #hive
Hive常用交互命令

Hive常用交互命令[dev1@hadoop102 hive]$ bin/hive -help》》1 "-e"不进入hive的交互窗口执行sql语句[dev1@hadoop102 hive]$ bin/hive -e "select id from default.student;"》》2 "-f"执行脚本中sql语句（1）在/opt/module/data目录下创建hivef.sql文件[dev

翁老师的教学团队
2021-05-06 10:41:55

 421

 1

#hive
hive客户端无法进入（Cannot create directory /tmp/hive/root/a0ec1f00-cd32-41ef-814d-b6aa3d669d77）

hive客户端无法进入（Cannot create directory /tmp/hive/root/a0ec1f00-cd32-41ef-814d-b6aa3d669d77. Name node is in safe mode.）欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解

 monitor cheek
2021-01-03 11:23:47

 2161

 1

#hive
（转）hive中json字符串解析之get_json_object与json_tuple

【转载原因：get_json_object与json_tuple的用法，作者讲解非常清楚】【转载原文：https://blog.csdn.net/weixin_37536446/article/details/80622220】在技术对app进行埋点时，会讲多个字段存放在一个数组中，因此模型调用数据时，要对埋点数据进行解析，以作进一步的清洗。本文将介绍解析json字符串的两个函数：get_json

RayBreslin
2020-07-06 00:05:33

 3113

 1

#hive
hive 如何处理json字符串

hive处理json字符串以及json数组

 大数据小尘
2023-07-19 22:46:03

 1722

 1

#hive #json #hadoop
flink写hive。任务都成功。checkpoint也正常，但是还有inprogress文件。感觉是bug

flinksql 通过jdbc 写入 hive_catalog 的表。发现问题

 一步一步看文档
2024-06-19 10:03:02

 332

 2

#flink #hive #bug
hive启动后，show databases报错semanticexception org.apache.hadoop.hive.ql.metadata.HiveException

报错如下：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient网上找了一圈..

sq0723
2019-12-18 10:23:51

 2131

#hive #mysql
Hive框架(三) —— 解析json数组

解析json数组的函数通常有get_json_object()json_tuple()split()explode()regexp_replace()lateral viewget_json_object() 一次只能解析一个key，当需要解析多个字段时，不好用于是使用 json_tuple() 函数，结合lateral view() 使用一个解析json数组的思路：对于如下的字段，其中内容是[{

爱睡觉的考拉yxl
2022-05-02 15:35:00

 1947

#json #hive
sql/hql对json进行解析

## Sql中json使用方法对于jsonArray（json数组），如person表的xjson字段有数据：```scala[{"name":"王二狗","sex":"男","age":"25"},{"name":"李狗嗨","sex":"男","age":"47"}]取出第一个json对象，那么hive sql为：SELECT get_json_object(xjson,"$.[0]") FR

༺可乐༒加冰༻
2021-03-29 18:08:42

 1377

#hive #大数据 #hadoop +2
hana分割函数，hana处理json函数，等相关hana技巧

hana分割函数，hana处理json函数，等相关hana技巧

 胡八一灬
2022-12-01 10:02:44

 1917

#json #hive #hadoop
记一次基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2

[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf//usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf[root@master conf]# cp spark-defaults.c

一花一世界~
2021-01-14 00:46:34

 1625

 1

#spark #hive #hadoop +2
【hive】HiveSQL中两个json解析函数的使用&json路径定位小工具

虽然逻辑上理解并不矛盾，尽管该UDTF返回的是个表，但一行输入只会对应一行输出，只是输出的字段可能是多个，并不像explode那样返回的是多行。和get_json_object不同的是，get_json_object是一个普通的UDF函数，返回的是一个值。，该函数适用于对传入的json对象一次性解析多个key的场景，如果用get_json_object需要解析多次，该函数只需要解析一次。（通配符个

 atwdy
2024-08-04 03:57:17

 2529

 31

#hive #json
Hive：写好UDF后，测试时报错：找不到或无法加载主类

Hive：写好UDF后，测试时报错：找不到或无法加载主类欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流

 qq_44758580
2021-10-22 16:06:50

 1610

 1

#hive
Hive部署测试(4.0.0)

hadoop版本3.3.6 mysql版本8.0.20。

sprite!
2024-08-28 00:48:34

 1591

 17

#hive #hadoop #数据仓库
hive中json格式字段解析及map使用

如果hive表中有扩展字段，那么扩展字段格式最常见的就是json格式，所以如何解析json字符串相对繁琐（虽然没啥技术????）用到的hive功能函数有:get_json_object、explode、split、regexp_replace、regexp_extract-- json字段样式：[{'a':1, 'b':2}, {'a':3, 'b':4}], 字段名称为json_strselec

leap_ruo
2021-11-07 10:55:11

 4653

#hive #json #hadoop
搭建完全分布式CDH6.3.2详细教程（附安装包下载地址）

1、概述1.1、简介Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CDH (Cloudera’s Distribution, including Apache Hadoop)，是Had

剑穹
2020-10-25 09:37:57

 5435

 4

#hadoop #cloudera #大数据 +2
json_tuple函数的利用

首先在Hive 中查看json_tuple 函数的详细信息desc function extended json_tuple;出现解释：json_tuple(jsonStr, p1, p2, …, pn) - like get_json_object, but it takes multiple names and return a tuple. All the input parameters

weixin_52116589
2021-03-17 20:23:50

 6297

 2

#hive #json
hive on spark 之通过spark web ui详解数据倾斜及思路历程

差不多就是如下 a join bjoin c join djoin e join f 一长串。说实话我也难搞，每次就是一长串sql让我找问题让我优化，我看完sql理解下都要十几分钟。。。

cclovezbf
2022-10-20 11:32:25

 2918

 6

#spark #hive #大数据
Hive启动报错:Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common

hive/lib。

『Sakream.』
2023-09-18 14:23:48

 703

#hive #hadoop
hive sql 处理json数组拆分成多行

select *,explode(split(regexp_replace(regexp_extract(statement_inputs,'^\\[(.+)\\]$',1),'\\}\\,\\{', '\\}\\|\\|\\{'),'\\|\\|')) as statement_inputs_new

大广-全栈开发
2022-04-26 16:46:05

 3157

 2

#hive #sql #json
hive解析json数组 array json

在hive的内置函数中，提供了两个函数用来解析json，分别是get_json_object和json_tuple以下出现的hive函数不懂的请到 hive2.0中常用的内置函数大全这篇博客去查看了解首先来查看下get_json_object函数的详细信息> desc function extended get_json_object;OKtab_nameget_json_object(j

数仓大山哥
2020-12-06 11:18:02

 4077

 1

#hive
【Hive SQL】解析json的几种方法

- Hive解析json的几种方法get_json_object(string json_string, string path)说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。举例：data 为 test表中的字段，数据结构如下：data ={"store":

迷你布里
2021-11-29 23:31:52

 3728

 1

#sql #hive #大数据
flink-sql读写hive-1.13

本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。

第一片心意
2022-08-02 17:14:24

 7350

 3

#hive
hive中get_json_object的使用

hive中get_json_object是一个用来处理json数据的方法，非常好用！1）数据[{“name”:“大郎”,“sex”:“男”,“age”:“25”},{“name”:“西门庆”,“sex”:“男”,“age”:“47”}]2）取出第一个json对象hive (gmall)>select get_json_object(’[{“name”:“大郎”,“sex”:“男”,“age”

xie670705986
2021-02-01 09:55:04

 917

#hive
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例

hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例

 Data_IT_Farmer
2022-11-08 14:23:42

 4492

 6

#hive
架构设计方法（4A架构）-信息架构

属性是用来描述所属业务对象的性质和特征。1、考虑技术约束和考量、应用要求、性能要求，支撑详细的数据需求和业务规则的实施，设计出的数据在IT系统中的具体存储结构。2、是面向计算机物理表示的具体实现模型，与具体的DBMS类型有关。

王百万_
2024-03-01 13:50:29

 3035

 4

#架构 #大数据 #hive +4
HIVE：使用get_json_object解析json对象遇到的坑

或[‘’]：表示子节点。MaxCompute支持用这两种字符解析JSON对象，当JSON的Key本身包含.时，可以用[‘’]来替代。获取key1的对象为嵌套对象，可以使用.或[]获取，但是如果key包含.，则需要使用[]获取。[]：[number]表示数组下标，从0开始。

冬至喵喵
2024-07-20 11:23:32

 1447

 10

#hive #json #数据仓库 +1
hive函数get_json_object不支持含特殊字符的key

hive函数get_json_object不支持含特殊字符的key。例如，解析的json的key中包含’.‘,'@','#'等特殊字符。直接解析的话，结果为null。selectget_json_object(a.json,'$.ro\.boot\.serialn')asrbs--null 不支持转义,get_json_object(a.json,'$.\@serialNo')assn--null

我是A_lin呀
2021-11-22 18:47:56

 5150

 2

#hive
Datax抽取oracle大表问题

最近经常用到datax从oracle抽取大表到数仓hive当表的数据量超过千万很容易卡住一直抽不过来经过测试可以在querysql上加并行抽取/*+ parallel(n) */基于并行查询要启动并行进程、分配任务与系统资源、合并结果集一般而言主要在如下情况使用parallel1.表的数据量很大,超过一千万;2.数据库主机是多个CPU;3.系统的当前负载较低;但这个容易直接把资源占死导致别人

 加州小清新学长
2021-11-17 13:53:20

 1916

#sql #hive #linux +1
shell替换xml中指定的属性值

shell替换xml中指定的属性值sed -i 's;<id>.*<\/id>;<id>新内容<\/id>;g' your.xml

crabdave123
2017-02-17 18:48:00

 467

#xml #java #mybatis +1
手把手教你解决spring boot导入swagger2版本冲突问题,刘老师教编程

Swagger 2 的依赖底层使用的是 javax 依赖包，而 Spring Boot 3 使用的是 Jakarta 依赖包。一般来说，可以将 Spring Boot 的版本降到 3.0.1 以下来解决这个问题，但如果想要使用 3.0.1 版本以上的 Spring Boot，启动时就会出现报错。去pop.xml查看你springframework的版本，如果你已经是Spring boot3了，像我

 lucky_endeavor
2024-07-05 13:04:15

 1665

 12

#spring boot #hive #后端
tez-site.xml:2:6: The processing instruction target matching "[xX][mM][lL]"

tez-site.xml:2:6: The processing instruction target matching "[xX][mM][lL]"因为在hive\conf\tez-site.xml的配置文件中第一行有空格所以会报错。已解决。

一个在成长的程序猿
2020-05-08 09:40:23

 470

 1

#hive #xml
hive-site.xml 配置总结

用户定义的必须实现org.apache.hadoop.hive.ql.security.authorization.HiveMetastoreAuthorizationProvider接口；用户定义的要实现org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProvider；从脚本读数据的时候的默认reader，默认是

 hxsln11
2024-08-12 11:19:26

 2048

 7

#hive #xml #hadoop
14【SpringMVC的拦截器】_servlet 拦截器 xml 配置

在实现上基于函数回调，可以对几乎所有请求进行过滤，使用过滤器的目的是用来做一些过滤操作，获取我们想要获取的数据，比如：在过滤器中修改字符编码；Tips：我们说的拦截指的是发送的请求会进入SpringMVC的拦截器，具体是否能访问到目标资源要看拦截器是否放行；再次访问：http://localhost:8080/js/test.js，发现资源能够直接访问，1）即使访问的资源不存在，只要符合Sprin

大厂面经_lBx
2025-01-20 07:24:50

 986

 25

#servlet #xml #hive
springboot + mybatis +tkmapper 连接多数据源

1.说明：springboot连接多数据源是大家经常要用到的操作，下面我用springboot连接两个mysql和一个hive，采用的连接池是druid，学会这个后大家可以连接各种多数据源了，采用的操作方式是mybatis，也大致讲述使用jdbc的操作方式2.步骤（表演来了：我用的是2.1.8版本的springboot）1.导入相应的jar包<dependency>...

java皮皮虫
2019-11-14 10:38:02

 2069

 1

#mysql #hive
hive.site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--Licensed to the Apache Software Foundation (ASF) under one or moreco

baiyang256101
2021-12-08 20:33:42

 675

#hive #xml #hadoop
maven的setting.xml配置

阿里云spring插件仓库</name><name>阿里云spring仓库</name><name>阿里云central仓库</name><name>阿里云阿帕奇仓库</name><name>阿里云公共仓库</name><name>maven仓库</name><name>阿里云谷歌仓库

 江文笔记
2024-06-09 13:32:17

 1297

 19

#maven #xml #python +3
web.xml配置详解

在Java Web应用程序中，web.xml是一个XML配置文件，用于定义和配置Servlet、过滤器、监听器和其他Web应用程序组件的行为和属性。web.xml文件通常位于Web应用程序的WEB-INF目录下，用于描述Web应用程序的部署信息和配置。每个 <servlet> 元素包含 <servlet-name> 和 <servlet-class> 子元素，用于定义Servlet的名称和Java

猫一样的女子245
2023-10-22 12:47:05

 853

#前端 #xml #hive
springboot+nacos + mybatis+hive/mysql多数据源

默认切换到主数据源master，方法切换到hive后，执行完毕后再次自动切换到master。配置成功后在需要切换数据源的方法上添加@DS注解，写入数据源名称。hive是需要手动事务开启的，则seta代理不能开启。nacos中system.yml配置。nacos中datasource配置。项目启动时会初始化数据源。

qq_38230416
2023-08-25 16:17:48

 729

 1

#spring boot #mybatis #hive
oracle存储过程迁移到hive平台

ORACLE存储过程转化为HQL平台时，可能会出现各种问题。ORACLE与HIVE都使用SQL语句，但是语法和特性不尽相同，注意一下几种情况。一.INSERT语句ORACLE：EXECUTE IMMEDIATE 'TRUNCATE TABLE TABLE_A';INSERT /*+APPEND*/ INTO A NOLOGGING (COL_1,COL_2,COL_3,)迁移至HIVE语句为：IN

章鱼哥TuNan&Z
2021-07-08 10:49:31

 1500

#oracle #hive #sql
xml字符串转为 hive中的行，hive解析xml

hive 作为一个常用的分布式数据库，往往会存储多种数据源，其中xml格式的数据导入到hive中有多种方式，借助etl工具，如datax,kettle, nifi等都可以轻松实现，在这里我来给大家介绍一种hive直接读取xml格式数据，并将其转换为行的方式xml数据文件test.xml：<?xml version="1.0" standalone="no" ?><Root>

Ma Xiangmin
2020-09-08 16:00:46

 1285

 1

#hive
hive使用sqoop与oracle传输数据

下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导

 cyhysr
2024-04-15 10:19:04

 2008

 19

#hive #sqoop #hadoop
【已解决】spring 集成hive一直出现table not found

异常：Caused by: java.lang.RuntimeException: org.apache.hadoop.hive.ql.parse.SemanticException:Line 1:14 Table not found ‘0205role’at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(Semant..

文弱书生_艾
2019-09-18 09:35:40

 4297

#hive
数仓技术hive与oracle对比（一）

使用仓库、组织、物料、库存流水，进行响应测试，oracle使用dbeaver等将测试数据从外系统加载至测试环境，hive使用sqoop将测试数据从外系统加载至测试环境。备注：1、数据量超达到4万条，dbeaver客户端加载数据明显慢很多，受限于客户端工具（客户端工具是java所开，需要将sql文件在工具中打开），使用服务端加载。测试数据的加载，按照oracle、hive的不同，分别采用不同的方式和

 cyhysr
2024-12-06 13:57:02

 1213

 3

#hive #hadoop #数据仓库
spring boot 集成spark操作hive

上面的配置中，hive.metastore.uris是Hive的元数据存储地址。确认系统中已经安装了Hadoop和Spark，并且配置好了环境变量。其中，my_table是Hive中已经创建的表。

、小H
2023-07-11 22:30:00

 1889

#spark #hive #spring boot

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号