[数据处理]kafka数据导入到doris的一个官网案例
以上的命令是建立在kafka的bin目录在/opt/bitnami/kafka/bin这个文件中,具体情况具体分析。在doris中创建表和job。然后在doris中查询。
·
在doris中创建表和job
CREATE TABLE logdata.routine_table (
id INT NOT NULL COMMENT "id",
name VARCHAR(30) NOT NULL COMMENT "name",
age INT COMMENT "age"
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1;
CREATE ROUTINE LOAD logdata.routine_job ON routine_table
PROPERTIES
(
"format" = "json"
)
FROM KAFKA
(
"kafka_broker_list" = "localhost:9092",
"kafka_topic" = "routineLoad22",
"property.security.protocol"="SASL_PLAINTEXT",
"property.sasl.mechanism"="PLAIN",
"property.sasl.username"="admin",
"property.sasl.password"="damin"
);
--查询当前kafka的所有topic:
/opt/bitnami/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
--创建名为routineLoad22的topic
/opt/bitnami/kafka/bin/kafka-topics.sh --create --bootstrap-server lochost:9092 --topic routineLoad22 --partitions 3 --replication-factor 2
--删除名为routineLoad22的topic
/opt/bitnami/kafka/bin/kafka-topics.sh --delete --bootstrap-server lochost:9092 --topic routineLoad22
--导数据
/opt/bitnami/kafka/bin/kafka-console-producer.sh --topic routineLoad22 --bootstrap-server lochost:9092
--查询前十行
/opt/bitnami/kafka/bin/kafka-console-consumer.sh --topic routineLoad22 --bootstrap-server lochost:9092 --from-beginning | head -n 10
以上的命令是建立在kafka的bin目录在/opt/bitnami/kafka/bin这个文件中,具体情况具体分析
输入如下命令:
/opt/bitnami/kafka/bin/kafka-console-producer.sh --topic routineLoad22 --bootstrap-server lochost:9092
导入如下数据
{ "id" : 1, "name" : "Benjamin", "age":18 }
{ "id" : 2, "name" : "Emily", "age":20 }
{ "id" : 3, "name" : "Alexander", "age":22 }
然后在doris中查询
select * from routine_table

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)