大数据标签_魔乐社区

大数据

分布式事务Seata 1.0.0

什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。分布式事务的基础数据库的 ACID 满足...

微笑点燃希望
2019-12-25 09:46:00

 221

#分布式 #数据库 #java +2
【实践案例分享】58的商业DMP数据管理平台的架构与实践

分享嘉宾：林鹏 58同城大数据架构师编辑整理：张磊出品平台：DataFunTalk导读：随着大数据的快速发展，大数据应用已经融入各行各业。在很多场景中得到了商业化实践。今天和大家分享下...

木东居士
2020-08-26 19:49:12

 1791

 1

#大数据 #数据库 #java +2
使用爬虫爬取结构化数据百度学术

一、非结构化文本的爬取微博上有一篇关于“#学校里的男生有多温柔#”的话题，点进去一看感觉评论很真实，于是想把评论给爬下来看一看，并生成词云。刚开始思路是通过网页端微博爬取，通过开发者工具查看分析后，发现并没有看到相关评论。百度搜索之后得知web做了一些反爬虫策略，不太容易爬取（踩了相当时间的坑）。但是微博手机端相对容易些，于是转战手机端获取该评论链接，然后使用谷歌浏览器登录该链接，一阵分析后，发现

 bullnfresh
2022-04-10 08:56:10

 7228

 11

#big data #其他 #python +2
python爬虫汽车之家全车型及基本参数入数据库（截止50524个数据）（详解）

文章目录免责声明一、总体思路二、需要使用的库三、具体实施(1)页面1:(2)页面2：在售页面停售页面1.第一种方向2.第二种方向四.基本参数写入数据库五.总结免责声明本人新手小白，看到网...

Python研究者
2020-10-09 18:50:54

 779

#python #java #大数据 +1
使用Plotly.js创建交互式图表，第3部分：条形图

在上一个教程中，您学习了如何在Plotly.js中创建折线图。可以使用一组属性来控制折线图的各个方面，例如要绘制的数据以及连接绘制点的线条的形状或颜色。 Plotly.js允许您以类似方式创建条形图。在本教程中，您将学习如何使用Plotly.js创建各种条形图。我还将讨论如何使用特定属性控制这些图表的外观，例如条形颜色和宽度。在继续之前，我想提一下，您还可以使用Chart.j...

cunjie3951
2020-06-16 21:04:10

 1021

#python #java #数据可视化 +2
hadoop出现异常“Operation category READ is not supported in state standby”

在使用Hadoop时，如果你遇到了“Operation category READ is not supported in state standby”的错误，这通常意味着你正在尝试从一个处于standby状态的NameNode（在HA（高可用性）配置中）执行读操作。只有active状态的NameNode可以处理读写请求，而standby状态的NameNode主要用于数据复制和故障转移。确保你的客

 Lynloveleft
2025-02-27 11:40:44

 1309

 5

#hadoop #eclipse #大数据
kafka_2.10-0.8.2.1集群搭建和简单使用

1.解压kafka tar -zxvf kafka_2.10-0.8.2.1 -C /software2.1在hadoop节点修改配置文件config/server.propertiesbroker.id=0#代理的idhost.na...

chucancheng5319
2017-02-15 21:16:00

 616

#大数据 #java #运维
后端技术周报第二期

ASCE1885，硕士毕业于华中科技大学，先后在华为、百度、平安任职，从事过 C++ 桌面和嵌入式软件开发、移动开发、后端开发，前端开发也有所涉猎，曾写过《Android 高级进阶》一书...

ACE1985
2019-12-31 07:30:00

 2565

#分布式 #java #大数据 +1
Hadoop大数据技术原理与应用-第三章HDFS分布式文件系统

3.1 HDFS的简介3.1.1 HDFS的演变HDFS源于Google在2003年10月份发表的**GFS（Google File System）**论文。传统的文件系统对于数据的处理方式是将数据文件直接存储在一台服务器上。这样会产生两个问题：当数据量越来越大的时候，需要扩容文件很大时，上传下载非常耗时对于第一个问题，扩容。扩容有两种方式，一是纵向扩容，即增加磁盘和内存；另一种是横向扩容，即增加

 weixin_44275584
2021-03-08 13:07:13

 1150

#hadoop #大数据 #分布式
Java后端开发实践-项目模板

本文来源：http://r6d.cn/Jz79整理出一套公共性的项目模板，旨在尽量多地包含日常开发所需，减少开发者的重复性工作以及提供一些最佳实践。1. 从写好README开始一个好的R...

Java笔记虾
2020-11-29 12:45:00

 2010

 2

#java #大数据 #编程语言 +2
交互式查询工具impala

交互式查询工具impala主要内容第 1 部分 Impala概述（Impala是什么，优势，劣势，与Hive对⽐）第 2 部分 Impala的安装(制作本地Yum源⽅式安装)第 3 部分 Impala的架构原理(有哪些组件，组件的作⽤，查询流程，查询计划)第 4 部分 Impala的使⽤（使⽤与Hive类似，编写sql⽅式；Impala的DDL,查询语法，导⼊数据）第 5 部分 Impala的Ja

_tommy
2021-07-12 02:16:47

 1194

#hadoop #大数据
leaflet-交互事件

leaflet支持的交互事件及绑定事件示例

 终归墟
2022-07-01 17:58:47

 1883

 1

#大数据
causal-learn：基于Python的因果发现算法平台

来源：集智俱乐部本文约1100字，建议阅读5分钟本文为你介绍基于Python的统一算法基本框架。Causal-learn，由CMU张坤老师主导，多个团队（CMU因果研究团队、DMIR实...

数据派THU
2021-11-27 17:00:00

 2628

 2

#算法 #python #java +2
flume采集日志发送至kafka

flume采集数据源为lo日志

 fengchengwu2012
2022-11-20 17:44:35

 1528

 2

#kafka #flume #大数据
建议收藏，SCI期刊实时影响因子的意义和算法

举例来说，比如你需要在今年（2019年）发表一篇IF大于３的杂志才能毕业，但是我们现在所知道的某杂志的影响因子都是2018年的。然后从中选取2017-2018的发表量和2019的引用次数，相除得到的数值就是该期刊初步的影响因子（约为9.3）。另外值得注意的是，我们自己用上述方法计算IF的结果往往与正式发布的IF存在细微差别，其中可能的原因包括：纳入的最终发表文章数量有所细微不同、统计最终引用次数可

 WangUnionpub
2023-02-20 10:39:23

 851

#人工智能 #云计算 #物联网 +1
大数据毕业设计：音乐数据采集分析可视化系统网易云音乐爬虫（附源码）✅

大数据毕业设计：音乐数据采集分析可视化系统网易云音乐爬虫（附源码）✅

q_3375686806
2023-12-17 12:00:00

 775

 8

#大数据 #爬虫 #python
flink采用thrift读取tablets一个天坑

原先的配置[INFO] StarRocksSourceBeReader [open Scan params.mem_limit 8589934592 B][INFO] StarRocksSourceBeReader [open Scan params.query-timeout-s 600 s][INFO] StarRocksSourceBeReader [open Scan params.k..

AskHarries
2023-07-27 08:55:15

 1372

 1

#flink #大数据 #java +2
分布式消息中间件-Rocketmq

简述今天要给大家分享的是分布式消息中间件。消息中间件主要是实现分布式系统中解耦、异步消息、流量销锋、日志处理等场景，后面我也会结合一些场景进行探讨。现在生产中用的最多的消息队列有Activemq，rabbitmq，kafka，rocketmq等。...

chixun4688
2017-11-28 23:01:00

 740

 1

#java #运维 #大数据
生产事故：flink任务造成kafka连接泄漏导致kafka集群挂了！！！

1、问题背景为保障系统大促期间稳定运行，计划进行全链路生产压测。2、问题现象1》压测期间产生大量事后数据流向flink实时计算环节，flink任务消费的kafka出现堆积而产生告警。2》通过flink监控平台查看日志发现flink任务频繁重启失败，checkpoint save失败。3》通过kafka平台监控发现，flink任务连接kafka的连接数不断攀升，即kafka连接泄漏。4》短时间内所有

 MCpang
2021-06-16 11:54:42

 1579

 1

#kafka #flink #java +1
flink standalone集群模式部署

1、下载并安装jdk112、下载flink 并解压3、确保服务器之间的免密登录。

weixin_39477597
2025-04-03 20:46:25

 734

 4

#flink #大数据 #服务器
HBase性能优化：HBase性能的监控与优化

1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。随着HBase的广泛应用，性能优化成为了关键问题。为了提高HBase的性能，我们需要监控HB...

禅与计算机程序设计艺术
2024-01-21 03:36:48

 1417

 18

#hbase #性能优化 #数据库 +2
白鲸开源中标申万宏源DataOps数据开发运维一体化平台采购项目！

白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发运维一体化平台项目。这一合作将为申万宏源带来一系列显著优势：通过提供一站式的高性能数据调度管理方案，我们将显著增强申万宏源的数据管理能力，确保系统的高可用性、高扩展性和高安全性。这不仅将推动申万宏源的业务增长，还将加速其智能化升级进程，为公司的长期繁荣提供新引擎。

DolphinScheduler社区
2024-08-27 11:13:22

 730

 10

#大数据
分布式系统-分片和路由

一前言大数据的概念已经热了几年了，以后大数据越来越平常。而大数据的存储和处理，必然会用到分布式系统，所以有必要对分布式系统有所了解。在此，想结合自己学习写些文章，这些文章可能有些无聊...

mseaspring
2020-08-26 22:45:00

 661

 1

#算法 #java #分布式 +2
Flink（20）：Flink之分布式缓存

0. 相关文章链接1. Flink中分布式缓存概述Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。2. 编码步骤注册一个分布式缓存文件：env.registerCach

电光闪烁
2021-07-11 23:30:26

 2419

 2

#大数据 #flink
Impala-架构与设计

Impala是一款基于Hive的大数据分析查询引擎，直接使用Hive的元数据Metastore，因此如果使用Impala需要先安装Hive并启动Metastore服务。Impala不依赖MapReduce而是将执行计划树进行并行计算，使用拉的方式获取结果数据，把结果数据按执行树流是传递汇集，减少中间结果落盘。Impala是大数据进行实时交互式分析查询的一个工具，没有依赖MapReduce执行任务，

零度的温水
2024-02-12 20:16:46

 1921

 25

#架构 #大数据 #cloudera
渐进式web应用程序_渐进式Web应用程序：简介

如果您从事网站建设业务，那么您可能会越来越多地听到人们谈论渐进式Web应用程序（PWA）。由Google开发的PWA在吸引用户方面具有网络的所有优势，以及用户可以从本地应用程序获得的速度和可靠性。为什么选择渐进式Web应用程序？关键卖点是：性能PWA加载速度很快，并且可以快速响应用户交互，而无需任何复杂的动画。可靠性PWA始终能够为用户提供体验，即使是脱机...

cuotangu3718
2020-07-02 11:35:24

 647

#网络 #java #python +2
聊聊电商交易平台的架构设计（干货）

之前做官方商城时，由于是定制化业务开发，各类型的订单和售后单的状态流转都是写死的，比如常规订单在下单后是待付款，付款后是待发货，发货后是待收货；上游业务方数量的增加和版本的迭代，对平台系统的需求源源不断，平台的功能得到逐渐完善，架构也在不断演进，我们正在将履约模块从交易平台中剥离出来，进一步解耦，为业务持续发展做好储备。以2库4表为例，对4取模等于1的数，对2取模也一定等于1，因此0号库的1号表中

 竹林幽深
2023-04-13 08:48:21

 4048

 2

#运维 #微服务 #大数据
腾讯——云计算从业者认证系列4

腾讯云第四章——腾讯云CDN加速产品介绍目标了解CDN加速基础知识、访问原理熟悉腾讯云CDN加速系统架构熟悉腾讯云CDN加速安全机制熟悉腾讯云CDN加速产品介绍熟悉腾讯云CDN加速计费方案一、CDN加速基础知识1.1 内容分发网络1.2 CDN访问原理1.3 CDN发展阶段CDN主要用来内容加速1.4 CDN技术趋势主要发展趋势二、腾讯云CDN系统架构2.1 CDN系统架构2.2 CDN内容系统2

BigTonyGhost
2020-10-12 09:11:03

 543

#云计算 #服务器 #大数据
集成运维管理：智慧园区的关键环节

安全生产调度不仅包括安全防护设备信息系统的集成和连动设备，还包括应急处置过程的制定和实践，以及对安全人员的培训和管理。根据安全生产调度，可以实时监控系统和控制园区内不同地区和设备，提高园区的整体可靠性和应急响应能力。它整合了园区内的每一个子系统和设备，实现了数据的共享和互动，从而建立了信息管理系统，提高了园区的管理效率和服务水平。根据能源消耗管理，园区内各种能源消耗机器的实时检测和数据分析可以实现

 guhyun
2024-04-24 11:58:44

 643

 8

#运维 #大数据 #人工智能 +3
一起来探究@Schedule定时任务在分布式产生的问题

而这默认参数是不行的，生产环境的大坑，阿里的 Java 开发手册中也明确规定，要手动创建线程池，并给定合适的参数值~是为什么呢？：这里的配置并非是一定生效的，修改后有可能成功，有可能失败，具体原因未知，但这一点是真实存在的。，将其改为异步的定时任务，另外自定义一个系统通用的线程池，让异步任务使用该线程执行任务~在单体项目中，也许上面的问题是解决了，但是站在分布式的情况下考虑，就并非是安全的了。如果

 骑着猪追马的程序员
2022-10-19 13:08:10

 628

 1

#分布式 #java #spring boot +2
flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

 @anSon_
2022-08-30 14:58:37

 1419

 2

#kafka #flink #sql +2
132页满分PPT | 智能工厂信息化顶层架构设计方案

本案例详细介绍了某国际饮品公司如何通过数字化转型重塑其价值链，以提高生产效率、降低成本并增强市场竞争力。公司通过实施下一代需求预测技术，利用非结构化数据，优化供应商绩效分析，并采用数据和机器人技术提高仓库的优化和自动化水平。此外，公司还通过机器或生产线的性能管理、基于传感器的预测性维护、价格预测和采购优化等手段，显著降低了生产资本支出和维修成本，减少了燃料消耗和货物损坏，降低了库存水平并提高了库存

 数以轻舟Agent
2025-01-14 21:15:05

 302

 2

#大数据 #人工智能 #制造 +1
ElasticSearch与PHP的集成：如何使用PHP与ElasticSearch进行交互

1.背景介绍Elasticsearch是一个基于Lucene库的搜索引擎，它提供了实时、可扩展和可伸缩的搜索功能。它通常用于构建实时搜索、分析和数据可视化应用程序。PHP是一种广泛使用的服务器端脚本语言，它可以与Elasticsearch集成以实现高效的搜索功能。在本文中，我们将讨论如何使用PHP与Elasticsearch进行交互，包括背景介绍、核心概念与联系、核心算法原理和具体操作步骤...

禅与计算机程序设计艺术
2024-01-18 02:11:27

 1296

 24

#elasticsearch #php #交互 +2
计算机毕业设计hadoop+spark+hive漫画推荐系统动漫视频推荐系统漫画分析可视化大屏漫画爬虫漫画推荐系统漫画爬虫知识图谱大数据

计算机毕业设计hadoop+spark+hive漫画推荐系统动漫视频推荐系统漫画分析可视化大屏漫画爬虫漫画推荐系统漫画爬虫知识图谱大数据

 haochengxu2022
2024-06-15 00:00:00

 529

 6

#hadoop #spark #hive +3
项目运维方案

5. 运维服务规划保障。8. 运维边界及内容。

一勺水，一行代码
2024-03-02 09:39:50

 1573

 7

#运维 #大数据 #数据库
flink 单作业模式部署提交作业爆:Trying to access closed classloader. Please check if you store classloaders direc

报错信息:Exception in thread "Thread-5" java.lang.IllegalStateException: Trying to access closed classloader. Please check增加：classloader.check-leaked-classloader: false ，保存后重启任务即可。您可以使用配置“classloader.ch

力不竭!!!战不止!!!
2022-11-08 22:02:40

 4945

 3

#flink #java #大数据
java flink 写入 hdfs demo

给大家整理了一些有关【Java,HDFS】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/35714.htmlhttps://edu.51cto.com/course/31545.html使用 Apache Flink 写入 HDFS 的简单示例Apache Flink 是一个...

壕哥有话要说
2024-08-01 04:50:34

 350

#java #flink #hdfs +2
2024年最新（一）大数据---Hadoop整体介绍（架构层）----（组件，大数据开发基础教程

可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。，

2401_84586689
2024-05-10 11:57:04

 2470

 33

#大数据 #面试 #学习
使用Apache Flink进行分布式流和图形处理

Apache Flink是一个顶级Apache项目，它允许统一分布式流和批处理。 Apache Flink的核心是流数据流引擎，该引擎为数据流上的分布式计算提供数据分发，通信和容错能力。8月27日，湾区Apache Flink聚会活动由MapR主持。这次，主要主题是使用Apache Flink进行分布式有状态流和图形分析。我们很幸运地接待了来自瑞典的三位特别嘉宾，他们是来自几个致力...

danpu0978
2020-04-24 14:08:05

 1020

#算法 #分布式 #大数据 +2
分布式事务选型方案

分布式事务是指在分布式系统中进行的事务处理，其中涉及多个数据库或微服务。在选择分布式事务方案时，需要考虑以下几个因素：事务隔离级别：是否需要严格的事务隔离级别，如悲观锁或乐观锁。事务一致性：是否需要强制事务一致性，即在事务中所有操作都必须成功或都失败。事务性能：是否需要高性能的事务处理，如支持大批量数据的处理。事务恢复：是否需要支持事务恢复，即在事务失败后能够自动恢复。根据以...

金刚廉神兽
2022-12-30 23:33:27

 194

#分布式 #java #数据库 +2
系统运维系列之Kafka配置分析及参数含义

补充：kafka manager 中lag的正数、0、负数的含义：正数：就是kafka数据积压了，消费速度小于生产速度；0:生产者和消费者速率基本相当，说明2者都工作正常；负数：说明kafka的消费者干活很快，分分钟就处理完消费的数据，供小于求。...

琅晓琳
2021-08-19 16:55:20

 1314

#kafka #大数据 #物联网
快速云：云计算五特征区别传统计算方法

分享IDC知识

 zyp18065271351
2022-07-01 10:08:14

 416

 1

#大数据
【算法】令牌桶算法

令牌桶算法是一种有效的流量控制技术，能够平滑流量并限制突发请求。通过在桶中动态生成和管理令牌来限制数据发送速率。算法的核心原理是设置桶的容量和令牌生成速率，从而控制请求处理的速率，适用于网络流量控制和API限流等场景。相比其他算法（如漏桶算法、固定窗口计数等），令牌桶能更灵活地应对突发流量。

shinelord明
2024-08-20 00:00:00

 3530

 33

#网络 #算法 #数据结构 +1
Flink消费kafka，某partition突然从头开始消费，yarn部署，无报错，很奇怪

Flink消费kafka，某partition突然从头开始消费，yarn per job部署，ui页面无报错，检查点也没有异常，很神奇，不知道什么原因？

白马46
2021-06-11 16:48:30

 771

#flink #大数据 #kafka
系统学习消息队列分享（五）如何利用事务消息实现分布式事务？

一说起事务，你可能自然会联想到数据库。的确，我们日常使用事务的场景，绝大部分都是在操作数据库的时候。像 MySQL、Oracle 这些主流的关系型数据库，也都提供了完整的事务实现。那消息队列为什么也需要事务呢？其实很多场景下，我们“发消息”这个过程，目的往往是通知另外一个系统或者模块去更新数据，消息队列中的“事务”，主要解决的是消息生产者和消息消费者的数据一致性问题。依然拿我们熟...

weixin_30586085
2019-08-29 00:27:00

 333

#大数据 #数据库
利用Redis实现分布式全局唯一ID

利用Redis实现分布式全局唯一ID

我是一只狼Y
2022-07-15 16:55:26

 929

#redis #java #大数据
flink-sql写入hudi的行列转换lateral

【代码】flink-sql写入hudi的行列转换lateral。

菜鸟冲锋号
2024-08-06 18:56:25

 645

 1

#flink #sql #大数据
通过Nginx代理Kafka实现跨网络消费

通过Nginx代理Kafka实现跨网络消费1. 服务器环境2. 服务搭建2.1 服务器B服务搭建2.2 服务器A服务搭建3. 测试连通性1. 服务器环境两台服务器同在一个网段(都开打开防火墙模拟跨网)分别为服务器A、服务器B服务器A(172.**.**.219)：安装Nginx(1.8.0以上的Nginx才支持stream模块)服务，对所有网段打开9092端口服务器B(172.**.**.220)

问题不太大
2020-12-11 16:35:53

 5.1w

 4

#kafka #nginx #大数据