分布式标签_魔乐社区

分布式

分布式事务Seata 1.0.0

什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。分布式事务的基础数据库的 ACID 满足...

微笑点燃希望
2019-12-25 09:46:00

 221

#分布式 #数据库 #java +2
49、分布式锁（redis分布式锁误删问题）

解决思路：我们释放的锁的时候进行一个判断（判断锁的标识是否一致（可以存线程id（jvm提供）作为标识（uuid更好。分布式场景有多个jvm）））优化后的逻辑：（可以存一个线程id作为锁的标识。释放锁前先判断一下）以前释放锁的逻辑：（随意释放锁，没有判断这个锁是不是自己的）优化后的业务流程：（加了锁的标识，删除锁前先判断下标识）

Tellme3
2022-11-07 16:08:51

 528

#jvm #redis #缓存 +2
在CentOS7上安装Hadoop分布式系统

全程无失误配置Hadoop分布式系统

 栗子艾李子
2022-09-16 00:00:00

 1054

#hadoop #linux #hdfs +1
分布式存储技术(1)

分享分布式存储的发展，以及RAID冗余磁盘阵列的实现

 YuakeLM
2023-05-22 11:03:02

 2449

 1

#分布式 #网络 #服务器
Kafka运维实战 16 - kafka 分区重新分配【实战】

-bootstrap-server <bootstrap-server-list> # KRaft 控制器或 broker 的地址（必填）--broker-list <String: brokerlist> # "0,1,2" （与--topics-to-move-json-file 配合）[--command-config <config-file>] # 客户端配置文件（如认证信息）[--re

cui_win
2025-07-29 15:08:34

 924

 17

#kafka #运维 #分布式
【实践案例分享】58的商业DMP数据管理平台的架构与实践

分享嘉宾：林鹏 58同城大数据架构师编辑整理：张磊出品平台：DataFunTalk导读：随着大数据的快速发展，大数据应用已经融入各行各业。在很多场景中得到了商业化实践。今天和大家分享下...

木东居士
2020-08-26 19:49:12

 1791

 1

#大数据 #数据库 #java +2
分布式MQTT消息订阅-发布框架：高可用性ActiveMQ

UI这块知识是现今使用者最多的。当年火爆一时的Android入门培训，学会这小块知识就能随便找到不错的工作了。不过很显然现在远远不够了，拒绝无休止的CV,亲自去项目实战，读源码，研究原理吧！

Ndk开发校长
2024-04-02 21:27:08

 1745

 9

#分布式 #activemq
Zookeeper分布式锁

多个线程去create一个path的时候，只有一个线程可以create成功，也就相当于抢到了锁，其他线程只能不停的尝试create，而抢到锁的线程A，在执行完后释放锁，即delete path，就会有下一个线程create成功。为了避免出现，抢到锁后客户端宕机，导致锁无法释放，即拿锁线程不会delete path，create的节点设置为临时节点，这样当客户端宕机时，节点也跟着自动销毁，也就解锁了

 范大
2024-10-22 20:13:07

 2268

 19

#分布式 #zookeeper #云原生
Apache Flume：分布式日志收集系统

Apache Flume 是一个分布式、可靠、高可用的服务，用于高效收集、聚合和移动大量日志数据。它的主要目标是将日志数据从源头传输到中央数据存储，如Hadoop的HDFS。Flume 是为了可靠地处理日志数据而设计的，它有丰富的特性，包括可扩展性、简单性、可配置性、动态性和健壮性。

我要下东西噢
2024-02-26 07:00:00

 2433

 47

#apache #flume #分布式
分布式和微服务有什么区别？

摘要（149字）分布式架构与微服务架构本质不同：前者解决性能瓶颈（多机协作），后者应对业务敏捷性（领域拆分）。关键差异体现在：1）分布式按硬件资源拆分（如数据库集群），微服务按业务边界划分（如订单/库存服务）；2）微服务强制技术异构与独立数据管理，分布式允许统一技术栈；3）微服务需配套服务治理体系（API网关/容器编排）。实际系统中二者常共存，但微服务必然依赖分布式能力。架构选型应优先满足业务需

 晚夜微雨问海棠呀
2025-06-24 13:31:01

 1147

 21

#分布式 #微服务 #架构
面试连环炮之分布式缓存

目录1、项目中哪些业务场景使用了缓存2、为什么使用缓存？3、redis 和 memcached 有什么区别？redis 的线程模型是什么？为什么 redis 单线程却能支撑高并发？4、redis有哪些数据结构5、redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？6、redis有哪些内存淘汰策略？7、redis内存过期策略?8、如何应对缓存雪崩、缓存穿

 dehuisun
2022-03-10 10:51:58

 873

#缓存 #面试 #分布式
[借助DeepEval包，轻松进行LLM单元测试和性能评估]

DeepEval简化了LLM的测试流程，通过自定义和跟踪不同的性能指标来提高模型可靠性。如需进一步学习，建议查看DeepEval的官方文档和GitHub仓库。

ppoojjj
2024-09-23 13:59:49

 599

 4

#python #开发语言 #分布式
Leaf——美团点评分布式ID生成系统

美团给出的解决时钟回拨方案

 Ethan_199402
2023-09-04 15:21:28

 1035

#分布式 #数据库
分布式数据库架构

对于mysql架构，一定会使用到读写分离，在此基础上有五种常见架构设计：一主一从或多从、主主复制、级联复制、主主与级联复制结合。

CODING一场空
2023-06-24 13:17:40

 4890

 3

#分布式 #数据库架构 #docker
后端技术周报第二期

ASCE1885，硕士毕业于华中科技大学，先后在华为、百度、平安任职，从事过 C++ 桌面和嵌入式软件开发、移动开发、后端开发，前端开发也有所涉猎，曾写过《Android 高级进阶》一书...

ACE1985
2019-12-31 07:30:00

 2565

#分布式 #java #大数据 +1
分布式锁工具Redisson，太香了！！

往期热门文章：1、还在用XShell？Tabby安排上...2、Spring Batch 批处理，骚气还强大！3、CTO强烈禁止使用Calendar，那用啥？4、秒杀系统的艺术5、我的mybatis-plus用法，被全公司同事开始悄悄模仿了！文章来源：https://juejin.cn/post/6961380552519712798目录一、Redisson概述二、分布式锁三、Rediss...

Java之间
2022-08-17 11:31:00

 721

#分布式 #redis #java
kafka参数解析unclean.leader.election.enable

本文主要阐述的是Kafka可靠性相关参数中的一个，即unclean.leader.election.enable。随着Kafka版本的变更，有的参数消失，也有的参数被加入进来，而传承下来的参数一般都不太会修改既定的默认值，而unclean.leader.election.enable参数却是其中的一个反例。从Kafka 0.11.0.0版本开始unclean.leader.election....

大数据从业者FelixZh
2020-11-30 11:16:00

 1183

#java #kafka #分布式 +2
Hadoop大数据技术原理与应用-第三章HDFS分布式文件系统

3.1 HDFS的简介3.1.1 HDFS的演变HDFS源于Google在2003年10月份发表的**GFS（Google File System）**论文。传统的文件系统对于数据的处理方式是将数据文件直接存储在一台服务器上。这样会产生两个问题：当数据量越来越大的时候，需要扩容文件很大时，上传下载非常耗时对于第一个问题，扩容。扩容有两种方式，一是纵向扩容，即增加磁盘和内存；另一种是横向扩容，即增加

 weixin_44275584
2021-03-08 13:07:13

 1150

#hadoop #大数据 #分布式
分布式通信方式

需要根据具体的系统要求、性能需求、可靠性需求、开发团队技术栈和经验等因素，综合考虑选择合适的分布式通信方式。有时候，系统可能会结合多种方式来满足不同的需求，例如使用消息队列进行异步通信，结合RESTful API进行同步交互。对于小团队来说，推荐使用已经比较成熟的开源库。如近几年有关”Message Queue”的项目层出不穷，知名的就有十几种，这主要是因为后摩尔定律时代，分布式处理逐渐成为主流，

安牛牛牛
2023-07-07 11:59:18

 2705

#分布式
分布式存储MinIO使用

e “MINIO_ROOT_PASSWORD=admin123”可视化界面密码。-e “MINIO_ROOT_USER=admin”可视化界面账号。-p 9000:9000 可视化界面端口。-p 9001:9001 API端口。

吾听安
2023-06-17 14:06:49

 655

#分布式
消息中间件之kafka

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.1 kafka的基础架构1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消

 一个儒雅随和的男子
2025-02-09 21:57:54

 1232

 23

#kafka #分布式
分布式事务有这一篇就够了！不能再多了

1. 基础概念1.1 什么是事务事务可以看做是一次大的活动，它由不同的小活动组成，这些活动要么全部成功，要么全部失败。1.2 本地事务在计算机系统中，更多的是通过关系型数据库来控制事务，这是利用数据库本身的事务特性来实现的，因此叫数据库事务，由于应用主要靠关系数据库来控制事务，而数据库通常和应用在同一个服务器，所以基于关系型数据库的事务又被称为本地事务。数据库事务的四大特性：ACID**A（Ato

小白不想上班
2020-12-22 20:27:33

 660

#分布式 #数据库 #网络 +2
一次Jmeter分布式性能测试，记录一些坑！

在某天，突然接到一个需求要对集群某个接口进行性能测试。线上单机器（4c8g）集群大概有十几台。线上平常的TPS：1500。（不含突发高流量，最近业务的增加，这个也是为啥压测了）

普通网友
2023-08-08 15:29:46

 668

 1

#jmeter #分布式 #职场和发展 +3
分布式管理工具git

文章目录git 基本概念git 基本功能git 配置环境安装windows 环境搭建安装遇到的问题git 基本概念git 基本功能git 配置环境git 配置环境需要的软件git: https://git-scm.com/download安装傻瓜式安装，软件下载一路next 就可以windows 环境搭建查看配置信息 git config list设置user.name和user.email配置信

 技术鱼
2021-10-29 00:15:39

 1150

#git #分布式 #github
Kafka运维实战 17 - kafka 分区副本从 1 增加到 3【实战】

创建，格式如下（以},},},},},配置说明replicas数组中，第一个元素为原副本（保持 leader 不变，减少迁移开销），后两个为新增副本的 broker ID。确保新增的 broker（如 1、2、3）均正常运行，且集群总 broker 数量 ≥ 3（否则无法分配 3 个副本）。log_dirs 用于指定每个副本存放的日志目录，默认用 “any” 表示由 Kafka 自动分配。

cui_win
2025-07-29 15:41:01

 9909

 2

#kafka #运维 #分布式
分布式光伏系统能为园区厂房解决哪些问题

该项目采用“全额上网”模式，利用原有的电源点作为光伏高压并网点并入电网端，并网点设置集电线路柜，站用变柜，SVG柜，PT柜，计量柜，并网出线柜。在“双碳”背景下，随着分布式新能源的广泛建设，高渗透率分布式光伏接入配电网后势必产生的电压问题，因此在促进分布式光伏并网过程中需要一套安全可靠的分布式光伏监控系统解决方案，为用户、电网助力分布式光伏高比例有序并网，强化分布式光伏的统一管控，推动分布式光伏和

 acrel15821596221
2024-05-06 14:01:09

 942

 10

#分布式 #人工智能 #运维
分布式学习-1 Hadoop Spark安装

折腾了一个多月的时间，成功实现了一些应用。学习过程中还是踩了不少坑的，所以在这里对整个构建过程进行整理，方便大家参考学习。

愤怒的虾球
2022-09-26 21:51:20

 2464

 3

#hadoop #spark #分布式
kafka是如何处理数据乱序问题

分区排序：Kafka 通过分区来保证消息的顺序。同一分区内的消息是有序的，但不同分区之间的消息则不保证顺序。如果一个消费者组中有多个消费者，可以通过调整消费者的数量，确保每个分区只由一个消费者处理。配置生产者：通过配置生产者，可以减少消息乱序的可能性。配置消费者：通过配置消费者，可以确保消息按顺序处理。

꧁薄暮꧂
2024-11-12 20:32:24

 893

 11

#kafka #分布式
从零开始学kafka（1）

什么是kafka一个分布式流式处理平台，以高吞吐、可持久化、可水平扩展、支持流数据处理等特性被广泛使用。Kafka的s：

会编程的库里
2021-06-21 20:29:22

 180

#kafka #分布式
黑马点评项目03——优惠券秒杀引来的血案（超卖问题，一人一单解决）分布式锁，Lua脚本

为了保证顾客下单订单号唯一性以及不暴露给顾客一些敏感信息（例如：第几个下单的），所以不能采用单纯自增的方式。这里采用redis自增id策略，id为时间戳+计数器。需要说明的是在redis保存的key+计数器，key是（当天下单时间），id是当前时间戳-设定的起始时间戳+自增count，一起合成id,这是代码。

让我再眯一会_
2025-06-05 19:08:04

 2735

 46

#分布式 #lua #redis
分布式事务系列一：BASE，一种ACID的替代方案（eBay分布式事务解决方案）

前言对于很多业务系统来说，整个系统其实是由多个独立的系统构成的。这些独立的系统由各自的研发小组进行研发和维护，数据往往也存储在各自独立的数据库中。我们以下单流程为例。下单往往涉及到订单系统、库存系统、优惠券管理系统、支付系统、物流系统、用户系统等。我们希望下单操作对于这些系统的更新，要么全部成功提交；如果有些步骤失败了，那么所有的改动都能够回滚到最初状态。这个就是我们今天要讨论的分布式事务问题。本

 愉悦滴帮主)
2021-06-26 00:28:49

 548

#分布式 #java
ssm整合kafka

1 配置文件配置kafka路径。2 我这里选择配置文件注入。

上帝派来的猴子
2023-05-30 15:01:18

 511

#kafka #java #分布式
如何设计一套可以应对千万级数据量、分布式和高可用的对账系统？

程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 11分钟。来自：juejin.cn/post/72599496555835064901背景目前线上业务量与日俱增，每日的订单量超过千万，资金流动大，资金安全成为了重点关注的问题。为了确保每一笔交易的正确性，提高资金的正确性和保障业务的利益，除了RD代码逻辑严格以外，还需要对每日甚至每小时订单的流水进行核对，对异常情况能及时处理..

程序员的成长之路
2023-11-10 00:00:56

 693

 1

#分布式
ClickHouse分布式集群：数据压缩与传输优化策略

本文旨在深入探讨ClickHouse分布式集群中数据压缩与传输优化策略。首先介绍ClickHouse在大数据处理领域的优势及分布式架构下数据压缩的重要性，然后剖析ClickHouse分布式表原理、列式存储与数据压缩算法，并详细阐述如何进行表与列级别的数据压缩配置及优化选择。接着讨论分布式环境下数据分布与压缩的相互关系，以及网络传输层的优化技术，包括高并发场景下的带宽管理。通过实战案例展示实施优化的

 iwork168
2024-01-14 12:56:33

 671

#clickhouse #分布式
2024年网络安全最全软件TFN 2K的分布式拒绝攻击(DDos)实战详解_ddostfn攻击(2)，2024网络安全者真的太难了

在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵

 2401_84240129
2024-05-07 09:50:28

 1169

 28

#web安全 #分布式 #ddos
【Git】Git(分布式项目管理工具)在Windows本地/命令行中的基本操作以及在gitee中的操作，使用命令行、图形化界面，进行提交，同步，克隆

Git(分布式项目管理工具)在Windows本地/命令行中的基本操作以及在gitee中的操作，使用命令行、图形化界面，进行提交，同步，克隆

 determine ZandR
2023-05-01 23:45:56

 3649

 4

#git #分布式 #windows
开源项目｜Go 开发的一款分布式唯一 ID 生成系统

f79.png)

2401_84009549
2024-04-16 06:09:37

 939

 17

#开源 #golang #分布式
QPS、TPS、RT、并发数、吞吐量理解和性能优化深入思考

吞吐量在了解qps、tps、rt、并发数之前，首先我们应该明确一个系统的吞吐量到底代表什么含义，一般来说，系统吞吐量指的是系统的抗压、负载能力，代表一个系统每秒钟能承受的最大用户访问量。一个系统的吞吐量通常由qps（tps）、并发数来决定，每个系统对这两个值都有一个相对极限值，只要某一项达到最大值，系统的吞吐量就上不去了。QPSQueries Per Second，每秒查询数，即是每秒能够响应的查

 一定要赚钱
2020-09-18 17:37:41

 711

#java #python #分布式 +1
分布式队列对消息语义的处理

Broker端则会针对每个\维护一个序列号（SN），只有当对应的SequenceNumber = SN+1时，Broker才会接收消息，同时将SN更新为SN+1。通过预分配ID就容易避免，客户端每次提交订单都需要携带一个提前获取的订单id，当服务端检查有重复的订单id时，就可以拒绝。如果改为提前分配好ID，客户端将ID与数据一同发送给服务端，服务端进行ID验证，检查这个ID是否已经处理过了。这个

 方二华
2025-04-25 23:16:25

 1100

 25

#分布式 #kafka #rocketmq
springboot毕设分布式生鲜市场信息系统设计与实现程序+论文

随着互联网技术的飞速发展，传统生鲜市场正逐步向数字化转型。分布式生鲜市场信息系统作为现代生鲜流通领域的重要组成部分，旨在通过技术手段解决传统生鲜市场中信息不对称、流通效率低下等问题。近年来，消费者对生鲜产品的需求日益增长，对食品的安全、新鲜度和可追溯性提出了更高要求。同时，生鲜商家也面临着库存管理、订单处理、营销推广等多方面的挑战。因此，设计并实现一个分布式生鲜市场信息系统，不仅能够提升市场运营效

 sheji402
2025-01-03 11:06:47

 687

 15

#spring boot #分布式
使用 Redis 实现分布式锁：原理、实现与优化

在分布式系统中，分布式锁是确保多个进程或线程在同一时间内对共享资源进行互斥访问的关键机制。本文详细介绍了如何使用 Redis 实现分布式锁，包括基本原理、实现方法、示例代码以及优化建议。通过 Redis 的 SETNX 命令和 Lua 脚本，可以实现高效且可靠的分布式锁。同时，本文还探讨了 Redlock 算法的应用，以提高分布式锁的可靠性和容错性。

发现源代码
2024-10-10 14:01:06

 4135

 14

#redis #分布式 #数据库
Redis项目实战:分布式锁+微服务自旋

Redis项目实战测试1.在分布式系统下如何控制缓存2.rides锁环境搭建测试1.在service新建service-test模块2.配置application.properties启动win版本的redis3.启动类配置4.controller测试@RestControllerpublic class TestRedis {@Autowiredprivate RedisTemplate red

op_scy
2020-07-23 16:57:54

 1036

#redis #分布式 #缓存
存储系统怎么选？分布式存储vs.集中式存储的区别在哪？

集中式存储系统除了具备数据高可靠性和高可用特性以外，还有数据通路的访问响应延迟相对较低的优点。

EasyCVR
2024-07-08 16:38:47

 656

 8

#分布式 #音视频
HBase性能优化：HBase性能的监控与优化

1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可靠性、高性能和易用性，适用于大规模数据存储和实时数据处理。随着HBase的广泛应用，性能优化成为了关键问题。为了提高HBase的性能，我们需要监控HB...

禅与计算机程序设计艺术
2024-01-21 03:36:48

 1417

 18

#hbase #性能优化 #数据库 +2
spring cloud使用seata实现分布式事务控制

在spring cloud技术栈中分布式事务也是比较重要的一环，分布式事务的处理关系到了数据的一致性和完整性，所以微服务的开发分布式事务是必不可少的，这也对开发人员也是不小的挑战，好在市面上不缺分布式事务的解决方案，这些方案也各有优劣，本次将把seata作为分布式事务的解决方案来进行代码实现，在这之前我特意找了点资料给大家参考分布式事务的三种解决方案： https://www.cnblogs.co

青蛙小王子
2020-11-20 23:07:02

 864

#java #spring #分布式
如何设计真正高性能高并发分布式系统（万字长文）

“世间可称之为天经地义的事情没几样，复杂的互联网架构也是如此，万丈高楼平地起，架构都是演变而来，那么演变的本质是什么？”—1—引子软件复杂性来源于几个方面：高并发、高性能、高可用、可扩展、低成本、低规模、可维护、安全等。架构演化、发展都是为了试图降低复杂性：高并发、高性能：互联网系统特点，用户量大，请求量大，高并发高性能成为必备要求。性能差体验会差，用户会有别的选...

zl1zl2zl3
2019-11-23 10:00:22

 2575

 3

#分布式
开发实战：使用Redisson实现分布式延时消息，订单30分钟关闭的另外一种实现！...

????这是一个或许对你有用的社群????一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料：《项目实战（视频）》：从书中学，往事中“练”《互联网高频面试题》：面朝简历学习，春暖花开《架构 x 系统设计》：摧枯拉朽，掌控面试高频场景题《精进 Java 学习指南》：系统学习，互联网主流技术栈《必读 Java 源码专栏》：知其然，知其所以然????

Java基基
2025-01-07 11:55:37

 155

#分布式
分布式系统-分片和路由

一前言大数据的概念已经热了几年了，以后大数据越来越平常。而大数据的存储和处理，必然会用到分布式系统，所以有必要对分布式系统有所了解。在此，想结合自己学习写些文章，这些文章可能有些无聊...

mseaspring
2020-08-26 22:45:00

 661

 1

#算法 #java #分布式 +2
Vue中如何进行分布式日志收集与日志分析（如ELK Stack）

在Vue.js应用程序中实现分布式日志收集与日志分析是一个有挑战性但非常强大的功能。通过与ELK Stack集成，您可以轻松地实现高级的日志管理和分析。在实际应用中，您可以根据您的需求创建复杂的可视化和仪表板，并监视应用程序的运行状况。希望本文对您有所帮助，让您更好地理解如何在Vue中进行分布式日志收集与日志分析。

2013crazy
2023-10-07 09:55:05

 2893

 1

#vue.js #分布式 #elk