big data标签_魔乐社区

big data

使用爬虫爬取结构化数据百度学术

一、非结构化文本的爬取微博上有一篇关于“#学校里的男生有多温柔#”的话题，点进去一看感觉评论很真实，于是想把评论给爬下来看一看，并生成词云。刚开始思路是通过网页端微博爬取，通过开发者工具查看分析后，发现并没有看到相关评论。百度搜索之后得知web做了一些反爬虫策略，不太容易爬取（踩了相当时间的坑）。但是微博手机端相对容易些，于是转战手机端获取该评论链接，然后使用谷歌浏览器登录该链接，一阵分析后，发现

 bullnfresh
2022-04-10 08:56:10

 7234

 11

#big data #其他 #python +2
Flink架构及工作原理

System Architecture分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。Components of a Flink SetupJobManager ：接受application，包含StreamGraph（DAG）、JobGraph（logical dataflow graph，已经进过优化，如task chain

hellozhxy
2021-09-07 17:13:13

 922

 1

#flink #big data #运维
kafka常用命令

kafka命令

 happy_one_day
2021-12-15 16:17:35

 1131

#kafka #big data #分布式
【简介】分布式NoSQL数据库

分布式NoSQL数据库基本概念什么是NoSQL?NoSQL是一些分布式非关系型数据库的统称，它采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制，可能无法支持，或不能完整的支持SQL语句。目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）。什么是HBase？全称Hadoop Database，它是Google BigTable的开源实现，是一

 桥路丶
2021-10-07 11:18:54

 5331

 2

#big data #nosql #数据库 +1
Flink学习4-flink自定义source并行度

概要关于source数据源，在flink 官网上介绍了很多对接方式、例如socket、elements、collect等常见的source，可以见下面链接：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/connectors/。在这里要说的是自定义source，通过addsource类接入。public class

40926__
2021-12-27 11:31:33

 3407

 1

#flink #big data #大数据
DolphinScheduler 在web端上传文件失败的问题Internal Server Error: upload resource: datax.py file: datax.py faile

这意味着文件所有者、文件所属组和其他用户都将获得读（4）、写（2）和执行（1）的权限（7 = 4 + 2 + 1）。文件最终是要上传到HDFS端端口也是没问题的。将原来 hdfs dfs -chmod 777 / 改为。及其下所有文件和目录的权限更改为。

辣条2023
2024-09-09 18:15:11

 591

 1

#mysql #big data #大数据
论基于架构的软件设计方法及应用

论基于架构的软件设计方法及应用摘要：2020年4月，本人所在的某市金融投资集团启动了集团综合管理系统建设，该项目实现基金、融资租赁、资金管理、转贷、融资担保、保理等金融业务信息化及人力资源、智能办公、法务管理等内部管理功能。在此项目中，我担任了架构师，负责项目总体架构设计工作。本文以该综合管理系统为例，主要论述了基于架构的软件设计方法及应用。在架构需求阶段，以系统的商业需求及质量需求出发标识系统构

 zju3080103798
2021-09-12 13:27:57

 1794

 2

#java #big data
flink加载kafka数据源存储至hbase

flink计算框架、kafka数源、iphoenix连接hbase存储数据

 fengchengwu2012
2022-11-21 23:10:30

 1537

 1

#hbase #kafka #flink +1
Kafka数据同步到kafka的几种方案（转）

转自：https://blog.csdn.net/tmaczt/article/details/115274144背景：针对老系统重构涉及业务系统众多，全链路部署测试环境耗时较长，于是有了kafka中间层集群之间数据同步的想法。方案：1、Kafka自带的镜像工具kafka-mirror-maker.shMirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从

 seapeak007
2022-03-11 11:55:40

 5758

#kafka #big data #zookeeper
flume读取文件到kafka

1.进入flume官网 www.org.apache.flume.com点击第三个2.使用kafka前需要先开启zookeeper3.编写配置文件读文件首先最好去头写好配置文件user.channels = c1user.sources = s1user.sinks = k1user.sources.s1.type = spooldiruser.sources.s1.spoolDir = /op

宝罗
2021-11-10 01:08:12

 1948

 1

#flume #大数据 #big data +1
flink- AsyncDataStream 异步处理

1、AsyncDataStream有2个方法：unorderedWait表示数据不需要关注顺序，处理完立即发送，orderedWait表示数据需要关注顺序，为了实现该目标，操作算子会在该结果记录之前的记录为发送之前缓存该记录。这往往会引入额外的延迟和一些Checkpoint负载，因为相比于无序模式结果记录会保存在Checkpoint状态内部较长的时间。...

消巴哥
2022-02-25 14:41:34

 3178

#flink #大数据 #big data
SRE(运维)最重要的是什么，看这一篇就够了

对于业务运维工程师来说什么最重要要，答案就是稳定性。更多文章可以关注微信公众号“SRE说”稳定性概述1.1 稳定性为什么重要稳定性对于SRE来说就是 10000前面的这个1 无论1后面几个0，一旦这个1没有做好，那么最终的结果只能等于0，稳定性也是SRE的最核心的R稳定性好比一个人的健康，如果没有一个健康的身体，其他都是徒劳无功如何稳定性做不好带给公司和个人的都将会是一个难以想象的损失，同时稳定

 SRE说
2022-03-06 16:53:58

 4751

 4

#运维 #big data #数据库
Hudi学习四：Hudi架构

Hudi架构

 Hub-Link
2022-05-28 17:23:41

 4220

#大数据 #big data
全国青少年软件编程（Scratch）等级考试试卷（二级）测试卷

点击上面微信号关注我关注我哟每天中午12：00-2：00定期推送文章，喜欢的可以设置星标，并分享点赞我们的文章，非常感谢大家的支持，您的点击的在看就是我们的动力！同样的，今天我们还是继续分...

A-别针少儿编程
2021-05-04 18:01:32

 2261

#iot #big data
关于推荐算法未来的思考：推荐诗与远方

关于推荐算法未来的思考：推荐诗与远方2021年8月27日，国家互联网信息办公室发布了关于《互联网信息服务算法推荐管理规定（征求意见稿）》公开征求意见的通知。其中第十五条规定:算法推荐服务提供者应当向用户提供不针对其个人特征的选项，或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的，算法推荐服务提供者应当立即停止提供相关服务。算法推荐服务提供者应当向用户提供选择、修改或者删除用于

 Jtag特工
2021-09-18 02:39:52

 1501

 6

#算法 #人工智能 #big data
第3.0章：StarRocks SSB性能测试（拓展篇）

SSB（Star Schema Benchmark）是麻省州立大学波士顿校区的研究人员定义的基于现实商业应用的数据模型，是业界公认的可用来模拟决策支持类应用的测试集合，其测试结果比较公正和中立。学术界和工业界普遍采用它来评价决策支持技术类应用的性能，以此全方位评测系统的整体商业计算综合能力。通过SSB测试集合，我们可以方便的对比各种OLAP产品的基础性能指标，StarRocks的SSB测试报告可以

 流木随风
2022-01-07 17:10:31

 5357

 4

#database #分布式 #数据库 +2
使用Jmeter实现对Elasticsearch的查询性能测试

一、安装与使用1、Jmeter下载地址：https://jmeter.apache.org/download_jmeter.cgi2、安装下载后解压，并配置Jmeter环境变量，且依赖jdk3、启动进入bin目录，找到jmeter.bat，启动4、常用配置（1）汉化：Options->Choose Language（2）查看运行日志：选项->日志查看，并可设置日志级别二、ES查询性能测

 csdn_chshuai
2022-04-08 11:29:02

 3659

 1

#elasticsearch #big data #大数据
thinkphp6定时任务 EasyTak

一. 安装 composer require easy-task/easy-task二. 创建类 php think make:command Tasktask<?phpdeclare (strict_types=1);namespace app\command;use think\console\Command;use think\console\Input;use think\conso

qq_27878777
2022-04-01 10:42:18

 1708

#big data #大数据 #分类
vue使用datav+echarts

vue使用datav+echarts

旭寒ls
2022-11-16 10:17:08

 2795

 8

#echarts #vue.js #javascript +1
phpstudy小皮刷新404

server {listen8081;server_namelocalhost;root"E:/myweb/2020/project-shumeipai/dist";location / {try_files $uri $uri/ /index.html;index index.php index.html error/index.html;...

idoits
2021-09-11 10:23:39

 1705

#nginx #big data #html5
flink 1.13 event时间不触发窗口问题记录

在窗口中引入watermark，使用EventTime,传入数据时不触发窗口的结束

 x_iaoa_o
2022-05-23 17:10:06

 2131

 3

#flink #大数据 #big data
腾讯运维转型之 SRE 体系建设

来源：腾讯技术工程刘天斯https://mp.weixin.qq.com/s/YHR50kF2QOgjMi83WbwuzA1、什么是SRE利用 SRE 的思想与方法，不断去冲刺稳定性的终极目标：“提升 MTBF（平均故障时间间隔）、降低 MTTR（故障平均修复时间）”，很多小伙伴会有疑问，DevOps 与 SRE 到底是什么样的关系？SRE 是 DevOps 的一种实现方式团队构建的玄图-SRE

果子哥丶
2022-01-19 18:15:59

 2926

#运维 #devops #big data
【flink新版本无bat启动文件的解决办法】

flink新版本无bat启动文件的解决办法下载或复制老版本的放在bin目录下即可下载或复制老版本的放在bin目录下即可https://download.csdn.net/download/popi2268/80472654

great你不知道
2022-02-13 21:52:44

 1467

#flink #大数据 #big data
高仿el-select单选搜索+前端大数据下拉滚动分页

最近在用element-ui遇到一些bug,在使用el-select时，数据量大了就页面渲染缓慢从而

 啥咕啦呛
2021-11-10 12:02:28

 2338

#前端 #big data #大数据
flink you can disable this check with the configuration ‘classloader.check-leaked-classloader‘

flink 1.13.3 Exception in thread “Thread-6” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the

cg6
2021-12-03 11:06:13

 3047

 2

#flink #大数据 #big data
Doris中json解析+模糊查询比较

方案一：select * from ads.ads_hr_idmp_workload_details_api where get_json_string(json_value,'$.field1661586045733') LIKE '%50%' limit 1,500;方案二：SELECT * FROMads.ads_hr_idmp_workload_details_api WHERE json

memory_copy
2023-03-27 10:11:28

 3237

#big data
hadoop伪分布式配置正确，https://Hadoop01:50070 （HDFS管理界面）不能访问的解决方法

首先改用虚拟机IP访问例如我的虚拟机IP为192.168.75.136在浏览器输入发现可以访问。出现以上情况解决办法：进入电脑C盘 C:\Windows\System32\drivers\etc 文件夹下用notepad++编辑hosts文件保存之后再次访问https://Hadoop01:50070此时就可以访问了。...

愿你成为自己的太阳
2021-09-23 12:12:42

 3393

 3

#hadoop #big data
kafka怎么保证消息顺序？

kafka怎么保证消息的顺序

 我是Jack码
2022-01-19 18:15:51

 1.4w

 10

#kafka #分布式 #big data +1
datax-web登录时提示账号或密码错误

ubuntu22.04配置datax-web，mysql版本5.7，python3版本

 Long J
2022-09-20 00:13:40

 5660

 5

#mysql #big data #database +2
flink从入门到精通-flink简介

flink入门flink的由来名称的由来名称由来起源于德国的科研项目，在德语中，flink 一词表示快速和灵巧。什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭

 星&海
2021-09-07 12:12:49

 3328

 2

#flink #big data
无代码低代码平台测评：挑选最适合您的开发工具

云表平台，是一款通过画表格方式开发软件的无代码平台,基于表格编程技术,面向企业管理精英和 IT从业者，具有强大的业务配置和集成开发能力，开发者不用编程，只需要通过表单+业务规则+流程的方式，就能快速开发出个性化的管理系统。然而，根据您的具体需求和预算，其他平台如Mendix，Microsoft Power Apps，Google AppSheet和Bubble也是不错的选择。它提供了一套简单而强大

 云表平台
2023-10-20 14:32:21

 372

#big data
车载音频“告别”野蛮生长

随着新车搭载联网及娱乐系统的渗透率快速提升，过去几年，国内新车搭载车载音频正逐步取代传统调频电台广播成为主要的车载内容交互入口。高工智能汽车研究院监测数据显示，今年1-11月国内市场新车搭载联网娱乐车机上险量为1043.94万辆，同比上年同期增长34.76%，继续保持较高增速，其中前装搭载车载音频服务占比达到74.31%。与此同时，一部分领跑车企也在推动各自的车载应用商店建设，并向用户推送多款车载

 高工智能汽车
2021-12-24 10:37:47

 519

#音视频 #big data #大数据
kibana 开发工具常用命令

获取集群健康信息GET /_cluster/health集群设置GET /_cluster/settingsGET */_settings查看日志有多少UNASSIGNEDGET _cat/shards | grep UNASSIGNED设置集群分片数，默认1000PUT /_cluster/settings{"transient": {"cluster": {"max_shards_per_no

Linux小弟
2021-12-31 16:22:25

 8142

#elasticsearch #大数据 #big data +1
红极一时的VB，输给时代，新型开发工具，或成未来

对于众多编程语言而言，单纯学习语言本身往往应用有限，比如C++和Qt虽有关联却各自独立，但VB却独树一帜，它的实用性远超常规编程语言。在那个时期，业余开发者的数量远超专业开发者，而作为当时的佼佼者，Visual Basic（简称VB）竟吸引了高达300万的开发者，成为了全球首屈一指的编程工具。VB以其直观的拖拽式开发方式和所见即所得的特点，简化了复杂的编程过程，同时满足了多种工作需求，它曾是风靡一

 云表平台
2024-04-29 17:35:42

 817

 5

#big data
芯片产业还能热多久？还值不值得进入...

自2014后我国集成电路产业发展步入了快速发展阶段。尤其在中兴华为事件发生后，中国集成电路产业达到了史无前例的热度。政策推出，大基金以及各种资本加持，创业公司数量的暴增，各地区项目不断签约，产业活动应接不暇等等现象都表明了火热程度。因此很多已进入，或准备进入芯片行业的人，此时，都会思考这样一个问题：芯片产业还能热多久？10年，芯片产业至少还能持续10年的高速发展，从政策引导，资本跟进，产业发展不断

 IC观察者
2021-09-24 10:17:17

 666

#物联网 #人工智能 #big data
全球芯片短缺可能很快变成供过于求的危机

从供应链瓶颈到通胀上升，所有利益相关者面临的一个重要问题是，我们是否会看到芯片短缺危机结束。虽然芯片供应有限导致消费者价格上涨，但其他影响包括工业活动和供应链安全的中断。半导体需求急剧增加有周期性和结构性原因。周期性地，随着大量劳动力和教育转移到网上，这种流行病释放了对电子产品被压抑的强烈需求。我们在 2021 年看到的库存也导致了运输瓶颈。在结构上，电动汽车的量产、数字化等电气化需要半导体，主要

 ssfkg
2022-02-24 15:56:47

 3640

#物联网 #人工智能 #big data
闲来无事，写个mybatis-plus的流程

导包，版本什么的我就不说了第一步：写yml文件给个端口号server:port: 8081给个数据源spring:datasource:driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://192.168.47.130:3306/mybatis_plus?serverTimezone=GMT%2B8&characterEncod

林大刷
2021-11-20 08:55:41

 984

 1

#spring #mvc #big data
mybatis 查询出得数据库字段有得有值，有得为null，这样得情况肯定是不可行得，下面看看解决办法

问题描述：下面是查询出得值集。这个用户信息表得passord为什么为null。解决思路：1、步骤一：检查了Mapper 文件，sql确实是没有问题。2、步骤二：检查了pojo实体类，看到奇妙得问题发生了。截图如下：3、步骤三：发现少了一个字符a，还是要细心啊。password。4、步骤四：写全之后看看效果：果然是写错实体类了。...

故事写在心里-
2021-09-05 19:03:26

 392

 1

#big data #sql #数据库
Flnk 1.14 QuickStart POM.xml

parent POM.xm.<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apa

流云细水
2022-01-21 18:47:20

 543

#flink #big data
oracle数据库表中文注释显示为乱码

一般是由于数据库使用的编码跟服务器/电脑的编码不一致导致的，常规处理方法就是设置服务器使用编码跟数据库一致。查看oracle数据库的编码SELECT USERENV(‘LANGUAGE’) FROM DUAL;新建环境变量，或者修改已有的环境变量。设置变量名：NLS_LANG，变量值：SIMPLIFIED CHINESE_CHINA.ZHS16GBK或者AMERICAN_AMERICA.AL32U

amberwest
2021-09-20 15:29:00

 5413

 3

#oracle #big data #数据库
【转】spring cloud gateway和nacos整合

spring cloud gateway和nacos整合期望结果：通过输入http://127.0.0.1:8080/first,跳到哔哩哔哩主页。然后通过修改nacos的配置中心里面gateway的配置，使得再次输入地址，跳到百度主页整合nacos和spring cloud gateway。使得spring cloud gateway能读取到naco的服务注册信息，通过这些服务注册信息进行分发。

相交的直线
2021-11-19 10:24:38

 3437

 1

#其他 #java #big data
linux进入mysql数据库报ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/tmp/mysql.s

报错：ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ (2)解决方法：指定mysql.sock文件有的可能要指定一下地址加上 -h ip即可，我这里可能是因为配置文件里指定的地址是0.0.0.0[mysqluser@VM-8-3-centos mysql]$ ./b

吃葡萄不吐西瓜皮~
2021-09-29 14:55:40

 817

#mysql #linux #big data
数据清洗第六章作业

1.打开kettle工具，新建转换使用kettle工具，创建一个转换generalization,并添加相应的控件，具体效果如图6-1所示：图6-1 创建转换generalization2.配置文本文件输入控件6-2 配置文本文件选项卡6-3 配置内容选项卡6-4 配置字段选项卡3.配置字段选择控件6-5 字段选择选项卡的配置4.配置排序记录控件6-6 配置排序记录控件5.配置表输入控件图6-7.

天天担心秃头的弱鸡
2021-11-17 22:10:59

 905

#big data #json #database
linux执行spark-shell卡住

linux系统中执行spark-shell卡住执行操作：spark-shell现象：长时间卡住不动原因：解决办法：

WBW_WBW
2021-09-09 14:52:32

 1153

 1

#spark #linux #big data
mall电商day01 mybatisGenerator生成器数据库连接失败解决

pom依赖Mysql数据库驱动和 druid数据版本不匹配获取最新版驱动8.0.26MySQL Connector/JDruid Spring Boot Starter1.2.8

Fei_g
2021-10-07 10:32:43

 428

#big data #mysql #数据库
spark执行结果不打印日志,pom.xml配置

spark打印日志设置

 KANGBboy
2022-01-16 15:19:58

 1374

#spark #大数据 #big data
数据清洗有哪些方法？

随着大数据时代的发展，越来越多的人开始投身于大数据分析行业。当我们进行大数据分析时，我们经常听到熟悉的行业词，如数据分析、数据挖掘、数据可视化等。然而，虽然一个行业词的知名度不如前几个词，但它的重要性相当于前几个词，即数据清洗。顾名思义，数据清洗是清洗脏数据，是指在数据文件中发现和纠正可识别错误的最后一个程序，包括检查数据一致性、处理无效值和缺失值。哪些数据被称为脏数据？例如，需要从数据仓库中提

 尚硅谷铁粉
2021-10-20 10:29:10

 1679

#r语言 #big data #python
上传Excel到HBase数据库（POI、poi-ooxml）

调用poi操作excel，再使用HBase的API将数据上传到HBase数据库

 Eleven爱Eason
2022-01-05 19:20:55

 1625

 1

#hbase #数据库 #big data
json数据写进数据库以及mybatisplus的增删改查

2.mapper举例（可加注释@Component，因项目里配置过，所以我这里没加。4.controller 举例。1.实体类举例（市区同理）3.server举例。

Natalia_Portman
2021-08-31 10:18:45

 1184

#json #big data #java +2