bert标签_魔乐社区

bert

快速学会一个算法，BERT

今天给大家介绍一个强大的算法模型，BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 架构的深度学习模型，主要用于处理自然语言处理（NLP）问题。BERT 由 Google AI 的研究团队在 2018 年提出，。与之前单向读取文本的模型不同，BERT 通过考虑左右上下文来理解句子中的单词。这

 AI大模型_学习君
2024-09-24 11:43:56

 1895

 12

#算法 #bert #人工智能 +1
BERT架构——从开始到放弃

简单快速了解BERT架构

 努力学编程的小单
2022-12-03 14:49:22

 1557

#bert #深度学习 #人工智能
讲座-文本可读性 BERT模型训练双向通道

相较于可读性公式的方法，这个方法可以应用到更广的词法、句法、篇章的特征，缺点是需要设计这个特征。9、优点是简洁，缺点是比较依赖于研究者具有的专家式的语言学知识。

hlllllllhhhhh
2023-04-01 16:43:25

 237

#bert #人工智能 #深度学习
于BERT的中文问答系统13

为了进一步完善代码，使其在模型训练时可以加载现有模型继续训练，也可以训练新的模型并替代保存，同时强化数据处理和GUI界面，我们对12进行了以下是改进后的代码：1.模型训练选择：增加一个选项，让用户选择是继续训练现有模型还是从头开始训练新模型。2，数据处理强化：增加数据清洗步骤，确保数据的有效性和一致性。3.GUI界面增强：增加一个选项框，让用户选择训练模式（继续训练或从头训练），并优化用户交互体验

 weixin_54366286
2024-10-07 23:19:00

 766

 13

#bert #python #深度学习
BERT的中文问答系统48

我们对BERT的中文问答系统47代码进行了一些调整，以支持根据不同的数据集类型（例如历史类或聊天类）训练和保存不同类型的模型。此外，我们还在加载模型时根据问题的类型自动选择合适的模型。以下是修订后的代码：主要修改点：1.多模型支持：增加了 self.models 字典来存储不同类型的模型，并在 load_models 方法中加载这些模型。2.自动选择模型：在 get_answer 方法中，通过 d

weixin_54366286
2024-12-03 16:51:08

 854

 9

#bert #python #人工智能
基于Transformer的NLP下游任务实战之命名实体识别（纯小白）

现在大语言模型横行，其实命名实体识别任务完全可以通过大模型来做，无非就是猛猛的堆模型参数。但是作为NLP的一个基础任务，我认为多少还是需要掌握滴。博主本人也是小白，跟着B站上的大佬来学习，这里主要分享一下自学心得。希望可以帮到大家。总结一下吧，其实模型的训练无论是什么任务大致都是这几个步骤。我感觉只要把这几个步骤搞清楚吃透了，以后无论是什么任务大家应该都能信手拈来。本系列持续更新！

开普藤lol
2025-06-16 17:10:36

 1052

 8

#python #自然语言处理 #语言模型 +3
bert的实现-数据预处理

1、引入参数代码需要那个参数再回来查看parser = argparse.ArgumentParser()## Required parametersparser.add_argument("--data_dir",default=None,type=str,required=True,

Marshal～
2021-10-23 14:45:15

 2523

#bert #人工智能 #深度学习
自监督学习--Bert、GPT、自编码器

自监督学习--Bert、GPT、自编码器

 qq_47698599
2022-09-02 10:07:12

 1399

#学习 #bert #深度学习
李宏毅老师-自监督学习（Self-supervised Learning）Part3

慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！那么，为什么我们要先做BERT工作呢？越相近的字产生的向量越接近，如果与草、鸟与鱼等同时，BERT会根据上下文，不同语义的同一个字会产生不同的向量看看下图的例子，同一个果字对应的向量会不一样有两堆苹果一堆是吃的苹果（5个）一堆是苹果模型（5个）那么我们就可以发现，前5个果相似度高，前5个跟后5个相似度就低所以，BERT输

 想研究又不会研究的研究生
2022-05-08 14:17:22

 636

#深度学习 #机器学习 #bert +1
自然语言处理之情感分析：BERT：情感强度与情感极性分析

情感分析通常涉及两个关键概念：情感极性和情感强度。情感极性（Sentiment Polarity）指的是情感的正负倾向，通常分为正面、负面和中性。情感强度（Sentiment Intensity）则衡量情感的强烈程度，例如，一段文本可能表达出非常强烈的正面情感，或者只是轻微的负面情感。在实际应用中，理解情感的强度和极性对于准确分析用户反馈至关重要。情感极性（Sentiment Polarity）指

 zhubeibei168
2025-04-27 20:49:17

 1597

 16

#自然语言处理 #bert #easyui +3
BERT+CRF模型在命名实体识别(NER)任务中的应用

命名实体识别(Named Entity Recognition, NER)是自然语言处理中的一项基础性任务，旨在从非结构化文本中识别出具有特定意义的实体，并将其分类到预定义的类别中(如人名、地名、组织机构名等)。NER任务的典型应用场景包括：传统的NER方法主要基于规则和统计机器学习，而近年来深度学习尤其是预训练语言模型(BERT)与条件随机场(CRF)的结合已成为NER任务的state-of-t

Panesle
2025-05-02 22:25:25

 2520

 23

#bert #人工智能 #深度学习
Bert 实现情感分析任务

Bert 模型比之前的 Transformer 模型实现的情感分析效果要好，但是BERT 只是实现了 Encoder Layer，如果需要做更复杂的任务还需要 Decoder Layer，例如翻译，对话等等。表示与每个Token关联的实际内容，当 Q 对应的Token被认为是重要的，相应的值就会在输出中获得更多的关注，V决定了自注意力的输出。Q 在自注意力层中代表当前词，Q 帮助模型理解在特定上下

 hawk2014bj
2024-05-08 17:21:58

 2524

 15

#bert #人工智能 #深度学习
bert模型训练，加载保存的模型Can‘t load tokenizer for ‘/content/drive/MyDrive/Colab Notebooks/classification_mode

bert模型加载，报错“Can't load tokenizer for '/content/drive/MyDrive/Colab Notebooks/classification_mode”

若，谷
2022-07-20 21:18:22

 8458

 2

#bert #人工智能 #深度学习
BERT预训练

而GPT是任务无关的，但是从左到右编码上下文。BERTEncoder的前向推断给出了输入文本的每个词元和插入的特殊标记“”及“”的BERT表示。当输入为文本对时，BERT输入序列是“”、第一个文本序列的标记、“”、第二个文本序列标记、以及“”的连结。当输入为单个文本时，BERT输入序列是特殊类别词元“”、文本序列的标记、以及特殊分隔词元“”的连结。• 对于上下文敏感的词表示，如ELMo和GPT，词

 小张学不会
2024-04-10 17:50:49

 852

 5

#bert #人工智能 #深度学习
第七节自然语言处理和BERT

在 RNN 的训练过程中，由于激活函数的导数在某些情况下可能小于 1 或大于 1，当多个时间步的导数相乘时，很容易导致梯度变得非常小（梯度消失）或非常大（梯度爆炸）。：RNN 在处理每个时间步时，都需要依赖前一个时间步的隐藏状态进行计算，这种顺序计算的方式使得 RNN 难以并行化，计算效率较低。LSTM 是一种特殊的神经网络，它像一个智能的记忆管家，能够巧妙地控制信息的进出，精准地记住长序列数据中

 jyp2002
2025-03-20 11:25:36

 421

 3

#自然语言处理 #bert #人工智能
下载bert的预训练模型并加载训练教程

下载bert的预训练模型

 诗之本秋穂
2023-05-15 12:45:47

 7470

 20

#bert #深度学习 #pytorch
自然语言处理【NLP】系列之文本分类——为情绪识别微调BERT（小白级入门教程）

本篇博文主要用来学习如何为一个文本分类任务微调BERT模型，本次具体要做的任务是情绪识别，属于入门级教程哦！

谢_小_白
2025-05-27 14:33:31

 1260

 16

#自然语言处理 #bert #人工智能 +1
使用Transformers微调基于BERT模型做中文命名实体识别任务

【代码】使用Transformers微调基于BERT模型做中文命名实体识别任务。

Shy960418
2024-01-24 19:50:07

 813

 8

#bert #人工智能 #深度学习
kaggle竞赛宝典 | 10大顶级开源大模型！

IT行业的历史告诉我们，开源是软件领域里的一大潮流，它推动了应用生态的繁荣。但自从GPT3出现后，Open AI却选择了闭源，这使得开源大模型的发展似乎停滞在了GPT3.5的阶段。不过，业界还是有一些不错的前沿开源大模型，比如Meta的LLaMA3、Mistral 8x7B和零一万物的Yi-34B等。

双木的木
2024-05-26 11:15:19

 2056

 11

#人工智能 #python #算法 +2
《BERT基础教程：Transformer大模型实战》一本相见恨晚的大模型入门书（附PDF）

随着chatgpt的火热，大模型成为业界新的热点。而未来每个人，不仅仅是人工智能或者计算机行业从业者，未来的工作或多或少可能都会被大模型的影响。所以了解transformer为基础的大模型（Bert，gpt）就很有必要了。本书聚焦谷歌公司开发的 BERT 自然语言处理模型，由浅入深地介绍了 BERT 的工作原理、BERT 的各种变体及其应用。

小涂Ss
2025-01-06 15:03:38

 794

 14

#bert #transformer #人工智能 +1
EEG2Rep自监督脑电大模型文献阅读

EEG大模型相关文献阅读分享

 是小张子哇
2024-12-08 20:53:19

 1487

 24

#bert #图像处理
一张图看懂大模型性价比：能力、价格、并发量全面PK

百度最强模型的价格不变，但轻量模型把“厘时代”直接打到免费。不过需要注意的是，根据文心一言官网介绍，ERNIE Speed模型适用于精调，而精调还是要收费的。阿里云的模型全线降价，最强模型降幅低，轻量模型降幅高。所有价格应该都是经过了精密的测算，不会是随意拍的数。从价格来看还是颇有诚意，但初始支持的TPM/RPM稍显不足，企业在实际使用中需要对相关权益做好沟通。字节，火山引擎。当我们说起价格那些事

 爱吃鸡翅膀咯
2024-07-29 14:38:18

 830

 3

#人工智能 #AIGC #bert +1
基于B站热点评论数据文本分析，包括词频分析、BERT模型情感分析、LDA主题分析

主题数（num_topics=5）的选择需基于困惑度与一致性曲线的拐点分析：困惑度衡量模型对数据的拟合程度（值越低越好），一致性评估主题内词语的语义相关性（值越高越好），理想的主题数应使困惑度较低同时一致性较高，找到两者平衡的肘点位置。接下来，进行正则清洗的步骤。TF‑IDF（词频‑逆文档频率）是一种用于评估词语在文档集合中重要程度的统计度量方法，其核心思想是：一个词语在当前文档中出现次数越多（T

叫我：松哥
2025-12-29 16:19:07

 1205

 11

#bert #人工智能 #深度学习 +2
迁移学习：预训练模型 BERT 在小样本分类任务中的应用

迁移学习是一种机器学习技术，它通过将预训练模型的知识迁移到新任务上，显著减少对大量标注数据的需求。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer的预训练语言模型，在自然语言处理任务中表现出色。在小样本分类任务中（即只有少量标注样本），BERT 可以高效地微调，实现高准确率。在小样本分类任务中

 2501_93879851
2025-10-30 22:10:48

 474

 4

#迁移学习 #bert #分类
向预训练Bert添加自定义词汇

Bert是NLP常用的特征提取模型，但其预训练的时候通常规定了词语字典，例如中文Bert模型里缺少英文单词，英文Bert里缺少中文字词。这里归纳如何使用预训练Bert模型处理其训练数据中不包含的词汇。

fun_always
2023-06-17 20:28:42

 1198

#bert #自然语言处理 #人工智能
python实战（十四）——Bert-BiLSTM-CRF命名实体识别

本文使用人民日报BIO标注数据集进行了基于Bert-BiLSTM-CRF的命名实体识别建模实践。

CM莫问
2025-01-15 17:54:11

 6815

 73

#bert #人工智能 #深度学习 +2
Open-GroundingDINO微调实战详细教程

Grounding DINO微调教程

 zizz7177
2025-08-17 13:55:05

 4384

 42

#视觉检测 #transformer #bert +1
bert生成句向量(python)

bert生成句向量

 江湖夜雨十年灯丶
2022-02-24 14:39:27

 1720

 2

#python #bert #自然语言处理
BERT预训练

1、在NLP中的迁移学习中，使用预训练好的模型抽取词、句子的特征，不更新预训练好的模型，而是在需要构建新的网络来抓取新任务需要的信息，也就是最后面加上一个MLP做分类；在这个预训练任务中，将随机选择15%的词元作为预测的掩蔽词元，用一个特殊的“<mask>”替换输入序列中的词元。2、由于基于微调的NLP模型，也想要一个类似的东西，使预训练的模型抽取了足够多的信息，新任务只需要一个简单的输出层。#

ccdous
2024-08-07 16:56:18

 1597

 9

#bert #自然语言处理 #人工智能
即使给 BERT 加上下三角掩码（因果掩码），它也不等于 GPT2，两者的核心差异远超 “是否用下三角掩码” 这一点。关键区别体现在三个层面：预训练目标的本质不同、模型学到的 “知识模式” 不同，以及

下三角掩码只是 GPT2 实现 “自回归生成” 的必要条件，但不是充分条件。GPT2 是为 “生成” 而生：从预训练目标到掩码设计，全链路服务于 “根据前文生成后文”。BERT 是为 “理解” 而生：从预训练目标到双向注意力，全链路服务于 “根据上下文理解语义”。即使给 BERT 加上下三角掩码，它也只能算是 “用理解型模型强行做生成”，效果远不如原生 GPT2—— 这就像给显微镜装上望远镜的镜片

 MYH516
2025-07-24 20:54:06

 494

 4

#bert #人工智能 #深度学习
BERT 命名实体识别 (pytorch实现)

命名实体识别 BERT(pytorch实现)

Toady 元气满满
2022-05-22 12:16:13

 2497

 1

#pytorch #bert #nlp +1
文本分类任务中数据处理的关键技巧：标签不平衡与样本划分

假设当前样本为x_i，所选近邻样本为x_j，那么新生成的样本x_{new}可以表示为：x_{new}=x_i + \lambda(x_j - x_i)，其中\lambda是介于0到1之间的随机数。例如，若多数类与少数类的样本比例为r:1，可以将w_1 = r，w_0 = 1，这样模型在计算损失时，少数类样本的损失会被放大，促使模型更努力地学习少数类的特征。以二分类任务为例，假设原始数据中多数类占比

 IAMIF12
2025-10-13 11:53:07

 465

 8

#nlp #分类 #bert +2
BERT微调

2、对于序列级和词元级自然语言处理应用，BERT只需要最小的架构改变（增加需要训练的输出层），如单个文本分类（例如，情感分析和测试语言可接受性）、文本对分类或回归（例如，自然语言推断和语义文本相似性）、文本标记（例如，词性标记）和问答。#对前提和假设进行截断，使其总长度不超过 max_len - 3，为 BERT 的特殊词元 <CLS> 和 <SEP> 保留位置。我们只拿回答的那部分句子进行提取特

 ccdous
2024-08-07 17:55:33

 2548

 13

#bert #人工智能 #深度学习
小白学大模型：一文吃透 BERT！原理 + 实战运用全讲透

小白学大模型：一文吃透 BERT！原理 + 实战运用全讲透

 热爱python的小谢
2025-09-16 10:45:00

 1198

 15

#bert #人工智能 #深度学习 +3
bert自然语言处理框架

bert自然语言处理框架理解

 是十一月末
2025-04-01 14:03:22

 1740

 40

#自然语言处理 #bert #人工智能 +2
BERT中文实战---命名实体识别

我一直做的是有关实体识别的任务，BERT已经火了有一段时间，也研究过一点，今天将自己对bert对识别实体的简单认识记录下来，希望与大家进行来讨论BERT官方Github地址：https://github.com/google-research/bert，其中对BERT模型进行了详细的介绍，更详细的可以查阅原文献：https://arxiv.org/abs/1810.04805bert可...

小杨算法屋
2018-12-17 14:20:21

 3.7w

 14

#bert
Bert（Pytorch）预训练模型的使用，一看就会

bert预训练模型使用方法

 知道自己该有所突破
2022-06-07 22:47:38

 1.6w

 15

#pytorch #深度学习 #bert
Hugging Face 下载和加载预训练BERT模型的步骤

1、打开Hugging Face官网https://huggingface.co/docs/transformers/installation#offline-mode：2、访问Hugging Face模型库，搜索所需BERT模型变体如。3、根据你的框架选择合适的文件，（pytorch：pytorch_model.bin ；TensorFlow：tf_model.h5），把所有文件下载到本地：4、

manyu16
2025-11-18 09:34:50

 445

 8

#bert #深度学习 #pytorch