nlp标签_魔乐社区

nlp

大模型（LLM）面试全解：主流架构、训练目标、涌现能力全面解析

涌现能力（Emergent Capabilities）指模型在参数规模增加后，表现出一些原本无法完成或难以完成的任务能力。主流的开源模型体系：当前大模型主要分为三大类架构——Encoder-Decoder、Causal Decoder、Prefix Decoder，各自具有针对性强的特点和适用场景。

大模型铲屎官
2025-01-08 17:41:54

 1722

 11

#人工智能 #nlp #架构 +1
【面经】超全版本AIGC算法工程师面经

对于所有的相关经历，都是跟面试官聊技术（举例，提供参考方向）从数据规模、特征、指标、目前使用的模型方法、项目难点详细介绍。

邵院Rookie
2024-06-23 16:59:53

 2970

 31

#AIGC #算法 #python +4
spaCy中流程包zh_core_web_sm的手动安装（Macbook）

为了运行nlp = spacy.load("zh_core_web_sm")，官方提供的$ python -m spacy download zh_core_web_sm 安装失败，所以只能手动安装1.打开https://spacy.io/models/zh找到RELEASE DETAILShttps://github.com/explosion/spacy-models/releas

m0_70294827
2022-05-25 12:38:53

 4845

#自然语言处理 #人工智能 #nlp
GitRead推荐-【Bark】又一音频模型来袭！

它能够产生如笑声、叹息和哭声等非语言交流，想想看，这对于游戏、动画和虚拟现实等娱乐领域有多大的作用！: Bark 是一个基于 GPT 架构的生成式文本到音频模型，能够生成多语言的高逼真度语音及其他音频。: 模型使用 EnCodec 进行音频量化表示，并借鉴了 AudioLM 和 Vall-E 的架构。: Bark 使用 Hugging Face 下载和缓存模型，并提供预训练的模型检查点，支持研究和

 SeqAI
2024-07-10 18:09:50

 370

 1

#音视频 #人工智能 #github +1
知识图谱开源库

一、openkghttp://openkg.cn/home二、DBPediahttps://github.com/dbpedia/dbpedia/tree/master/tools/DBpediaAsTables三、LOD(Linked Open Data)https://lod-cloud.net/四、cnSchemahttps://cnschema.org/五、Linked Open Sche

轻松仁——极简生活
2021-03-11 22:39:44

 1141

#nlp #自然语言处理 #机器学习
用于文本到视觉评估的 VQAScore

多模态评估：用于文本到视觉评估的 VQAScore

汨莜
2024-08-07 11:04:51

 643

 5

#人工智能 #深度学习 #nlp
模型训练加速策略：掌握数据并行的力量

在深入讨论之前，我们首先需要理解何为“数据并行”（Data Parallelism）。数据并行是并行计算的一种形式，它涉及到在多个处理单元（如GPU）上同时执行计算任务。在深度学习中，这意味着模型可以在不同的GPU上同时训练，每个GPU处理数据集的不同部分。

大拨鼠
2024-05-08 11:00:00

 1311

 10

#nlp #深度学习 #机器学习 +1
NLP:自定义模型训练

下面放一张跑的效果图，因为我数据只用了几个，所以他报错训练集容量太小，这个我之后得慢慢把数据提取出来才行（这个时候才知道数据标记的繁琐性）。代码修改我就不放了，CSDN我会常登，大家关注并私聊我，或者直接加q群（681511486）我过一段时间会发哈。用的模型是中文模型，但是文档的语言用的则是英文，所以他就检测冲突了，只需要把lang的值修改为"zh"即可。要不是我看了好几遍，我真找不到这玩意下载

 钢盔兔
2024-03-07 15:59:02

 824

 5

#nlp
文本数据清洗

HTML 标签和 HTML的特殊实体字符。在网页上爬文本后要注意清洗。

K1LYZ
2023-08-01 14:33:08

 252

#nlp
Pandas数据清洗总结

# 导入import numpy as npimport pandas as pd# 查看版本pd.__version__文本文件的读取：对于csv或txt后缀的文本文件，用read_csv函数来实现文件的导入。重要参数的含义如下pd.read_csv(file_path_or_buffer, #指定导入文件的具体路径sep = ', ', # 指定元数据中各种变量之间的分割符，默认是逗号，可自

 Lyttonkeepgoing
2022-04-21 18:31:57

 1127

#机器学习 #自然语言处理 #nlp +2
数据清洗实例

在自然语言处理中，往往我们拿到一份数据，不能直接使用，需进行预操作，把数据转化成我们需要的样子。下面介绍一下基本的数据清洗操作：代码：import refrom nltk.corpus import stopwordss = 'RT @Amila #Test\nTom\'s newly listed Co & Mary\'s unlistedGroup to supply tech

不写代码的程序员~zs
2021-08-06 10:05:49

 675

#python #自然语言处理 #知识图谱 +2
NLP实战：使用Bert4Keras工具包+Colab实现命名实体识别NER任务

背景：目标：快速上手实现一个基于BERT和CRF的命名实体识别（NER）任务。适宜人群：希望使用Bert来进行NER任务的NLP初学者。同时大概知道如何使用keras和Colab使用免费GPU的伙伴们。问题：1，为什么要用BERT，什么是bert4keras工具包？BERT最近几年大火，因为提供了高效的预训练方法。许多NLP任务上取得了非常好的效果。但是现在的BERT并不是很好使用，...

Dtacit
2020-02-16 22:27:10

 5843

 5

#nlp #python #机器学习 +2
NLP（二）（问答系统搭建（1））

什么是问答系统？问答系统是用户提出一个问题，系统匹配用户这个问题相似度最高的问题给出答案；类似于淘宝购物的机器人客服自动回复系统。问答系统搭建的思路接下来用一个案例来说明问答系统搭建的思路首先我们得准备数据，那么问答系统的数据是什么呢？就是我们需要提供一个语料库，这里边存在这常见问题的答案（一对一的形式）这里我引用一个培训机构的客服系统的语料库来演示：如何根据这个语料库匹配问...

NLProokie
2020-04-08 22:12:10

 2560

 2

#自然语言处理 #人工智能 #nlp +1
词性标注和命名实体识别

词性标注import jieba.posseg as psg #加载 jieba 模块中的分词函数sent = "去森林公园爬山。"for w,t in psg.cut(sent):print(w,"/",t)命名实体识别构建训练集和测试集：import osdef corpus(corpus_path):data = open(corpus_path,encodin...

孔夫子的高压锅
2020-04-29 12:57:30

 622

#python #nlp #自然语言处理
【代码复现】知识表示学习MHGRN预处理操作（四）

Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering将外部知识融入模型进行推理学习，在CommonsenseQA数据集中取得SOTA的效果。采用的外部知识为conceptNet代码分为5步：下载相关数据集对数据集进行预处理超参数搜索（可选）训练评估本部分主要讲解第2部分----数据集预处理。上

 桐原因
2022-04-12 22:49:18

 1480

#深度学习 #nlp
基于发电厂知识问答库的检索式问答系统（python有代码）

之前写过基于倒排表的问答系统。基于倒排表的电力调度知识问答系统构建问答系统所需要的数据已经提供，对于每一个问题都可以找得到相应的答案，所以可以理解为每一个样本数据是 <问题、答案>。那系统的核心是当用户输入一个问题的时候，首先要找到跟这个问题最相近的已经存储在库里的问题，然后直接返回相应的答案即可。由于作者是学电气的，这里以发电厂知识文本来构建问答系统该篇是低配版的问答系统，思路不如

 总裁余(余登武)
2020-12-26 16:12:01

 2370

 7

#nlp #算法 #python
数据预处理：去标点符号

我们在进行nlp任务时都需要进行数据清洗，我们可以简单的选择string.punctuaion直接去除符号，但是有时候会，文本中不仅仅只有英文符号，因此一般的做法时自定义要去除的符号。方法如下：#定义符号punctuation = r"""!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~“”？，！【】（）、。：；’‘……￥·"""#转换字典dicts={i:''

Diobld
2022-03-18 21:45:56

 1430

#python #nlp
中文医疗问答系统项目

该项目基于开源医疗数据，实现对疾病的相关知识查询，主要包含四部分内容：1.基于医疗数据构建知识图谱2.基于BILSTM-CRF模型实现医疗命名实体识别3.基于textCNN模型实现医疗问句意图识别4.构建槽位，基于2，3识别的结果实现cypher语句查询，支持多轮对话项目代码结构：参考链接：模型：https://www.bilibili.com/video/BV1ev4y1o7zj/?

ZSXHZXY
2024-09-05 17:36:54

 1871

 34

#知识图谱 #nlp #python
一、RNN模型与 NLP应用 —— 数据预处理

一、RNN模型与 NLP应用 —— 数据预处理前言数据处理简介:文本处理的步骤(1.-6.):使用逻辑回归(LR)训练情感分类: - 效果不好Simple RNN前言本文为王树森教授的《RNN模型与NLP应用》授课学习笔记数据处理简介:主要为文本数据的处理过程. 文本数据包含数值化描述(Numeric Features), 和类别化描述(Categorical Features).数值化描述如

 地瓜你个大番薯
2022-04-18 14:50:16

 2073

#nlp #深度学习 #人工智能 +2
命名实体识别系列（一）NER任务介绍

命名实体识别系列（一）NER任务介绍前言博主为某校研究生，目前研二，经历过两段NER工作的实习，也投了一篇NER相关的论文。准备在今年（2021）开一个关于NER的系列博客，分专题由浅入深地从实践需求和学术论文等方面对NER做一个体系梳理。因个人能力和水平有限，并非该领域的资深专家，难免有不少疏漏和不妥甚至错误之处，恳请同行批评指正。注：以边学边做，边学边写的方法，对某些问题的理解会出现变化，因此

 一鸣鸣
2021-02-26 19:46:25

 4948

 2

#nlp #知识图谱
【机器学习】—机器学习和NLP预训练模型探索之旅

随着数据量的增加和计算能力的提升，机器学习和自然语言处理技术得到了飞速发展。预训练模型作为其中的重要组成部分，通过在大规模数据集上进行预训练，使得模型可以捕捉到丰富的语义信息，从而在下游任务中表现出色。

简单学C
2024-05-23 23:18:13

 4540

 108

#gpt-3 #nlp #机器学习 +1
Qwen2-1.5B-Instruct Lora微调

最近做了一个基于Qwen2-1.5B-Instruct模型的比赛，记录一下自己的微调过程。怕自己以后忘了我就手把手一步一步来记录了。大多数都是给小白看的，如果你是小白建议你用jupyter运行，按照我这个模块一块一块运行，如果你是高手单纯的想找一个训练代码直接看模块10，我在提供了完整代码。

十分钟ll
2024-07-24 17:40:18

 3754

 40

#深度学习 #人工智能 #自然语言处理 +3
MinerU：最强文档解析多模态大模型

MinerU是一款由OpenDataLab开源的多模态文档智能解析工具链，旨在将PDF等非结构化文档转化为机器可读的结构化数据。MinerU支持多种输出格式（Markdown/LaTeX/HTML/JSON），可处理复杂版式文档，并针对重叠元素设计了智能后处理算法。该工具填补了开源社区在高精度文档理解基础设施方面的空白，为构建高质量大模型语料库提供了工业级解决方案。

代号。。。。。。。
2025-10-03 16:43:49

 3828

 23

#开源 #人工智能 #视觉检测 +2
大模型基础 | dropout机制

Dropout机制摘要 Dropout是一种有效的神经网络正则化技术，通过随机"丢弃"部分神经元(概率p)来防止过拟合。其核心原理包括：1)作为模型集成方法，训练多个子网络；2)减少神经元依赖，增强特征鲁棒性。训练时需引入1/(1-p)的缩放因子保持期望一致，但会增大方差。AlphaDropout通过仿射变换调整丢弃值，保持数据统计特性。这种机制简单高效，能显著提升模型泛化能力

 pk3725069
2025-09-26 18:12:25

 1584

 34

#自然语言处理 #transformer #nlp +4
python中文情感分析---基于包含分数的情感词典实现对于各语句的情感分析的方案

python情感分析系统1.此文主要研究方向为:基于包含分数的情感词典实现对于各语句的情感分析；2.情感分析主要基于文本数据，是自然语言处理（NPL）的主要内容。情感分析：又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网（如微博、论坛、知乎、豆瓣等）上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们

 xhr0p
2023-06-07 15:15:45

 1352

 1

#人工智能 #python #nlp
python--jiaba库的基本使用

你可以通过。

m0_71212744
2024-06-27 11:32:49

 1026

 15

#windows #python #nlp
通过代理服务器连接 huggingface下载数据集或模型

通过代理服务器连接 huggingface下载数据集或模型

 道纪书生
2024-07-05 15:13:07

 3302

 3

#人工智能 #python #nlp +1
自然语言处理-应用场景-文本生成：Seq2Seq --＞文本识别(OCR)【图片--＞图片中的文本】

人工智能-自然语言处理(NLP)-应用场景：文本识别

 u013250861
2021-02-27 22:11:15

 586

#人工智能 #自然语言处理 #nlp
自然语言处理【NLP】系列之文本分类——为情绪识别微调BERT（小白级入门教程）

本篇博文主要用来学习如何为一个文本分类任务微调BERT模型，本次具体要做的任务是情绪识别，属于入门级教程哦！

谢_小_白
2025-05-27 14:33:31

 1260

 16

#自然语言处理 #bert #人工智能 +1
AI人工智能字节团队提出猞猁Lynx模型：多模态LLMs理解认知生成类榜单SoTA

其中，InstructBLIP 在多数任务中也实现了高性能，但其回复过于简短，相较而言，在大多数情况下 Lynx 模型在给出正确的答案的基础上提供了简明的理由来支撑回复，这使得它对用户更友好（部分 cases 见后文 Cases 展示部分）。然而，这些模型的性能严重依赖于对网络结构、训练数据和训练策略等方案的选择，但这些选择并没有在先前的文献中被广泛讨论。基于实验结论，作者提出了 Lynx，与现有

 人工智能chatGPT培训咨询讲师叶梓
2024-03-07 11:43:08

 560

#人工智能 #数据挖掘 #nlp +1
【深度学习】【NLP】NLP课件整理第四章：RNN,LSTM,GRU,注意力机制,Attention

文档：4.1 认识RNN模型.note了解什么是RNN模型.了解RNN模型的作用.了解RNN模型的分类.文档：4.2 传统RNN模型.note了解传统RNN的内部结构及计算公式.掌握Pytorch中传统RNN工具的使用.了解传统RNN的优势与缺点.文档：4.3 LSTM模型.note了解LSTM内部结构及计算公式.掌握Pytorch中LSTM工具的使用.了解LSTM...

文西·达
2020-04-24 18:16:53

 1447

#nlp
nlp处理技术-文章分类java实现方案

项目背景：为了解决采集的文章，智能进行文章分类因为本人是java代码，看java jar比较爽。于是选择了fasttext4j ( facebook开发源代码，底层是c++，做的jar)业务实现流程1：采集一个目标文章网站，文章内容+栏目id2：整理数据样本。把mysql数据转移到File。作为fasttext4j的数据样本。样本数据如图，本人花了3小时下载的模...

q1457797371
2019-03-07 19:13:46

 1889

#nlp #自然语言处理
FlowyAIPC v4.0.5 正式发布文生图功能，本地 AI 创作再进一步

还针对 WinML 的 NPU 系列模型增加了更多用户引导与提醒，包括硬件适配提示、使用条件说明等，帮助用户在使用本地模型时更清楚地了解设备支持情况，降低上手成本，减少试错。，同时对 WinML NPU 系列模型的使用引导进行了加强，让更多用户可以更清楚、更安心地使用本地 AI 能力。如果设备暂不满足本地文生图功能最低配置，也可直接使用云端文生图模式，无需额外配置即可体验完整功能。，体验全新的文

 FlowyAIPC
2026-01-20 15:54:33

 472

 5

#人工智能 #计算机视觉 #语言模型 +4
二、【word2vec学习路线】语言模型分层优化

上篇介绍了神经网络语言模型，因为每次训练都与词表大小线性相关，所以too expensive。本篇主要介绍word2vec里面应用的一种加速优化的方法可以把O(|V|)复杂度降至O(log|V|)

笨猴兄_倒腾数据
2014-03-04 16:50:29

 2363

#nlp #数据挖掘 #机器学习 +1
什么是联邦学习？

联邦学习：数据不出门，智慧走出去联邦学习是一种分布式机器学习方法，允许多个参与方（如医院、银行、手机用户）在不共享原始数据的情况下，通过交换模型参数（如梯度、权重）协作训练全局模型。其核心是“数据不出本地，仅共享学习成果”，既保护隐私（符合GDPR等法规），又能打破数据孤岛，提升模型性能。工作流程：中央服务器下发初始模型→各参与方本地训练并上传参数→服务器聚合更新→循环迭代优化。类型：横向联

 闲看云起
2025-07-22 15:56:38

 1323

 9

#人工智能 #语言模型 #nlp
中文文本情感分析

中文文本情感分析

 QiuRiRuQin
2024-11-15 15:20:15

 510

 2

#数据分析 #python #nlp
一文弄懂关于循环神经网络(RNN)的Teacher Forcing训练机制

文章目录一 RNN在训练过程中的问题二 RNN的两种训练模式三什么是Teacher Forcing四 Free-Running vs Teacher Forcing 实例4.1 Free-running 训练过程4.2 Teacher-Forcing 训练过程五 Teacher Forcing的缺点及其解决办法5.1 Teacher Forcing的缺点5.2 集束搜索(Beam Search)

Alanaker
2019-04-08 16:07:11

 3.5w

 133

#nlp #rnn
LLM大模型微调入门Lora（LlamaFactory）

是一个开源框架，旨在简化大型语言模型的定制化微调流程。该框架整合了多样化的训练策略与监控工具，支持通过命令行界面（CLI）和网页用户界面（WebUI）等多种方式进行交互，显著降低了进行模型微调所需的技术门槛。通过 LLaMA-Factory，用户能够更加高效、便捷地调整模型以适应特定的应用场景或数据集，进而提升模型性能和应用效果。

little fly
2024-11-12 10:06:25

 2531

 28

#nlp
【环境问题】医疗知识图谱的问答系统 —— QABasedOnMedicaKnowledgeGraph

项目项目介绍：医药领域知识图谱快速及医药问答项目系统搭建：【搭建】医疗知识图谱的问答系统搭建环境中遇到的问题：【环境知一点】医疗知识图谱的问答系统原项目地址项目参考修改版(已附注释)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Overridepublic void run() {bytes = mmInStre

瓶子Amme
2020-08-28 10:12:13

 953

#nlp #python #知识图谱
NLTK自然语言处理实战：4.1 信息提取

摘要信息提取是从文本中自动提取结构化信息的技术，主要包括命名实体识别、关系提取和文本分块等任务。NLTK提供了丰富的工具实现这些功能：通过RegexpParser实现文本分块，ne_chunk进行命名实体识别，结合正则表达式和规则方法实现关系提取。代码示例展示了如何从文本中提取名词短语、识别人名地名等实体，以及发现"出生于"、"创立了"等实体间关系。最后通

 火马编程
2026-01-01 06:06:27

 1160

 9

#自然语言处理 #人工智能 #nlp
AI界炸锅了！马斯克重磅官宣：Grok 4大模型7月10号直播亮相 | AI早报

1、元石科技推出"自反思生成范式"大模型，性能对标OpenAI o3-mini2、苹果AI核心人物跳槽Meta！年薪飙至9位数，团队士气受重创3、腾讯混元3D大模型震撼升级！美术级3D生成技术突破行业瓶颈4、张文涛团队推出DataFlow系统：AI数据治理新时代来临！5、美团领投8.75亿！前华为大牛创立的它石智航再获资本热捧6、实在智能欧阳小刚：Agent端侧性能超GPT-4o 10%，一体机3

OC??
2025-07-08 21:10:29

 1243

 29

#人工智能 #业界资讯 #nlp
【Transformers实战篇2】练习之命名实体识别

命名实体识别（Named Entity Recognition，简称NER）是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：① 实体边界识别 ② 确定实体类别（人名、地名、机构名或其他）例：“小明在北京上班”实体类别实体地点北京人物小明。

hjxu2016
2024-09-27 16:10:53

 1189

 12

#nlp
【保姆级教程】Hugging Face Transformers 入门：一行代码玩转 GPT2 文本生成

在大模型应用开发的浪潮中，Hugging Face（抱抱脸）绝对是绕不开的神器！作为 AI 领域的 "GitHub"，Hugging Face 提供了海量预训练模型和极简的调用接口，而库更是将大模型的使用门槛降到了极致 —— 哪怕你是刚入门的 Python 新手，也能在几分钟内实现 GPT2、BERT 等顶尖模型的调用。本文就以 GPT2 文本生成为例，手把手教你快速上手 Hugging Face

Dr_Daniel666
2026-01-20 21:39:55

 823

 23

#深度学习 #python #transformer +1
爆肝何恺明的视觉预训练新范式MAE！

何恺明大神在去年11月发表了一篇新论文：Masked Autoencoders Are Scalable Vision Learners证明了 masked autoencoders（MA...

Amusi（CVer）
2022-01-12 13:05:00

 537

#计算机视觉 #神经网络 #人工智能 +2