几个nlp的小项目（文本分类）

导入加载数据类、评测类

load_dataset: 加载数据集
load_metric：加载评测类

在这里插入图片描述

查看数据集

在这里插入图片描述

精确展示数据

在这里插入图片描述

测评方法

传入 预测值和具体值

在这里插入图片描述

设置参数

task： 选择的任务，可加载数据集
model_checkpoint： 设置加载模型的名称
batch_size： 批量大小

在这里插入图片描述

distilbert-base-uncased模型介绍
在这里插入图片描述

tokenizer，token化的解释

数据喂入模型前，首先要对数据进行预处理操作。
预处理工具为：Tokenizer。 (Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。)

在这里插入图片描述

对数据集进行预处理

在这里插入图片描述

加载预训练模型进行训练

在这里插入图片描述

设置训练模型的参数

在这里插入图片描述

一个根据任务名获取，测评方法的函数

在这里插入图片描述
在这里插入图片描述

创建预训练模型

在这里插入图片描述

开始训练

在这里插入图片描述

本项目的工作完成了什么任务？

判断了 某个句子的语法是否正确，根据label进行反向传播训练！

在这里插入图片描述

# 自然语言处理 # 分类 # 人工智能
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模

avatar 魔乐社区
cover

量化挑战赛冠军专访：4小时啃下W4A8量化，我靠的是这些经验

avatar 魔乐社区
cover

替你试过了，消费级显卡可以跑的开源文生图SOTA模型，顶级渲染、高密度文本绘图

avatar 魔乐社区