通过这篇文章，你可以预训练一个全新大语言模型。

注意是全新的模型，不是微调

全新训练的好处是训练的数据、训练的参数都是可修改的，通过调试运行我们可以更好的理解大模型训练过程。我们可以用特定类型数据的训练，来完成特定类型数据的输出。

关于大模型已经有很多文章，微调模型的文章比较多，全新预训练全新模型的文章很少。有的也讲的很复杂，代码也很难跑通。本文不会讲的很复杂，代码也很容易运行。

一、准备训练环境

我的训练环境基于

• python 3.11
• requirements.txt

tokenizers==0.13.3
torch==2.0.1
transformers==4.30.2

二、准备训练数据

首先我们要为训练准备数据，比如我就想基于《罗密欧与朱丽叶》训练一个模型。

分词(tokenization) 是把输入文本切分成有意义的子单元（tokens）。 通过以下代码，根据我们的数据一个新的分词器：

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.normalizers import NFKC, Sequence
from tokenizers.pre_tokenizers import ByteLevel
from tokenizers.decoders import ByteLevel as ByteLevelDecoder
from transformers import GPT2TokenizerFast

# save model dir
save_path = "./shakespeare"

tokenizer = Tokenizer(BPE(unk_token="<unk>"))
tokenizer.normalizer = Sequence([NFKC()])
tokenizer.pre_tokenizer = ByteLevel()
tokenizer.decoder = ByteLevelDecoder()
special_tokens = ["<s>", "<pad>", "</s>", "<unk>", "<mask>"]
trainer = BpeTrainer(vocab_size=50000, show_progress=True,
                     inital_alphabet=ByteLevel.alphabet(), special_tokens=special_tokens)
files = ["text/remeo_and_juliet.txt"]
tokenizer.train(files, trainer)
newtokenizer = GPT2TokenizerFast(tokenizer_object=tokenizer)
newtokenizer.save_pretrained(save_path)

成功运行代码后，我们在 save_path 目录生成如下文件:

merges.txt
special_tokens_map.json
tokenizer.json
tokenizer_config.json
vocab.json

现在我们已经成功训练了一个大语言模型的分词器。

四、训练模型

利用下面代码进行模型训练：

from transformers import GPT2Config, GPT2LMHeadModel, GPT2Tokenizer
# save model dir
save_path = "./shakespeare"
# load tokenizer from pretrained
tokenizer = GPT2Tokenizer.from_pretrained(save_path)
tokenizer.add_special_tokens({"eos_token": "</s>", "bos_token": "<s>",
                             "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": "<mask>"})
# creating the configurations from which the model can be made
config = GPT2Config(
    vocab_size=tokenizer.vocab_size,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id
)
# creating the model
model = GPT2LMHeadModel(config)
# setting train data
dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./text/remeo_and_juliet.txt",
    block_size=128,
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer, mlm=False, mlm_probability=0.15
)
# setting train args
training_args = TrainingArguments(
    output_dir="./output",
    overwrite_output_dir=True,
    num_train_epochs=20,
    per_gpu_train_batch_size=16,
    save_steps=2000,
    save_total_limit=2,
)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset,
)
trainer.train()
model.save_pretrained(save_path)

运行比较耗时，成功运行代码，我们发现 save_path 目录下面多了三个文件:

config.json
generation_config.json
pytorch_model.bin

现在我们就成功生成训练出一个大语言模型。

五、测试模型

我们用文本生成，对模型进行测试代码如下:

from transformers import pipeline, set_seed
# test model
generator = pipeline('text-generation', model=save_path)
set_seed(13)
txt = generator("Hello", max_length=10)
print(txt)

六、完整代码

代码不是很多，如果初次运行有可能有很多环境问题，建议以Docker方式运行代码

docker build -t hellollm:beta .
# 可以选择以GPU方式运行
# docker run -it --gpus all hellollm:beta sh
docker run -it hellollm:beta sh
python hellollm.py

本文代码模型是基于GPT2的，当然你也可以基于LLama或者Bert等模型去实现全新的大语言模型。

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

本文转自 https://juejin.cn/post/7252198258134057017?searchId=20241023110352800AE7C03D3E595CD599，如有侵权，请联系删除。