接触各种AI工具到现在也快两年了,今年和同学陆续做了一些AI应用的科普宣讲,在这过程中收集了不少自学资源,特地挑出一部分整理成以下的内容。

书籍


大模型应用开发极简入门:基于GPT-4和ChatGPT

首推今年年初出版的《大模型应用开发极简入门:基于GPT-4和ChatGPT》,小红书上也有人叫它“章鱼书”(实际上是刺蛇尾Ophiothrix spiculata)。

https://www.oreilly.com.cn/index.php?func=book&isbn=978-7-115-63640-9

这本书应该是目前综合下来最好的大模型应用入门类书籍,从大模型的基础概念和发展史讲起:

  • 第 1 章 初识 GPT-4 和 ChatGPT

  • 1.1 LLM 概述

  • 1.1.1 探索语言模型和 NLP 的基础

  • 1.1.2 理解 Transformer 架构及其在 LLM 中的作用

  • 1.1.3 解密 GPT 模型的标记化和预测步骤

  • 1.2 GPT 模型简史:从 GPT-1 到 GPT-4

  • 1.2.1 GPT-1

  • 1.2.2 GPT-2

  • 1.2.3 GPT-3

  • 1.2.4 从 GPT-3 到 InstructGPT

  • 1.2.5 GPT-3.5、Codex 和 ChatGPT

  • 1.2.6 GPT-4

第一章就有案例帮助读者深入浅出地理解大模型的落地应用:

  • 1.3 LLM 用例和示例产品

  • 1.3.1 Be My Eyes

  • 1.3.2 摩根士丹利

  • 1.3.3 可汗学院

  • 1.3.4 多邻国

  • 1.3.5 Yabble

  • 1.3.6 Waymark

  • 1.3.7 Inworld AI

  • 1.4 警惕 AI 幻觉:限制与考虑

  • 1.5 使用插件和微调优化 GPT 模型

  • 1.6 小结

第二章直接开讲OpenAI的API调用:

  • 第 2 章 深入了解 GPT-4 和 ChatGPT 的 API

  • 2.1 基本概念

  • 2.2 OpenAI API 提供的可用模型

  • 2.3 在 OpenAI Playground 中使用 GPT 模型

  • 2.4 开始使用 OpenAI Python 库

  • 2.4.1 OpenAI 访问权限和 API 密钥

  • 2.4.2 Hello World 示例程序

  • 2.5 使用 GPT-4 和 ChatGPT

  • 2.5.1 ChatCompletion 端点的输入选项

  • 2.5.2 ChatCompletion 端点的输出格式

  • 2.5.3 从文本补全到函数

  • 2.6 使用其他文本补全模型

  • 2.6.1 Completion 端点的输入选项

  • 2.6.2 Completion 端点的输出格式

  • 2.7 考虑因素

  • 2.7.1 定价和标记限制

  • 2.7.2 安全和隐私

  • 2.8 其他 OpenAI API 和功能

  • 2.8.1 嵌入

  • 2.8.2 内容审核模型

  • 2.8.3 Whisper 和 DALL · E

  • 2.9 小结(含速查清单)

第三章就开始教你构建基于大模型的应用了,还有示例项目:

  • 第 3 章 使用 GPT-4 和 ChatGPT 构建应用程序

  • 3.1 应用程序开发概述

  • 3.1.1 管理 API 密钥

  • 3.1.2 数据安全和数据隐私

  • 3.2 软件架构设计原则

  • 3.3 LLM 驱动型应用程序的漏洞

  • 3.3.1 分析输入和输出

  • 3.3.2 无法避免提示词注入

  • 3.4 示例项目

  • 3.4.1 项目 1:构建新闻稿生成器

  • 3.4.2 项目 2:YouTube 视频摘要

  • 3.4.3 项目 3:打造《塞尔达传说:旷野之息》专家

  • 3.4.4 项目 4:语音控制

  • 3.5 小结

第四章包括了提示词和微调的技巧:

  • 第 4 章 GPT-4 和 ChatGPT 的高级技巧

  • 4.1 提示工程

  • 4.1.1 设计有效的提示词

  • 4.1.2 逐步思考

  • 4.1.3 实现少样本学习

  • 4.1.4 改善提示效果

  • 4.2 微调

  • 4.2.1 开始微调

  • 4.2.2 使用 OpenAI API 进行微调

  • 4.2.3 微调的应用

  • 4.2.4 生成和微调电子邮件营销活动的合成数据

  • 4.2.5 微调的成本

  • 4.3 小结

第五章讲LangChain和API插件:

  • 第 5 章 使用 LangChain 框架和插件增强 LLM 的功能

  • 5.1 LangChain 框架

  • 5.1.1 动态提示词

  • 5.1.2 智能体及工具

  • 5.1.3 记忆

  • 5.1.4 嵌入

  • 5.2 GPT-4 插件

  • 5.2.1 概述

  • 5.2.2 API

  • 5.2.3 插件清单

  • 5.2.4 OpenAPI 规范

  • 5.2.5 描述

  • 5.3 小结

  • 5.4 总结

如果只读一本书,那么这本就是目前最全最容易上手的教材。缺点就是这本书是译制书,有些用语读起来可能不如本土化教材那么顺畅。

GPT 图解 - 大模型是怎样构建的!

黄佳老师之前出版过好几本和数据分析与机器学习相关的书籍。这本《GPT 图解 - 大模型是怎样构建的!》花费了很大的篇幅用图解的方式对大模型的原理进行了揭秘,在GPT原理解释上比上面那本书还要来得深入,缺点是实战案例相对没那么多,而且售价将近80元。

当然,如果你有条件可以顺便把黄佳老师的另一本书《动手做AI Agent》也一并买了:

这两本书在Github上都有对应的示例和代码:

  • GitHub - huangjia2019/llm-gpt: 异步图书 《GPT图解 大模型是怎样构建的!》

  • GitHub - huangjia2019/ai-agents: 异步图书 《大模型应用开发 动手做AI Agent》

大规模语言模型:从理论到实践

如果之前提到的那本书你嫌贵,又想看正规、免费、系统的教材,网上也有。

这里先推荐复旦大学计算机科学技术学院团队出品的《大规模语言模型:从理论到实践》:

一共八章课件(PPT格式):

  • 第一章 绪论

  • 第二章 大语言模型基础

  • 第三章 大语言模型预训练数据

  • 第四章 分布式模型训练

  • 第五章 有监督微调

  • 第六章 强化学习

  • 第七章 大语言模型应用

  • 第八章 大语言模型评估

整本书在这里(pdf格式):https://intro-llm.github.io/chapter/LLM-TAP.pdf

Github


如果你不是编程小白,熟悉Github的话,大模型相关的优质资源就更多了。

Datawhale

首先找到这个Github账号:Datawhale

然后到Repo下面按Stars排序,那么你就得到了一片和机器学习、深度学习、大模型等知识构成的海洋:

和大语言模型相关且热度比较高的repo有这几个,你可以clone到本地慢慢啃:

  • https://github.com/datawhalechina/llm-cookbook

  • https://github.com/datawhalechina/self-llm

  • https://github.com/datawhalechina/llm-universe

  • https://github.com/datawhalechina/so-large-lm

动手学大模型Dive into LLMs系列

当然Github上的宝藏坑位也不止一个,还有Github用户Lordog和其他6个Contributor开源的教程:《动手学大模型Dive into LLMs》系列编程实践教程,本质是上海交大《人工智能安全技术》课程的拓展。

llm-action

还有一个比较推荐的是知乎答主吃果冻不吐果冻皮在Github上的llm-action项目:https://github.com/liguodongiot/llm-action

从目录上看这比前两个Github教程更全面和连贯,也更系统。如果你只打算找一个Github项目来全面了解大模型,那么选这个就没错了:

  • 🐌 LLM训练

  • 🐫 LLM训练实战

  • 🐼 LLM参数高效微调技术原理

  • 🐰 LLM参数高效微调技术实战

  • 🐘 LLM分布式训练并行技术

  • 🌋 分布式AI框架

  • 📡 分布式训练网络通信

  • 🌿 LLM训练优化技术

  • ⌛ LLM对齐技术

  • 🐎 LLM推理

  • 🚀 LLM推理框架

  • ✈️ LLM推理优化技术

  • ♻️ LLM压缩

  • 📐 LLM量化

  • 🔰 LLM剪枝

  • 💹 LLM知识蒸馏

  • ♑️ 低秩分解

  • 🌿 LLM测评

  • 🌴 LLM数据工程

  • 🐬 LLM微调高效数据筛选技术

  • 🌀 提示工程

  • ♍️ LLM算法架构

  • 🧩 LLM应用开发

  • 🀄️ LLM国产化适配

  • 🔯 AI编译器

  • 🔘 AI基础设施

  • 🍁 AI加速卡

  • AI集群网络通信

  • 💟 LLMOps

  • 🍄 LLM生态相关技术

  • 💫 LLM面试题

  • 🔨 服务器基础环境安装及常用工具

大厂网课


AI-For-Beginners

除了个人和学术团体在Github上贡献的资源,大厂在AI方面的免费课程也是不少。如果你英文水平过关,那么完全可以看微软出品的12周24节的AI普及课:AI-For-Beginners。

这个课程覆盖面更广,包括了计算机视觉、多智能体系统等等内容,没有点毅力和耐心恐怕是啃不下来。

我记得其他几家大厂比如Google和Meta也有类似的课程,自己找一找吧。

视频


DeepLearning.ai

这个不用多说了,吴恩达出品,必是精品。有条件上官网可以看一下短期课程(Short Courses),基本上1-2个小时一门:Courses。

这些课程的汉化版也可以在B站上找到,稍显讽刺的是官方账号的视频内容和数量都没有自来水们上传的多,找到播放量最高的那几个视频就对了,全长二十几个小时,挑着看吧……

Github上也有中文版的笔记整理:https://github.com/fengdu78/deeplearning_ai_books


暂时大概就这些了,反正我觉得不要贪多,挑一个看的进去耐心看完,没耐心就导出成PDF或者Markdown又或者音频,让类似通义效率工具这类AI工具过一遍,总会有些收获的。

今天只要你给我的文章点赞,我私藏的大模型学习资料一样免费共享给你们,来看看有哪些东西。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

img

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

img

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐