每日一看大模型新闻（2023.11.03）ChatGPT 真实参数只有 200 亿，首次被微软曝光！；深言科技联合清华开源语鲸 LingoWhale-8B 模型；Phind 模型超越 GPT-4
这些软件在测试中表现出色，可以解决众多算法问题，且硬件需求不高。这两套软件将来会开源，使更多人受益，而相应的论文也被接收到重要的程序设计语言顶会。通过文本、图像、视频混合的训练模式，提高了生成视频的质量和一致性，同时还降低了训练消耗。还提出了延时扩散模型，在预训练的扩散模型中引入时序层，使得模型在推理阶段具有更高的时间一致性。模型对学术研究完全开放，开发者通过邮件申请并获得官方商用许可后，即可免费
·
1.产品发布
1.1.深言科技联合清华开源语鲸 LingoWhale-8B 模型
发布日期：2023.11.03
https://blog.csdn.net/weixin_40920183/article/details/134213442
主要 内容 ：近日，由深言科 技与清华大学 NLP 实验室共同研发 的语鲸LingoWhale-8B 模型已面向社会开源。据介绍，LingoWhale-8B 模型是拥有约 80亿参数的中英双语大语言模型，在 C-Eval、MMLU、CMMLU 等多个权威的公开评测基准上，在 10B 以下开源模型中达到领先效果。LingoWhale-8B 模型对学术研究完全开放，开发者通过邮件申请并获得官方商用许可后，即可免费商用。
开源地址：
https://github.com/DeepLangAI/LingoWhale-8B
https://huggingface.co/deeplang-ai/LingoWhale-8B
1.2.幻方旗下深度求索发布免费开源大模型 DeepSeek Coder
发布日期：2023.11.03
https://zhuanlan.zhihu.com/p/664849454
主要内容：幻方的AGI研究组织“深度求索”发布了第一代大模型DeepSeek Coder，免费商用，完全开源，已进入内测。这一模型具有强大的代码生成能力，可以编写游戏、修改 UI、进行数据分析，是开源领域的亮点。深度求索将继续发布更多开源模型，致力于探索 AGI 的本质。幻方拥有大量英伟达 A100 芯片，专注于推动人工智能技术进步。
1.3.谷歌推出“先进天气预报 AI”MetNet-3，号称预测结果超过传统物理模型
发布日期：2023.11.03
https://www.ithome.com/0/729/873.htm
主要内容：当地时间 11 月 1 日，谷歌研究院于官网发布与 DeepMind 合作开发的天气模型 MetNet-3，该模型以之前的 MetNet 和 MetNet-2 为基础，能够提前24 小时对更多核心变量进行高精度预测，包括降水、表面温度、风速、风向和体感温度等。谷歌称已经在与天气相关的各种产品和技术中集成了 MetNet-3 的功能，目前在美国本土和欧洲部分地区推出，重点是 12 小时降水预报。
2.技术更新
2.1.Gen-2 颠覆 AI 生成视频！一句话秒出 4K 高清大片
发布日期：2023.11.03
https://mp.weixin.qq.com/s/GnTncBzzSuydrXgRhbBaCg
主要内容：Gen-2 在文生视频和图生视频中，为结果的保真度和一致性带来了重大改进。在图生视频（Image to Video）能力上，有网友拿着 PIKA 这位 AI 生成视频顶流，跟 Gen-2 做了一番比较。从整体结果上来看，Gen-2 目前无论是在画质的清晰度，视频的流畅度等方面，都是更胜一筹。相比于传统的文本控制扩散模型，Gen 通过文本、图像、视频混合的训练模式，提高了生成视频的质量和一致性，同时还降低了训练消耗。同时，Runway 还提出了延时扩散模型，在预训练的扩散模型中引入时序层，使得模型在推理阶段具有更高的时间一致性。
Gen-2 体验地址：https://research.runwayml.com/gen2
2.2.北大团队研发算法优化软件，普通笔电也能应对大型模型挑战
发布日期：2023.11.03
https://zhuanlan.zhihu.com/p/664873195
主要内容：北京大学团队成功开发了算法优化软件，通过结合程序演算和程序枚举方法，解决了大型模型难以应对的问题。他们设计了两套软件，一支持分治和动态规划问题，另一支持动态规划算法。这些软件在测试中表现出色，可以解决众多算法问题，且硬件需求不高。这一创新方法有望提高算法效率，为代码优化和应用性能提升提供了新途径。这两套软件将来会开源，使更多人受益，而相应的论文也被接收到重要的程序设计语言顶会。
2.3.Phind 模型超越 GPT-4，夺 Big Code 排行榜首
发布日期：2023.11.03
https://zhuanlan.zhihu.com/p/664863698
主要内容：Phind 声称代码能力超越 GPT-4，准确率高出 10%且速度接近 GPT-3.5。Phind 以 74.7%的 Pass@1 通过率登上 Big Code 排行榜首。它基于 CodeLlama-34B微调，在 H100 硬件上以每秒 100 个 token 的速度运行，是 GPT-4 的 5 倍。Phind上下文长度达 16k，其中 12k 供用户输入，4k 用于检索。引发广泛关注，有人支持其竞争力，但也有人表示无法复现 GPT-4 的代码。实际测试中，Phind 在某些情况下胜出，但在其他情况下略逊。不容忽视的是，Phind 的搜索能力和无需登录特点备受关注。
2.4.ChatGPT 真实参数只有 200 亿，首次被微软曝光！
发布日期：2023.11.03
https://zhuanlan.zhihu.com/p/664475189
主要内容：微软的一篇论文泄露了 ChatGPT 的真实参数，这一全球风暴引领者的大模型仅有 200 亿参数。这曝光引起了广泛关注和讨论，许多人对此感到不可思议。有人认为这一发现或许是为了 OpenAI 的开源做准备，因为现在许多大型模型已经迎头赶上。除了揭示参数信息，该论文还介绍了一种采用扩散模型进行代码生成的新方法，采用编码-解码架构的 CODEFUSION。该方法在多种任务上表现出色，生成更多语法正确和多样化的代码，引起了业界关注。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
15
0- 0
已为社区贡献3条内容
所有评论(0)