type
status
date
slug
summary
tags
category
icon
password

一、引言

本文旨在梳理近期关于人工智能，特别是生成式AI领域的关键发展、核心技术与未来趋势。内容涵盖了
  1. 人工智能从早期概念到深度学习，再到当前大模型时代的演进历程；
  1. 探讨了大模型研发的两条主要路径（以谷歌和OpenAI为代表的技术哲学差异）；
  1. 深入解析了支撑大模型发展的核心理念，Scaling Law（缩放定律）；
  1. 详细拆解了大模型训练的两个关键阶段——预训练（Pretrain）与对齐（Alignment）
  1. 强调了数据（Data, Data and Data!）和训练基础设施（Training Infrastructure）的重要性。
  1. 还关注了前沿的技术突破，例如低比特预训练（Low Bit Pretrain）和混合专家模型（Mixture of Experts, MOE）
  1. 并探讨了领域专属模型（Domain Specific Models）的巨大潜力及其实现的关键——持续预训练（Continual Pretrain）。
此外，笔记分析了当前大模型应用（API、RAG）的局限性，介绍了一种可能的新范式——模型融合（Model Fusion），并展望了生成式AI在医疗、能源等垂直领域的应用前景与面临的挑战，如知识更新和幻觉问题。

二、人工智能发展历史与生成式AI的兴起

notion image
  1. 早期与沉寂： 人工智能（AI）概念最早诞生于1950年代的达特茅斯会议。然而，此后经历了相当长的“AI冬天”，并未立即取得大规模进展。历史上任何技术的大规模兴起，产生广泛影响力的背后，都需要一个重要产业进行推动。AI的早期沉寂部分原因在于缺乏强大的产业需求拉动。
  1. 第一个小高潮（1990年代）： IBM的Deep Blue战胜国际象棋世界冠军、Watson系统在问答比赛中获胜，标志着计算机首次在特定复杂任务上超越人类，引发了短暂的AI热潮。但之后又进入一段相对沉寂期。
  1. 深度学习时代（~2014-2016年）： 随着互联网产业（尤其是搜索、推荐、广告）的蓬勃发展，对更强表征和检索能力的需求激增。深度学习技术，特别是以CNN（卷积神经网络）为核心架构的模型，因其在这些任务上的优异表现而迅速崛起，成为上一代AI的主流范式。硅谷各大公司从传统机器学习转向深度学习的决策过程非常迅速（约1-2年内完成）。
      2. 上一代AI特点： 具备强大的表征（Representation）和检索（Retrieval）能力，但不具备生成（Generative）能力。
  1. 生成式AI的基石（2017年）： Google发布了里程碑式的论文《Attention is All You Need》，提出了Transformer架构。这成为了当前大模型和生成式AI的技术基石（Model Backbone），虽然最初并未引起如今这般广泛的轰动。
  1. 生成式AI的崛起： 基于Transformer架构的大模型（LLMs）不仅继承了表征和检索能力，更重要的是获得了强大的生成能力，能够创造全新的、连贯的、多样的内容（文本、代码、图像等），开启了AI的新范式。

三、大模型研发的两大流派：谷歌vs OpenAI

大模型研发早期形成了两条主要的技术路线，以谷歌和OpenAI为代表，两者当时的技术路线和业务路线选择非常不同。
  1. 谷歌路线 (BERT & 表征/检索):
      • 技术特点：采用以BERT为代表的双向（Bidirectional）模型。
      • 优势：在表征和检索任务上表现极其出色，参数量相对较小（BERT最大仅3.4亿参数）。
      • 应用：显著提升了谷歌搜索引擎性能（如CTR提升可能达10%），促使谷歌CEO宣布将搜索引擎全面替换为BERT Base模型，这是前所未有的举措，因为它直接服务于谷歌的核心业务——搜索（检索）。后续的RoBERTa模型（约几亿参数）也沿袭此思路，在传统NLP任务上性能优于早期的GPT模型。
      • 局限（大厂困境）：技术研发需要紧密服务于现有核心业务，可能导致对生成式等新方向的探索动力不足。
  1. OpenAI路线 (GPT & 生成):
      • 技术特点：选择了单向（Unidirectional）的生成式模型路线，发展出GPT系列（Next Token Prediction）。
      • 发展历程：GPT-1和GPT-2在传统NLP任务上性能不如BERT类模型，且模型规模更大，初期受到很多质疑。
      • 转折点 (GPT-3): 拥有1750亿（1760亿）参数，引入了零样本学习（Zero-Shot Learning）能力。“One for All”，即模型无需针对特定任务进行微调就能在广泛任务上表现良好，带来了巨大震撼。
      • 成功关键： OpenAI“特别敢笃定的走一个方向，然后把这个方向做到极致大”，对Scaling Law（缩放定律）有着近乎信仰般的坚持。同时，微软的早期支持也至关重要（如提供大量算力资源）。
(注：T5模型曾尝试结合双向和单向，但未能成功扩展（Scale Up）到极大规模。)

四、ScalingLaw大模型背后的哲学与信仰

Scaling Law是大模型研发，特别是OpenAI路线的核心理念和驱动力。
  1. 核心思想：揭示了模型性能与模型规模（参数量）、数据规模、训练计算量（时间/算力）之间的幂律关系。“大力（算力）可以出奇迹”。这个思想贯穿了模型乃至芯片的研发。
  1. 数学简洁性：其表达式优美简洁，主要关注上述三个关键参数，能够预测模型损失（Loss）的变化。
  1. 预测能力：Scaling Law的预测能力惊人。据称（2023年初与OpenAI人士交流信息），可以用仅6亿参数模型的训练情况，稳定预测出规模增大100倍（如600亿参数）模型的性能表现。
  1. 意义与影响：
      • 使相关机构能够规划和投资超大规模模型的研发，因为他们相信投入会带来可预测的性能回报。
      • 验证了“算力暴力出奇迹”的理念，推动了硬件发展（如NVIDIA芯片向更高算力演进）。
      • 不仅应用于预训练阶段，也开始探索应用于对齐（Alignment）和推理（Inference）阶段（如"Test of Time Scaling"概念）。
 

五、模型训练全流程：从预训练到领域适配

大语言模型（LLM）的训练流程通常包含以下核心阶段：
在大语言模型（LLM）的构建和迭代中，通常包含以下几个核心阶段：
  1. 预训练（Pretrain）奠定了大模型的通用基础知识；
  1. 持续预训练（Continue Pretrain / Domain Adaptation）如领域自适应可以在无监督层面将领域知识大规模注入模型；
  1. 指令微调（SFT / Instruction Fine-tuning）让模型学会在对话或任务指令场景下运用已有知识；
  1. （可选）强化学习对齐（RLHF / 其它对齐方法）进一步规范模型的回答风格、安全性和符合人类偏好。
之后，可能还会在垂直领域或特定场景下，进行额外的微调和评估。

训练流程的二元结构：知识储备与行为规范

预训练（Pretrain）阶段：知识奠基

核心目标：通过海量数据构建语言理解与事实记忆能力
关键要素：
  • 数据质量决定上限：DeepSeek采用20TB精筛数据，关键数据（如Wikipedia）需重复训练
  • 算力支撑必需：千亿级模型训练需数千GPU持续运行数月
  • 知识注入机制：通过自监督任务（掩码预测/自回归）建立参数化知识关联

对齐阶段（Alignment）：行为塑造

核心目标：规范知识运用方式，符合人类交互预期
实施路径：
  1. SFT监督微调（80万条指令数据）：建立指令-响应映射关系
  1. 强化学习对齐（10万条偏好数据）：通过奖励机制优化输出风格重要限制：仅能调整知识表达方式，无法新增预训练外的知识

全流程技术解析

阶段1：数据战略

  • 基础语料：互联网公开数据（Wikipedia/Common Crawl等）构建通用语言能力
  • 领域强化：专业文档/对话记录等形成领域知识储备
  • 预处理标准：清洗去重率>90%，关键数据重复训练3-5次

阶段2：预训练实施（Pretraining）

  • 训练参数：千亿级模型典型配置为4096张A100，batch size 4M tokens
  • 能力边界：可记忆约1.7万亿token信息量，但专业领域覆盖深度有限

阶段3：领域适配/持续预训练（Continue Pretrain/Domain Adaptation）

  • 数据阈值：领域数据需达总训练量15%以上（建议GB-TB级）
  • 防遗忘策略：采用20%通用数据混合训练，学习率降为初训的10%
  • 效果验证：领域术语识别准确率提升40-60%

阶段4：指令微调优化（SFT/Instruction Fine-tuning）

  • 数据配比：领域指令数据占比建议30-70%，平衡通用能力
  • 过拟合防控：采用早停机制（验证loss连续3次无改进即终止）
  • 典型错误：学习率过高导致参数震荡，建议初始lr=1e-5~5e-5

阶段5：强化学习对齐（RLHF/其它Alignment）

  • 偏好数据构造：采用专家标注+规则过滤，拒绝率需>98%
  • 训练技巧：KL散度系数控制在0.1-0.3区间防止过度偏离原始分布
  • 评估标准：安全响应率、风格一致性、任务完成度三维度评估

领域适配实践指南

实施路线图

步骤
关键动作
资源需求
知识奠基
收集领域文本≥1TB，构建术语库
领域专家2人月
模型强化
持续预训练500B tokens
64*A100 3周
交互优化
构建5万条领域QA对进行SFT
标注团队4人周
安全加固
RLHF训练+红队测试
安全工程师1人月

典型问题解决方案

问题1：SFT后通用能力下降
方案：采用动态数据混合（训练中通用数据比例从30%线性降至10%）
问题2：领域术语识别率低
方案：实施子词切分优化（BPE dropout=0.1） + 显式术语注入训练
问题3：长文本生成一致性差
方案：引入课程学习策略，逐步扩展生成长度（256→1024 tokens）

效能优化建议

  • 显存压缩：采用LoRA微调，显存消耗降低70%
  • 训练加速：使用FlashAttention2实现18%提速
  • 评估体系：构建领域专属评测集（准确率/完整性/安全性三维度）

关键结论

  1. 领域知识注入需遵循"预训练奠基→持续强化→指令映射"的渐进路径
  1. 数据质量需满足"领域纯度>85%+标注准确率>98%"的双重标准
  1. 训练过程中需持续监控通用能力保留度（建议基准测试得分下降不超过15%）

领域自定义：实操关键点

若你的目标是“将已有大模型改造成某行业/专业的专家”，可综合使用以下策略：
  1. 确定领域覆盖范围
      • 收集最能代表该领域核心知识的资料（如专业论文、行业报告、FAQ、案例数据等）。
      • 若任务场景聚焦在问答/对话，可尽量获取真实用户问题与专家回答的记录。
  1. 持续预训练（可选）
      • 如果领域文本量大（至少GB级），且对专业度要求高，建议进行持续预训练，让模型从根本上记住新知识。
      • 注意使用一定比例的通用数据混合训练，避免灾难性遗忘。
  1. 指令微调（SFT）
      • 在已经具备领域知识的模型上（或基座模型+中等领域数据），继续以指令/对话形式做监督微调。
      • SFT数据可包含通用问答 + 领域专业问答，保证模型既能进行一般对话，又能专业回答领域问题。
  1. 评测和对齐
      • 准备领域评测集，评估专业问题回答准确率、上下文理解度等。
      • 使用RLHF或类似对齐方法，让模型回答更符合道德和安全准则，避免在专业场景下出现不当输出。
  1. 词表扩增（可选）
      • 如果领域术语与通用模型词表差异较大，可考虑扩充词表或使用新token的方式，但会增加训练和部署复杂度，需评估收益。
  1. 防止通用能力遗忘
      • 可以在每次微调中混入一些通用数据或者保留若干原预训练任务，以维持模型的通用语言能力。
      • 常见做法：多任务学习、Elastic Weight Consolidation、Replay Buffer等方法。

硬件与训练资源注意事项

  1. 显存需求
      • 模型越大，批次大小越大，需要的显存也越多。全参微调一个数百亿参数模型往往要求数十GB甚至上百GB显存。
      • 若显存不足，可用分布式训练、混合精度（FP16/BF16）或梯度累积技术减轻内存压力。
  1. OOM问题
      • 样本规模增加、序列长度变长、批次大小过大等均会导致Out of Memory错误。
      • 可通过减小batch size、缩短输入序列长度、使用分布式或checkpoint技术等方法缓解。
  1. 训练日志监控与超参调优
      • 持续监控训练loss、验证集指标；
      • 定期保存检查点，防止长时间训练中的意外中断；
      • 使用学习率衰减、正则化、早停等技术避免过拟合或训练震荡。

常见问题与对策

  1. SFT后模型变“傻”了？
      • 可能是数据分布偏差或过拟合导致灾难性遗忘。
      • 对策：增加数据多样性、减少过度强化某些新样本、结合通用数据一起训练、调小学习率等。
  1. 如何构建领域评测集？
      • 收集足够具有代表性的真实任务数据；
      • 人工标注或由领域专家审阅；
      • 细分维度（如专业概念正确率、推理过程、生成稳定性等）进行测试。
  1. 词表扩充有必要吗？
      • 当领域术语量非常大且与通用词表差异明显时可考虑；
      • 也可直接用现有词表拆分成子词，具体视实际收益评估。
  1. 如何防止模型遗忘通用能力？
      • 在继续预训练/微调时保留少部分通用数据混合；
      • 增量学习、EWC等技术；
      • 定期评估通用测试集表现，发现严重退化时及时调整训练策略。
  1. 微调后依旧不够好，怎么办？
      • 可能需要更多高质量数据；
      • 检查数据标注质量；
      • 考虑领域专家参与；
      • 调整模型大小、训练轮次、学习率等。

六、 DeepSeek的关键技术突破

DeepSeek作为中国AI新势力，在多个方面取得了显著的技术创新：
  1. 【关键技术】低比特预训练（Low Bit Pretrain）：
      • 核心：算子精度上的突破，实现了FP8甚至FP4混合精度训练。
      • 意义：传统训练多使用FP16（16位浮点数）。降低比特数（如FP8）意味着可以用更少的存储空间和计算资源达到相似或接近的模型性能。这对于降低训练成本、提高效率至关重要。（NVIDIA H100支持FP8，Blackwell支持FP4；OpenAI也已做到FP4）。
  1. 【关键技术】混合专家模型（Mixture of Experts, MOE）：
      • 核心： 从传统的密集模型（Dense Model，每个输入激活所有参数）转向稀疏模型（Sparse Model）。
      • 机制： 模型包含多个“专家”（子网络）。对于每个输入（Token），通过一个路由（Routing）机制，只激活一小部分专家（如2个）进行计算，而非全部参数。
      • 优势： 在保持模型性能的同时，大大增加了模型的总参数量（扩展性好），并可能降低推理时的实际计算量。
      • DeepSeek进展： 实现了超过320个专家，而GPT-4据信只有64个专家（非官方信息），这是一个显著的进步。
  1. 对齐阶段创新：
      • GRPO（Group Policy Optimization）： 一种近似版本的在线强化学习。它通过采样（Sampling）来替代传统RLHF中难以训练的奖励模型（Reward Model），相比流行的离线RL方法（如DPO）更接近原始RLHF思想。
      • R1 两阶段对齐策略：
        • 阶段一： SFT + RL，主要使用代码和数学数据（60万SFT），目标是训练出强大的推理者（Strong Reasoner）。
        • 阶段二： SFT + RL，主要使用通用数据（20万SFT），目标是使其成为强大的通用模型（Strong Generalist）。
        • 这个分阶段训练的链路设计得非常好，被认为是DeepSeek此次成功的关键之一，使其推理和泛化能力非常出色。
七、 小模型与持续预训练的潜力
一个重要的发现是，小规模模型在特定领域通过恰当训练可以超越通用大模型。
  1. 核心结论： 70亿（7B）到130亿（13B）参数的模型，在**特定领域（Specific Domain）**内，通过正确的方法训练，“beat掉GPT-4不是一件难的事情”。
  1. 两个关键前提条件【重点】：
      • 拥有该领域核心的高质量数据。
      • 必须进行【关键技术】持续预训练（Continual Pretrain）。 这是因为知识的注入发生在预训练阶段，你需要用你的领域数据对基础模型进行进一步的预训练，把领域知识“灌”进去。微调（对齐）阶段只能教规则，不能加知识。
  1. 理论支撑（MIT & Meta）： 研究表明，每个模型参数大约能存储2比特信息。理论上，70亿参数足以存储所有英文书籍和知识点。对于绝大多数专业领域，其知识总量远小于整个英文世界的知识量，因此小模型在理论上完全有能力掌握一个特定领域的知识。
  1. 【重点】对于拥有自有领域知识的企业或研究机构，自己训练（尤其是进行持续预训练）的【关键技术】领域专属模型（Domain Specific Models）是获得最佳性能的方式。
八、 当前大模型应用的两种主要方式及其局限
目前企业和研究机构应用大模型主要有两种途径，各有局限：
  1. 直接调用API（如OpenAI API）：
      • 问题1：数据分布差异。 如果企业或领域的数据分布与API模型（通常基于互联网数据训练）的预训练数据分布差异巨大，或者领域知识在互联网上无法获取，那么API模型的表现通常不佳。
      • 问题2：数据隐私与安全。 调用API必然涉及将自有数据发送给第三方，这对于医疗、金融等敏感领域是不可接受的。
  1. 使用开源模型 + RAG（检索增强生成）：
      • 问题1：“伪开源”。 现有开源模型大多只开放了模型权重和微调（对齐）能力，不开放预训练代码或能力。用户无法将自己的知识通过预训练注入模型，只能做表面的规则学习。
      • 问题2：RAG的局限。 RAG通过外挂知识库检索相关信息再让模型生成答案，虽然流行，但存在：
        • 高延迟（Latency）。
        • 非端到端优化。 检索和生成是分离的，效果可能非最优。
        • 效果依赖性。 当领域知识与模型原始训练数据差异大时，模型可能无法很好地理解和利用检索到的信息，效果打折扣。
九、 模型融合（Model Fusion）：分布式人工智能的新范式
为解决上述局限，“模型融合”的新范式被提出，旨在将AI从以数据为中心（Data-centric）转向以模型为中心（Model-centric）。
  1. 核心理念：“模型之上的模型”（Model over Models）。
      • 传统方式（Model over Data）： 集中所有数据和算力，从头训练一个巨大的模型来覆盖所有知识。需要庞大的集中式训练基础设施。
      • 模型融合方式： 将世界知识划分为多个领域。在每个领域，用小模型（如7B-13B）结合领域数据进行持续预训练，得到该领域的最优模型。然后，直接在模型层面进行融合（Fuse），得到一个强大的基础模型，而不是从零开始训练。
  1. 实验验证： 将多个现有开源模型（如微软的FEI-4、阿里的Qwen-14B、欧洲的Mistral等）进行融合的实验显示：
      • 结果： 不仅保留了原始模型的能力，甚至在某些任务（特别是推理）上表现更好。
      • 巨大优势：资源效率极高。 达到相似性能，模型融合仅需约160个GPU小时，而从头训练一个14B模型保守估计需要10万到16万GPU小时。
  1. 其他优势：
      • 促进协作： 全球研究者可以在各自领域训练模型，然后进行融合，实现分布式协作。
      • 降低硬件门槛： 训练小领域模型不需要万卡级别的集群，对训练基础设施的要求降低。
      • 支持异构计算： 不同领域模型可以在不同的硬件（NVIDIA, 华为昇腾等）上训练，最后进行融合。
      • 推动AI民主化。
十、 生成式AI的领域应用前景
生成式AI的最大机会可能不在于颠覆现有的互联网或Web2中心化产品形态，而在于垂直领域（高精尖领域）的专业应用。
  1. 潜力领域举例：
      • 医疗健康（Cancer Foundation Model）： 与北京协和医院（肝胆癌）、浙江省肿瘤医院（肺癌）合作，训练领域小模型，再通过模型融合构建癌症基础模型。目标是寻找生物标记物、靶点，加速药物/疫苗研发和临床验证。
      • 能源（Energy Foundation Model）： 与南方电网合作，关注多模态大语言模型推理在能源领域的应用。
      • 制造业、金融。
      • 智能座舱： 当前以语言交互为主，但实际场景80%以上信息是多模态的。未来需要强大的多模态推理能力（与OpenAI关注的Multi-Modal LLM Reasoning方向一致），智能座舱可视为一种虚拟机器人。
  1. 大模型能力层级划分：
      • Level 1: 聊天与记忆化（Chatting & Memorization）。 对应GPT-3.5级别。
      • Level 2: 推理与规划（Reasoning & Planning）。 对应GPT-4、O1（GPT-4o）、DeepSeek级别。这是当前竞争焦点。
      • Level 3: 多模态大语言模型推理（Multi-Modal Large Language Model Reasoning）。 对应未来的GPT-5，是下一代技术方向。
十一、 关键挑战与应对
  1. 【重点】领域知识融合：
      • 企业如何将自己的专属知识与大模型结合？最佳方式是进行**【关键技术】持续预训练（Continual Pretrain）**，使用自有高质量领域数据对基础模型进行再训练，将知识注入。调用API或仅做微调无法有效融入深度领域知识。模型融合提供了一种新的可能性。
  1. 【重点】幻觉（Hallucination）与事实性错误：
      • AI有时会编造信息（如参考文献），如何解决？这是当前大模型的局限性。原因可能源于训练数据本身包含错误信息，或模型在生成时“自由发挥”。
      • 解决方案包括：
        • 模型自身改进： 持续优化模型，提升其事实性和推理能力。
        • 【重点】工具调用（Tools）： 让模型学会在需要精确信息（如计算、实时数据查询、文献检索）时，调用外部工具（计算器、搜索引擎、数据库API如arXiv）。这可以有效弥补模型自身的短板（如算术能力差、无法访问实时信息）。
  1. 【重点】知识更新与过时信息处理：
      • 如何处理法规更新、知识废弃等情况，让模型“忘记”旧知识，学习新知识？这是个难题。
      • 核心在于**数据（Data, Data and Data!）**管理。方法可能包括：
        • 重新训练/【关键技术】持续预训练（Continual Pretrain）： 在新的预训练或持续预训练阶段，加入更新后的数据，甚至可以增加新数据的训练轮数（epochs）或权重（Data Mixing），使其“覆盖”旧知识。从头训练成本高，持续预训练更可行。
        • 对齐阶段调整： 也可以在对齐阶段加入规则，引导模型不再使用或输出过时信息，但这不能根除模型内部的旧知识。
        • 需要领域专家参与数据准备和验证，确保输入的是正确、最新的知识。
  1. 职业冲击与人类应对：
      • AI是否会带来大规模失业？技术革命并非首次，长期看会创造新职业。关键在于拥抱变化，提升技能。教育至关重要，AI应成为基础教育的一部分（可能从小学开始），让每个人都了解并学会使用AI工具，将其应用于各行各业，推动产业升级。
  1. 大厂与初创公司的创新差异：
      • 为什么OpenAI、DeepSeek这样的“小公司”能引领创新，而非Google等大厂？可能的原因包括：
        • 纯粹性与专注： 初创公司（特别是创始人已财务自由且有技术情怀的）可以更纯粹地追求技术突破，不受现有业务和短期KPI的束缚。
        • 组织与执行力： 小团队可能更容易集中力量，“指哪打哪”，核心领导者能有效统一方向。
        • 大厂困境： 技术研发需服务现有业务；内部可能存在部门壁垒或技术路线分歧，难以集中力量进行颠覆性创新；决策层魄力。
Bias and fairness  偏见与公平性
LLMs are trained on large amounts of data that might contain biases. LLMs might learn from these biases, start to reproduce them, and potentially amplify them. Since the data on which LLMs are trained are seldom shared, it remains unclear what potential biases they might contain unless you try them out.大语言模型基于可能包含偏见的海量数据进行训练，可能会学习、重现甚至放大这些偏见。由于大语言模型的训练数据很少公开，除非实际测试，否则难以明确其中潜藏的偏见。
Generating harmful content生成有害内容
An LLM does not necessarily generate ground-truth content and might confidently output incorrect text. Moreover, they can be used to generate fake news, articles, and other misleading sources of information.LLM生成的内容未必真实可信，可能会自信地输出错误文本。此外，它们还可被用于制造假新闻、文章及其他误导性信息源。
Intellectual property  知识产权
Is the output of an LLM your intellectual property or that of the LLM’s creator? When the output is similar to a phrase in the training data, does the intellectual property belong to the author of that phrase? Without access to the training data it remains unclear when copyrighted material is being used by the LLM.LLM的输出属于您的知识产权还是LLM创作者的知识产权？当输出与训练数据中的某个短语相似时，该知识产权是否归属于该短语的作者？由于无法访问训练数据，我们难以确定LLM何时使用了受版权保护的材料。
Regulation  监管
Due to the enormous impact of LLMs, governments are starting to regulate commercial applications. An example is the European AI Act, which regulates the development and deployment of foundation models including LLMs.鉴于LLMs的巨大影响，各国政府开始对商业应用进行监管。例如，欧洲的《人工智能法案》就对包括LLMs在内的基础模型的开发与部署进行了规范。
2023雷军年度演讲—“成长”社会求生终极奥义：从青铜到王者的血泪升级路