2025-07-22 12:02:04
这份报告全称为《AppleIntelligenceFoundationLanguageModels–TechReport2025》，详尽描述了苹果在多个AI方面的处理，涵盖模型架构、数据来源、预训练、后训练、工具开发、优化措施以及性能基准等。该媒体解读该技术报告，挖掘了4个值得关注的要点：端侧模型双区块设计此前消息显示，苹果的AI模型将采用端侧+云端组合方式，端侧模型规模大约为30亿（3B）个参数。根据最新公布的技术报告，苹果端侧AI模型分为2个区块（Blocks），其中第1个区块包含大约62.5%的transformer层，而第2个区块包含大约37.5%的transformer层，但移除了键（Key）和值（Value）的映射。苹果表示这种分割方式，在不影响模型的总体性能和输出质量的情况下，让模型在缓存时，减少了约37.5%的内存需求，同时输出第一个tokens的时间也缩短了37.5%。云端模型采用创新架构对于服务器端模型，苹果开发了一种专门为其私有云计算平台量身定制的架构，名为Parallel-TrackMixture-of-Experts（PT-MoE）。简单来说，混合专家（MixtureofExperts）模式意味着，不是依赖单一的大型AI模型，而是将其拆分为多个较小的子网络（或称为专家），只有在任务与它们的专长相关时才会激活这些子网络。因此，如果输入提示与烹饪相关，只会激活烹饪领域的专家，而其他专家则保持休眠状态。这样，虽然整体模型依然庞大，但其模块化的设计使得模型能够更快、更精确地响应。苹果构建了一种名为ParallelTrackTransformer的新型Transformer，并利用混合专家（MoE）层对其进行扩展。听起来可能很复杂，但关键在于：传统的Transformer模型会通过一个层的堆栈依次处理tokens，而苹果的设计则是将模型分为多个并行的轨道。每个轨道独立处理tokens，并在某些点进行同步。在每个轨道内，苹果将每个其他常规Transformer层替换为MoE层，每个标记只激活几个专家，而其他专家保持空闲。由于每个轨道都有自己的本地专家，模型避免了在整个系统中协调时的处理瓶颈。再加上一个平衡本地上下文与整体理解（称为交织全局和本地关注层）的巧妙设计，最终形成了一个模块化、高效、可扩展的模型，速度更快、更精简，同时保持了高度的智能。苹果大幅提升多语言支持Apple智能最初推出时最受诟病的问题之一（现在依然存在），是英语之外的语言支持有限。随着新模型的发布，苹果扩展了语言支持范围，并在报告中详细介绍了实现这一目标的步骤。报告中提到，苹果将训练过程中使用的外语数据量从8%增加到了30%。苹果还将其标记器的容量增加了50%，意味着模型现在能够识别150K个不同的标记，而之前只能识别100K个。数据收集另外是关于数据收集方面，苹果在新发布的研究论文中表示，如果出版商不同意其数据被抓取用于训练，苹果公司将不会抓取这些数据。我们相信，使用多样且高质量的数据来训练我们的模型是必要的。这些数据包括我们从出版商那里获得授权的数据、公开可用或开源数据集中的数据，以及通过我们的网络爬虫Applebot抓取的公开信息。广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。
您正在访问亚汇网香港分站，本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。
