当前位置:首页 » 未分类 » 行业资讯 » 正文

CPU 资源太满塞不下,传苹果研究将 LLM 存在 NAND

为了发展自家生成式 AI,苹果一直在测试大型语言模型(LLM),但苹果同时要思考的是,要如何将 LLM 塞进手机与笔电。现在有消息称,LLM 对 CPU 与记忆体资源负荷太重,苹果正尝试将 LLM 存在 NAND 快闪记忆体,以实现多装置轻松存取的目标。
一般情况 LLM 需要 AI 加速器与较高 DRAM 储存容量。《TechPowerUp》报导,苹果努力将 LLM 技术导入记忆体容量有限的设备;苹果发表论文,探讨如何将 LLM 导入记忆体容量有限装置(如 iPhone),苹果研究员开发用快闪记忆体储存 AI 模型资料的技术。
论文指出,苹果 iPhone 与 Mac 有大量可用快闪记忆体,透过称为“视窗化”技术绕过限制视窗,让资料更有效分组,使 AI 模型更快从快闪记忆体读取资料,并加速理解力。AI 模型也会重复使用处理过数据,减少提取快闪记忆体资料的需求,让整个处理过程更快。
上述两种方法都使 AI 模型运行速度达 iPhone 可用 RAM 大小的两倍,使标准处理器速度提高五倍、图形处理器速度提高 25 倍。
有大量证据证明,苹果相当重视 AI;首先是自家聊天机器人(Apple GPT)。据传明年 iPhone 16 系列会搭载升级麦克风,虽然对苹果成本提高不少,但可升级语音输入功能,对 Siri 执行多项任务非常必要。
另有传言,某种形式生成式 AI 明年发表时,会整合至 iOS 18 作业系统;即便现在苹果技术还落后 OpenAI、Google、亚马逊等公司,但这技术差距可能会在 2024 年大幅缩小。

分享到
20 赞

相关推荐

客服微信

alwayslove2007

商务号,添加请说明来意

客服QQ
995299551

商务号,添加请说明来意

24小时服务热线
159-1884-6188

24小时服务热线