英特尔在下一代处理器与微软Windows更紧密的整合，包括AI应用透过NPU处理，图为展示视讯会议自动辨识模糊化背景，甚至可追踪会议参与者的眼球。（摄影／余至浩）
自ChatGPT从2023年在全球带动生成式AI风潮，政府及企业关注如何运用生成式AI以提高工作效率、生产力，然而，大型生成式AI需要庞大运算相关资源训练、推论，主要为云端服务方式，不只带来高额成本，政府或企业将资料上传云端，也容易产生外泄的风险，因此，生成式AI从云端落地到企业机房，甚至行动PC，除了降低使用成本，也能为政府机关或企业降低资料外泄的风险。
行动处理器竞相提高AI运算能力，加速AI PC愿景成形
鉴于生成式AI落地需求，处理器业者开始整合NPU（Neural Processing Unit）或Neural Engine，苹果在自家Mac电脑使用的M系列晶片，整合Neural Engine神经网路技术，提高对机器学习应用的处理能力，去年10月底最新推出的M3系列晶片，搭载16核心的Neural Engine，相较M1最高提升60%，达到18 TOPS，以加速AI及机器学习的工作流程处理。
x86处理器大厂英特尔也不落人后，在2023年喊出AI PC口号，意欲在PC市场带动PC的AI应用，去年12月推出Core Ultra行动PC处理器，整合NPU，以专门处理长时间执行的低功耗AI负载，和CPU、GPU在AI任务处理上互补，特别是相当重视续航力的笔电，新的AI引擎NPU能源效率较前一代提升2.5倍。
英特尔执行长Pat Gelsinger高喊个人电脑正式进入AI PC时代。揭露英特尔在PC市场的新战略，该公司也发布AI PC加速计划，希望促成2025年超过1亿的PC上实现AI应用，为了达成此一目标，英特尔和100多家软体供应商合作开发PC上的AI应用，例如Adobe、CyberLink、DeepRender、Audacity、BlackMagic等等。
AMD则是在去年12月最新的Ryzen 8040，强调AI处理效能，整合Ryzen AI NPU技术，较前一代提升1.6倍AI处理效能，并提供Ryzen AI软体，来加速在PC上建构及部署机器学习模式。
微软也预告Windows将支援新一代行动PC处理器，未来可透过处理器的NPU，加速生成式AI助理Copilot效能，以提升内容生成及问题答复等用户体验。
让PC具备执行生成式AI小模型应用能力
这波趋势不只是一般AI PC应用，也涵盖生成式AI，让一定参数规模以内的生成式AI应用也能在PC上离线执行。
英特尔展示在Core Ultra笔电上利用生成式AI应用，生成类似美国流行天后Taylor Swift的曲风的歌曲，此外，还展示下一代处理器Lunar Lake，执行Stable Diffusion生成图像。根据其测试结果，利用NPU执行Stable Diffusion，其处理时间及耗电都要优于不使用NPU的情形，整体效率提高7.8倍。英特尔指出，目前AI PC适合处理参数低于10亿的AI小模型推论任务，例如Whisper语音转文字模型，更大规模的参数，例如10到200亿参数，则需要一台x86伺服器执行，更大的参数规模则需要多CPU或GPU架构的伺服器，甚至由数据中心来处理。
换言之，对企业而言，随著行动PC的AI推论处理效能增加，参数较少的小型生成式AI应用可由行动PC处理，提高员工工作效率及生产力，而较大型的生成式AI模型可由企业机房处理，确保机敏资料在可控环境处理，至于数百亿甚至千亿以上参数的超大型LLM模型，则可使用云端服务。依据AI模型的大小规模、资料安全及成本，在终端装置、机房、云端服务执行。
IDC指出，AI PC在PC品牌业者、作业系统、晶片业者竞相将AI推论能力从云端扩展至终端装置。生成式AI自从2023年引起全球关注，各种规模企业都在研究该技术，使员工如何在其业务中发挥生成式AI应用。未来随著2025年Windows 10停止支援及 GenAI 应用带动下，AI PC的成长动能将先在商业市场发酵，2026年底将有80%用于商业用途的新采购个人电脑搭载专为地端执行LLM应用设计的AI晶片，提高工作效率及生产力、减少延迟、确保资料安全，同时降低成本。
更进一步来看，不只是AI PC，智慧型手机也锁定生成式AI应用，联发科、高通最新一代行动晶片纷纷主打生成式AI，例如联发科的天玑9300及8300，以及高通的Snapdragon 8 Gen 3，除了强调AI算力效能之外，还有降低耗电，使智慧型手机能够处理一定参数内的生成式AI应用。例如Snapdragon 8 Gen 3强调可支援超过100亿参数，平均每秒15个Token指令，可执行INT 4精度及Transformer的大型LLM。