联发科GAI应用发展聚焦智慧助理、个人化,下一步迈向多代理协作模式

图片来源: 

摄影/余至浩

「未来AI 代理(Agents) 将会无所不在。」联发科人工智慧暨数据工程处本部协理叶家顺近日在一场活动上分享自家内部生成式AI场景应用时这样说道。

叶家顺表示,该公司已完成生成式AI 基础设施,现阶段发展重点聚焦智慧助理、个人化及任务管理,下一步将朝向多代理(multi-agent) 协作模式来发展。

联发科开始导入GAI(生成式AI)的目的,一方面是提升员工生产力,达到成本降低的目标;另一方面是让现有产品或服务创造更高价值,替公司增加更多收益。

为此,联发科去年开发了自家的生成式AI服务平台DaVinci,目标要打造像「Jarvis」这样的AI助理,并先在内部导入,服务全球2万多名员工,迄今推动跨部门超过50个生成式AI专案,集团内部的渗透率已达 97%。

后来这套平台发展成可供外部企业导入的生成式AI服务方案。目前已有上百家客户在进行测试,数十家企业正式采用。

透过DaVinci平台,联发科短短1年多已将生成式AI迅速应用于内部各单位,包括 IT、人资、法务、财务、产销和稽核等。以IT部门为例,GAI被应用于软体开发周期的各个阶段,包括需求分析与规格设计、程式撰写、测试与验证,以及客户支持等。并且先从OA环境中导入,之后再将AI逐步扩展到软体开发和IC设计等高敏感性的工作环境。

叶家顺说,许多企业导入生成式AI时,往往会先购买算力并开始训练模型,他建议,若企业希望在半年内取得显著成效,以提升生产力或增加价值,可以优先在非核心业务中进行应用,例如生产、销售、人力资源、财务和行政等部门,因为这些业务的机敏性相对较低,且所选择的GAI模型不一定需要是经过微调或预训练过程,因此可以很快拿来运用。

联发科的许多内部生成式AI 应用都是由各部门主导开发的,先由各单位确定业务场景和流程痛点后,再与AI专家讨论应用的可行性,进而开发出相对应的应用,来解决自身的问题。

以财务部门为例,财务人员可以用GAI协助交易处理,包括月季结算、合并报表及权利金报告的撰写,也能进行采购单(PO)和非采购单、固定资产的核对与分类,并处理收付款项和撰写金融商品报告。在企业决策支援方面,GAI可用于整理税务申报及税务优惠资料,撰写非营运公司报告,以及整理和撰写内外部报告,如法说会、ESG 报告和财务报告等。不仅如此,GAI还能用在经营财务管理上,进行多维报告的资料汇整。

联发科将DaVinci发展成一套生成式AI智慧助理No Code工具,让每位员工都可以透过No Code方式建立个人助理,使用者只需选择模型、外挂、提示范本和知识库,就能快速建立适合不同任务的AI智慧助理,借此来改善内部作业流程,进而提高生产力。

联发科员工在内部开发了多种不同的AI 助理,像是有财务客服助理,能够协助财务人员快速查询公司基本资料、营收、应收帐款、逾期帐款和DE比等讯息,还有费用分析师助理,能够查询营运成本相关内容并提供商业见解。以及论文分析助理,能够帮助研发单位快速分析和总结arXiv期刊或Medium网站文章,以便快速学习和吸收新知识与技术。甚至还有担任策略顾问的AI助理,能提供商业建议与分析。

叶家顺提到说,在GAI应用开发过程中,只有挑选GAI模型还不够,如果直接使用模型而未整合公司内部的知识库,容易出现「幻觉」问题。因此在联发科的 DaVinci 中,他们开发了多个公版外挂(plugin),能够与外部系统对接,包括SharePoint、ERP和资料库等。目前模型库中包含几十个模型,并提供数百个plugin。在模型库中,也能选择联发科自己的繁中LLM模型BreeXe,或是其他经过微调或预训练的模型。

他们也建立了提示优化引擎,优化提示流程,提升模型回答的准确性。在训练过程中,会保留大量资料,以不断优化这些提示引擎,目前该引擎已发展至第二版。此外,模型使用后所产生的Log日志数据会集中在地端保存,用于稽核和计费。

身为企业用的AI助理,叶家顺强调,与其他生成式AI助理相比,DaVinci更加注重安全、弹性和易用性,「比起专注于AI建置,我们更重视如何有效运用AI。」

他表示,在手机领域,像安卓或iOS这样的开放平台不仅强调安全性,还具备易用性,让每个人都能使用工具解决自己的问题。这一经验同样适用于生成式AI助理,「我们的目标是,未来无论是2万名员工,或5万名员工的公司,每个人都能在半天内训练并开发出AI助理,解决手边的问题。」

联发科虽然在内部大量导入GAI应用,但也采取不少措施,加强GAI应用安全与管控,「资安控管比选择基础模型更为重要。」叶家顺表示。

像在资安管控上,联发科会根据机敏性程度将工作环境分为OA环境、软体开发环境和IC设计环境,来提供安全隔离的环境,并透过API介接DaVinci平台中的模型库。每个环境所能够使用的模型有所不同,例如,OA和软体开发环境可以使用VPC(Virtual Private Cloud) API串接部署在云端上的GAI 模型,如Google Gemini和AWS Bedrock等,但如果是核心的业务,如IC设计,由于不能上网,仅能选择本地模型,如Llama 3、Mistral和 DeepSeek,且必须在自家的机房中部署推论伺服器来执行模型。

除了导入GAI提高员工生产力,联发科也用GAI帮助其创造更多收益,推出名为智慧助理即服务(Smart Assistant as a Service,SAaaS)的新服务模式,将智慧助理功能API化后迅速部署到包括手机 平板 智慧音箱 智能家居、自驾车等各种终端设备中提供AI助理服务。甚至也能结合个人化功能,进一恶进步提升服务体验。

举例来说,未来在自驾车应用上,智慧助理能将整合使用手册及车厂资料库,可以用中文、日文或英文等不同语言回答车主提问。在智慧家庭上,联发科已投入大量AIoT产品的开发,过去多以声控为主,未来则能透过智慧助理提供更多服务。在个人助理方面,无论是B2B或B2C应用,智慧助理都能发挥用处。

联发科的GAI发展未来将从智慧助理,进到多Agent协作模式的应用阶段。叶家顺表示,未来的GAI应用将以Agent与Agent之间的协作为核心,这些Agent不只存在于云端上,也会在不同大小的装置和设备中分工协作,共同完成任务。例如使用者的个人助理Agent可以自动与其他装置中的Agent协调活动,如安排会议、规划旅游行程、订房和交通等,串联多项服务。「未来将是Agent的时代。」叶家顺强调。