中华电信很早便投入发展AI应用,从50到90年代的规则时期,到80年统计分析方法的大数据分析,2017年开始投入AI 1.0,以神经网络的监督式学习,2023年向AI 2.0发展,即GAI生成式AI,不只加速推动内部应用,也发展对外服务。(图片来源/中华电信)
身为国内老牌电信公司,中华电信约2万名员工中,其中不少是中高龄的资深员工,他们正面临一波庞大的员工退休潮,光是2023年,退休员工超过1,300人,更有4千人将在5年内届龄退休。大量有经验的员工退休,如何补充新血,传承经验是一大难题。如何提高员工生产力,成了中华电信持续成长的重要挑战。
中华电信这几年致力于运用科技,提升员工生产力、内部营运效率,例如5年前他们启动新一波策略转型,业务及组织面调整,从电信供应商角色,转型为以客户为中心,画分个人家庭、企业、国际三大分公司,并整合集团资讯及技术研发资源,支援业务发展。在IT方面,也通过资讯系统改造,向现代化、云化发展,降低成本,增加资源弹性运用,加快软体开发、更版、部署,推出资通讯服务来迎合市场需求。
中华电信也导入数位科技来提升营运效率,由于旗下业务涵盖行动网路、固网、宽频上网、市话、MOD、海缆、卫星等众多通讯业务,这些业务更拥有数百万,甚至上千万用户,庞大的用户需求带来大量工作负担,因此在E化、M化后,自动化、智慧化是这家老牌电信公司下阶段发展的重要目标,一方面提高员工生产力,提升整体营运效率,一方面克服退休潮及新进人员可能带来的经验传承不及问题。
AI就是中华电信近几年积极导入的新科技,作为老牌电信公司,中华电信的AI发展史可以分为5个阶段,第一阶段从1950到1990年,以规则为基础,从1991年到2009年开始以统计方法为基础的大数据分析应用,2010年到2017年,中华电信开始投入发展神经网路的监督式学习,这些都是中华电信自己形容是AI 1.0的应用,举凡运用AI模型辨识语音、文字、影像,例如语音转文字、文字转语音技术,还有准确辨识影像中的车牌号码、人流、人脸辨识等等。
2017年到2021年发展语言模型,包括预训练、参数微调,2023年则从AI 1.0向2.0发展,也就是生成式AI。
成立AI策略委员会,从AI 1.0进化到2.0
去年7月中华电信总经理林昭阳上任后,曾多次对外表示看好生成式AI的应用潜力,2023年更成立AI 2.0企业策略委会员,推动全集团的AI 2.0策略布局。
该委员会由中华电信管理高层担任,由董事长督导,总经理担任主委,4位总公司执行副总担任委员,显示集团对于GAI应用发展的重视。策略委员会底下又分为业务及技术推动两大分组,其中技术推动组涵盖技术、平台、资料、治理4个小分组,业务推动组分为业务及应用两个小分组,对内推动AI 2.0应用扩散,提升员工业务效率,内服外用,进而对外提供相关服务。
中华电信在2023年下半年设立AI 2.0企业策略委员会,启动集团的GAI布局,该委员会由董事长督导,总经理担任主任委员,大力推动GAI的技术、业务应用。其中技术包含治理、资料、平台及技术,业务应用则推动内部GAI应用及外部服务。(图片来源/中华电信)
在AI应用之前,需要先拟定原则,因此该委员会也参考国内外的相关规范,包括行政院提出的公关机关生成式AI应用规范等,订定AI治理原则,例如透明、不可侵权、可回溯性等等,这些原则不只作为中华电信内部AI治理准则,也涵盖提供外部客户的AI相关服务。
中华电信执行副总经理兼技术长黄志雄认为,过去使用的辨识型AI由于并非多模态,且需要专家训练,多为单一领域的应用,而生成式AI的创作能力带来更大的想像,其应用几乎涵盖产销人发财,各行各业几乎都能够使用,应用的潜力更为广泛。
全力发展AI算力、平台到应用
「IT转型是打造数位神经系统,AI则是这个数位神经系统的大脑,通过以AI作为数位神经系统的大脑,强化我们内部营业效益或是对外业务扩展,带来非常突破性的进展」,黄志雄说明,AI在中华电信转型过程中的重要性。
中华电信从3个层次推动,在底层的基础建设层次,建置内部或外部可以使用的GPU as a Service,即AI算力云,而在IDC方面,中华电信也规画因应企业建置AI机房的需要,计划建置AIDC机房,提供代建代维。
至于中间的平台层次,广泛支援各种开源或付费大型语言模型,近几年中华电信号召相关的人才加入,提高对大型语言模型的深度了解,以推荐客户适合的模型,可运用多年累积经验,协助调校大型语言模型参数。
首先发展智慧客服等6项GAI 应用
而在上层应用方面,发展各种垂直领域的AI 2.0内外部应用,中华电信设立AI策略委员会后,提出6个触媒计划发展GAI应用,这6个子计划包括智慧客服、智慧柜台、法律助理、SDLC、M365 Copilot、算力云,其中智慧客服与智慧柜台主要提升客户服务能量,法律助理则是协助法务人员撰写法律契约,M365 Copilot则提供员工个人生产力。中华电信期望通过6项生成式AI应用能够快速见效,并吸引更多内部单位加入,进一步扩散应用。
以客服为例,中华电信现有2千多位客服人员,24小时服务上千万行动用户、数百万宽频用户、近千万市话用户,如此庞大用户为客服带来相当大工作负荷,客户提出的需求五花八门,可能是与帐务有的问题,或是某个服务的申请或技术障碍解决有关,不只是用户,非用户也会进线提出问题,例如举办行销活动,造成短时间内大量客服电话进线,这些都增加客服工作量。
为了减轻客服的工作负担,他们在几年前就发展问答机器人,推出智慧文字客服,让民众的问题可以透过问题机器人完成,来提高用户的自助服务率,而不需进到真人客服。现在,他们更进一步结合生成式AI,在客户与客服对谈中理解客户的意图,针对客户的问题找到相关资讯,并且协助客服人员妥善应答处理。
中华电信董事长郭水义也曾对外说明自家的AI 2.0应用,他以智慧客服作为范例,整合AI知识库Copilot技术,以生成式AI模型,加上Prompt Engineering,AI训练师建置和更新知识库,缩短7成的人工建置时间。
另外,在软体开发方面,他们也应用生成式AI在软体开发生命周期(Software Development Life Cycle,SDLC),以软体开发的前期为例,访谈客户的需求后,过去人员要撰写客户需求书、系统规格书等,主要以人工登打,现在透过生成式AI辅助生成需求书、规格书,缩短花费的时间。
不只是软体开发的前期规格文件,程式码撰写方面,他们也利用生成式AI虚拟助理来协助,例如AI虚拟助理生成网页,AI虚拟助理依照开发人员的要求调整,再生成Code,送到测试环境,再来回调整优化。
中华电信资讯技术分公司总经理杨慧琪表示,今年中华电信才开始运用生成式AI在SDLC,用于提高软体开发生命周期各阶段的工作效率,目前测试结果获得不错的反应,具体的效益还有待时间来验证。在SDLC整个流程试著导入生成式,目标是将整个生命周期的工作效率提升30%以上。
从成立AI 2.0策略委员会,到6个应用触媒计划,中华电信结合长久以来累积的知识库及专业领域的专家推动生成式AI应用。除了提升员工的工作效率,也能缓解退休潮造成的人才断层、经验传承问题。
「生成式AI生成内容看似无中生有,实际上背后海纳百川,运用多年下来累积的大量历史资料才能做到,发展生成式AI应用能力,同样需以资料作为基础,建构特定领域的KM,再发展相关应用」,黄志雄说。
中华电信执行副总暨技术长黄志雄表示,生成式AI生成内容看似无中生有,实际上背后海纳百川,运用多年下来累积的大量历史资料才能做到,发展生成式AI应用能力,同样需以资料作为基础,建构特定领域的KM,再发展相关应用。(摄影/洪政伟)
用生成式AI处理用户漫游纸本帐单
现在不只是6项应用,其他单位也感受到GAI带来的好处,发展更多GAI应用,例如用户到国外旅游使用国际漫游,国外漫游合作的电信商提供中华电信该用户所使用漫游服务的帐单,然而这些帐单可能形式不一,可能是纸本传真、电子邮件等不同形式,中华电信需要投入大量人力处理。
为了让整个处理过程自动化,他们利用OCR辨识漫游纸本帐单,再由生成式AI去解读,生成标准化的帐务重点资讯,再送进资讯系统。但是,仰赖生成式AI来处理漫游纸本帐单,替代过去人工作业的方式,这样做虽然能够节省时间,仍要建立多种机制,以提高生成式资讯的正确性。
中华电信运用长久以来所积累的领域知识、经验,并投入领域专家,运用RAG、Prompt Engineering等技术,让GAI生成内容「有所本」,提高生成内容的正确度、可被信赖,并且克服退休潮导致有经验的员工大量流失,新手员工专业领域知识经验不足的问题。
以客服为例,客服人员流动率较高,少子化招工不易,客服人员代表公司对外服务客户,新进客服人员都需要经过一定训练,但是,中华电信底下行动网路、宽频网路、市话、MOD等各种业务庞杂,面对客户提出各式各样的问题,新进人员往往不容易快速找到资讯,因此他们在客服人员值机应答工作,将过去累积的问答知识库,结合生成式AI,帮助客服人员快速找到资讯。
在生成式AI的值机应答协助之下,加快新手客服人员的养成速度,客服应答也能达到一定的水准,并且降低客服对于难以回答的疑难杂症,进入1.5线寻求资深或技术人员支援的比例,同时缩短客户等待回应时间。
同样的情形也在网路维运管理,电信事业属于关键基础建设,中华电信投入大量人力维护网路基础建设的正常运作,设备如果出现异常导致服务中断,可能影响广大用户的生活,或是工程人员到用户家中进行安装检修,网路维护工作高度仰赖人员经验,虽然新手可以查询相关资料,在缺乏领域经验之下,反复查找耗费时间,并不容易找到需要的相关知识。
中华电信运用生成式AI发展家用宽频安装维运虚拟专员,当工程维护人员到客户家中维修,如果遇到疑难杂症,透过App与虚拟专员对话,相当于多了一位助手,帮助工程人员快速查找知识库中的相关资讯,传承维运专家多年累积的知识经验。
黄志雄表示,过去在网路维运上,利用AI监控及预测设备的劣化,当预测即将发生故障前,及早汰换设备避免客诉产生,但是生成式AI应用在数位孪生(Digital Twin),对网路维运、韧性提升也相当重要,例如当发生灾害时,研拟不同的行动方案,利用Digital Twin模拟环境,借此观察不同行动方案产生的效果,能够提升网路韧性。
建立算力池、算力云服务
由于AI需要大量的算力,因此在AI2.0的策略中也包含了基础建设部分,中华电信已有全盘布局。他们已盘点全国各地机房资源,计划建构算力池,先满足内部AI应用需要及外部客户应用的需要打造AI算力云,考虑到目前GPU供货问题,采用Nvidia DGX,采用8片H100,结合原先已构建的GPU资源,以建立可满足模型训练需要的AI算力。
至于IDC机房,中华电信集团下的IDC机房,在国内IDC市场占有一席之地,因应客户建立AI机房的需要,该公司计划建置AIDC机房,符合AI运算伺服器需要的高用电、地板载重、充足机房空间,提供代建代维或顾问服务。
应用平台工程概念快速扩散内部GAI应用
在历经约一年时间发展,为让AI进一步扩大应用领域,今年建置共用平台,让产销人发财不同领域员工,即使不会AI相关技术,也不会软体开发,只要将他们的业务资料整理好后,通过该平台产生自己业务上的小帮手。
运用平台工程的概念,将跨领域业务共用的功能,例如权限管理、资料库纳入共用平台,搭配No-code、Low-code工具,即使不会软体开发的员工也能简单地产生他们业务上需要的AI助理。
杨慧琪表示,中华电信投入发展平台工程基本功已有一段时间,考虑到生成式AI近几年发展相当快,未来可能成为每位员工业务上都需要的基础帮手,今年将生成式AI纳进平台工程,希望能扩散产生更多的AI 2.0应用。
而对使用单位而言,业务工作上如果想要使用生成式AI,透过该平台,能够简单打造其业务领域的AI助理,这个概念不只是内部,也计划推向外部,例如基于AI算力基础架构的AI Factory平台,让客户可以通过AI Factory的生产线概念打造垂直领域的GAI应用。
中华电信资讯技术分公司总经理杨慧琪表示,中华电信投入平台工程基本功已有一段时间,生成式AI近几年快速发展,未来每位员工可能需要基础AI助理,运用平台工程概念,希望扩散更多的生成式AI应用。(图片来源/中华电信)