西班牙对外银行将每天执行超过5万笔资料处理流程,一年运作超过800个专案,共计4PB资料量、3万张资料表的地端资料平台迁移上云。每年的资料成长率高达40%,甚至逐年增涨,是他们决定将资料平台上云的关键原因。图片来源/BBVA
过去五年,西班牙对外银行每年的资料平台成长率高达40%,「甚至目前没有任何趋缓的迹象。」BBVA全球资料架构主管Federico Esteban在2024年一场活动上说道。这是BBVA决定将资料平台迁移上云的关键原因。
早在2000年,BBVA就开始发展资料平台。和许多企业相似,BBVA最初是采用分散式数据架构来打造资料平台,但随著资料一致性和重复性的问题越滚越大,BBVA不得不改变数据架构,改将所有数据统一汇整、存放至数据仓储。2010年,大数据技术兴起,BBVA顺势建立了第一个采用资料湖架构的大数据平台。
然而,即便BBVA不断因应资料规模扩大,来改变既有的资料平台架构,但维运困难、扩充不易的问题始终存在。BBVA很快地意识到,地端架构越来越难以应付日益增加的资料量和效能需求。
2022年底,这间在全球拥有7千万名客户、业务范围扩及25个国家的跨国银行,启动了一项大型专案,要打造一套全新的云端资料平台,来替换旧有的地端资料平台,解决扩充性的问题。
三年三阶段逐步推动资料平台上云计划
打从一开始,BBVA的目标,就是要打造一套全球性、跨区域的云端资料平台,不仅要能提供BBVA在地员工服务,还要支持来自25个国家、共12万名员工的数据需求。
并且,他们要将部署在部署在欧洲和美洲区域的地端资料平台迁移至云端,关闭旧有资料平台。这意味著,BBVA需要将每天执行超过5万笔资料处理流程,一年运作超过800个专案,共计4PB资料量、3万张资料表格的地端资料平台全数迁移上云。
要完成这项计划,对BBVA来说并不容易。他们花三年三阶段,逐步推动这项计划。
第一阶段是进行准备作业,包括先在云端环境打造新资料平台,清理地端资料平台中不必要的资料,并向各国监理机构争取资料平台上云核准。
他们将新打造的云端资料平台命名为ADA,分别代表分析(Analytics)、数据(Data)和人工智慧(AI),期许ADA平台不仅要能提供数据服务,也要能辅助员工开发AI服务。这个平台采用资料湖仓(Data lake house)和资料网格(Data Mesh)架构打造,提供给资料科学家和资料分析师等进阶使用者执行分析任务,以及业务单位的一般资料使用者进行一般查询、分析,甚至是运用ML服务来开发创新业务。
计划的第二阶段是执行迁移工程,到第三阶段才正式关闭所有地端的资料平台。
在第二阶段中,BBVA先从欧洲地区的资料平台开始著手迁移。当时,他们订了一项目标,要在尽量降低停机时间的状态下,完成资料平台迁移上云。也就是说,要在尽量让地端和云端流程同步进行的情况下,将平均平均每日执行超过5万笔资料处理流程、每月执行超过75万笔的地端资料平台,全数迁移上云。
在这个阶段中,BBVA透过双平台平行工程(parallel phase)来完成整趟迁移,也就是让地端和云端两套平台同时执行所有流程,直到两边产出相同的结果为止。
每一天,BBVA来自不同国家数千个营运系统,都会传送资料至地端和云端的资料平台,平均一天接收超过一万五千笔传输任务。因此,在迁移过程中,BBVA为了加快资料传输的速度,额外自建了一套资料传输工具,可以在30小时内完整复制超过500TB资料量,每周进行约100TB资料量的增量复制,则仅需要6小时就能完成。
并且,在进行云端和地端资料复制的过程中,BBVA也设置了检核机制。每个周末,他们都会重新比对云端和地端的资料是否一致、审核资料品质是否达到一定水准。假如发现资料品质不达一定水准,他们就会重新同步、复制一次资料。这个过程,BBVA至少持续进行了六个月,直到云端上的资讯与地端系统的资讯完全一致才停止。
2024年底,BBVA宣布正式完成将欧洲区域地端资料平台迁移上云的工程,并关闭了欧洲的地端资料平台。今年中,BBVA的全球资料工程主管也在社群软体上宣布,他们已经完成美洲地区的地端资料平台上云。
在2025年,BBVA除了要正式关闭所有的地端资料平台,他们也计划让ADA平台能进一步处理非结构化资料,并强化多个沙盒环境间的资料共享能力。此外,目前ADA仅支援批次推论功能,未来,他们也计划进一步整合即时推论的功能至平台。同时,他们也正在导入特征储存(feature store),让资料科学家可以更快速地训练模型。
为了提升ADA平台的资料处理弹性,BBVA正在考虑导入类似Iceberg的资料格式。现阶段,ADA每天执行的五万笔资料处理流程,还仅是批次处理,所以,BBVA也正在整合即时资料处理服务至ADA,应用在部分业务场景。最后,BBVA也正在探索无伺服器的Spark处理架构、资料品质检验工具,和更弹性的ETL工具,协助提升资料工程师的工作效率。
西班牙对外银行的云端资料平台ADA分别部署在两个云端区域,支持BBVA分布在不同国家的业务需求。平台拥有超过6,000名资料科学家与资料分析师等进阶使用者,以及4万名业务部门的一般资料使用者。图片来源/BBVA
ADA平台成集团创新基础,支持业务更快速发展GenAI
每天,超过6,000名资料科学家与资料分析师等进阶使用者,以及4万名业务部门的一般资料使用者,都会运ADA,来进行资料分析或查询,或运用平台来打造创新业务。
不过,BBVA打造ADA的目标,不仅是要解决地端资料架构的扩充问题,更重要的一项愿景,是要辅助集团发展AI,让ADA平台成为驱动集团创新的基础。
今年5月,BBVA也因为这项转型成果,被英国知名金融媒体《The Banker》评选为2025年全球最创新的银行。得奖理由是,BBVA推出了全球资料平台ADA,透过这个数据基础,发展出一系列创新。
「透过ADA,我们的目标是成为一家真正以数据驱动的公司。」BBVA全球工程主管Carlos Casas在获奖感言中提到,ADA不仅加强了他们提供个人化、高效率和安全数据服务的能力,缩短了产品上市时间,并提高了营运效率。更重要的是,Carlos Casas提到,ADA加速了他们采用生成式AI的能力,「这帮助BBVA更快扩展创新规模,对业务产生更大的影响。」
例如,在去年迁移资料平台的过程中,BBVA运用LLM服务,仅花一个半月就打造出一个聊天机器人,专门协助解答ADA平台使用者的疑问。平台使用者可以询问怎么监控沙盒引擎,或是询问特定模组功能。
今年2月,BBVA更正式推出了提供给客户使用的生成式AI助理。他们在银行App正式上线Blue虚拟助理,不仅能回应3千种客户问题,也能根据客户的交易资讯和先前的互动,来回应问题。并且,若客户在和Blue互动过程中,突然需要离开对话,Blue也能维持原有的对话逻辑。此外,这款助理也提供财务教练功能,能分析用户的财务状况,包括对客户的收入、支出、储蓄和贷款进行初步评估,再提供具体的改善步骤。
完成资料平台上云后,BBVA也将资料可用性这项关键列入了集团战略中。今年中,BBVA在年报中揭露2025至2029年的集团战略,其中一项优先事项,就是要透过资料可用性和新一代技术,解锁AI和创新潜力。和过往策略不同的是,BBVA开始将资料可用性视为驱动整个价值链转变的核心。
一方面,BBVA要透过资料应用,来提供客户高度个人化和差异化服务,另一方面,他们也要借由自动化流程,提升整体营运效率和风险控管能力。并且,BBVA也认为,只有导入新一代技术,才能有效支持高度个人化服务运作,提升与客户互动的频率。