中医大附医揭露MedLM应用新进展，瞄准AI护理辅助3场景

中医大附医今日（2/21）揭露使用Google MedLM医疗生成式AI系列模型最新进展，用来打造AI辅助护理师应用，并在现场展示3种初期应用情境，比如判断伤口照片、产出护理文字描述与建议，以及判读病人表情、评估疼痛指数并产出文字说明，还有一种是协助护理师分析病人饮食，如根据食物照片和文字指令，来分析食物组成与热量等。除了这3种情境，中医大附医还正尝试其他应用领域，如判断患者手术伤口、体液等，来产出文字报告和建议，同时，他们也计划优化医院医疗资讯系统（HIS），来整合纯文字记录与照片，便于护理师交班、快速理解病人状况。

探索Google MedLM应用潜力，这次要减轻护理师工作负荷

Google MedLM是指医疗领域专用的多模态基础模型服务，不只有Med PaLM 2大模型驱动，还包含最新的多模态模型Gemini，可处理一系列医学相关的文字、影像和声音等资讯，比如根据医学影像产出文字报告，或进行重点摘要等。MedLM提供2种方案，一是较大的MedLM模型，可处理复杂的任务，另一是中等模型，可让使用者用自己的资料微调，以便在不同任务间扩展。

去年中，中医大附医副院长李光申赴美国Google总部参访时，就决定展开合作，要让医院使用MedLM、优化临床工作流程。去年12月，中医大附医揭露Google MedLM第一波应用方向，要打造AI辅助医师，来协助医护诊断疾病、规画治疗方案、病患教育和医学教育研究等。

今日，中医大附医进一步揭露另一大MedLM应用方向，锁定繁重的护理师工作，打造AI辅助护理师。MedLM是多模态模型，可处理影像、文字、声音等资讯，中医大附医人工智慧中心副主任王韦竣解释，MedLM应用于护理领域有几项优势，比如系统可分析病人或伤口照片，并生成初步评估，来提供护理师更全面的描述。同理，MedLM也能用来补足因工作负荷而未能详尽记录的案例，此外还能根据图片自动产生护理记录，来减少护理师手动输入的时间。

他以展示的应用情境为例，当护理师进行床边照护时，可用手机拍摄患者状况，如患者压疮伤口，上传照片至「AI辅助护理师」并下文字指令（像是评估压疮分级、描述压疮外观、给予照护建议和卫教建议等），MedLM会分析伤口、给出回复，如三级压疮、外观为皮肤完整性丧失等，以及护理师照护和患者卫教建议。（如下图）

图为伤口照片，右侧上方则为文字指令。

将上图照片和文字指令输入AI辅助护理师后，即可得到相对应的回答。

另一种图片分析情境，是由护理师拍摄疼痛患者脸部照片，上传至AI辅助护理师后下文字指令（如根据头痛患者表情评估疼痛指数并描述表情，接著给予照护建议和卫教资讯），系统便会产出相应的答案。（如下图）

护理师可拍摄痛疼患者表情，并上传至AI辅助护理师，以文字指令询问疼痛指数评估与建议。

AI辅助护理师可分析图片和文字指令，产出相对应的回答。

还有一种情境是分析病人饮食，在拍摄便当照片、上传后，可下「这份餐点有296克，分析食物组成并估算热量」的文字指令，MedLM便会产出相应答案，如食物组成可给出「鸡胸肉100公克、紫米饭100公克、水煮蛋50公克、花椰菜20公克等」，热量估算部分则能根据公克数回复，如「鸡胸肉100公克x165大卡/100公克=165大卡、水煮蛋50公克x78大卡/100公克=39大卡」。

AI辅助护理师还可分析饮食，包括食物组成与热量估算（未拍摄到此部分）。

持续探索其他护理领域应用场景，还要优化HIS

目前，中医大附医采用MedLM服务中的大模型版本，先来探索不同应用场景与成效，也因此还未使用自家资料来微调模型，这些应用情境也还在初期尝试阶段。王韦竣表示，目前MedLM护理应用的准确率还在可接受范围，接下来将继续优化并尝试其他护理场景的应用可能，如判断病人痰液等体液照片、手术伤口照片，或是儿童粪便照片等，并产出相对应的文字描述供护理人员参考。

他也提到，中医大附医正在思考如何整合HIS，来让病历系统包含图文资料。因为，过去病历记录系统是将文字与图片分开，等于一套系统是文字记录、另一套系统记录影像，于是护理师查看时，多以文字记录为主。而MedLM应用包含图文，「若能整合图片和文字资料、同时显示，对护理师交班的资讯掌握就更清楚，也更客观，」王韦竣说。