在人人东谈主工智能时间犀利竞争、大模子加快赋能产业的要津阶段,高效微调时间成为鼓吹落地的中枢残害口。近日,奇富科技在大模子高效参数微调范畴的最新盘考效果PrAd: Prompt Adaptive Tuning for Decoder-only Language Models被国外顶级NLP学术会议EMNLP 2025 Findings收录。这意味着中国科技企业在东谈主工智能基础盘考方面再次获取国外学术界的认同。
EMNLP(Conference on Empirical Methods in Natural Language Processing)是当然话语处理(NLP)范畴最顶级、最具影响力的国外学术会议之一,与ACL和NAACL共同组成NLP范畴的“三大顶会”。其以极严的评审进程、极低的登第比例著称,是人人NLP盘考者发布效果、换取想想的首选平台。这次奇富科技的盘考效果被 EMNLP 2025 收录,记号着公司在东谈主工智能基础盘考与时间立异方面捏续取得病笃进展。


跟着废话语模子在各本体业务场景中平日落地,怎样高效、低老土产货收场多任务适配成为行业共性逶迤。传统的全参数微调身手虽效果显贵,但筹画和存储老本极高;而现存的参数高效微调身手如Prompt Tuning和Adapter Tuning等,仍存在测验不见地、推理延长高、序列彭胀等局限。
为治理这些痛点,奇富科技盘考团队建议了一种面向Decoder-only架构大模子的全新微调框架PrAd。该身手立异性地将结构优化与推理进程深度会通,仅在预填充(Prefill)阶段引入轻量Adapter模块对辅导进行特征变换,而在解码(Decoding)阶段则皆备保捏原始结构,不引入任何稀奇筹画。
PrAd框架在三个方面收场显贵残害:
测验遵守高:不增多输入长度,开动化浅显,测验见地性强,效果可比以致高出主流基线;
推理高效:仅在第一个token生成时增多细小延长,后续解码不引入稀奇支出,援救多任务分享批推理,实测速率在多任务场景下较LoRA接济最精粹10倍;
运维老本大幅镌汰:Adapter料理限制和显存占用降幅可达50%,简化多任务模子的部署与批量推理进程。


实验限度标明,PrAd在六项千般化NLP任务上均取得了与最优身手十分或更优的施展,同期在推理遵守和资源诓骗率方面展现出显贵上风,尤其适用于金融范畴常见的多任务、高并发、低延长应用场景。
奇富科技首席算法科学家费浩峻示意:“PrAd不仅是一项时间残害,更是奇富‘科技赋能金融’理念的具体实践。咱们远程于鼓吹大模子在金融场景中的高效、可靠、限制化应用。”改日,奇富科技将赓续加大在 AI 基础模子、高效微调、果真筹画等标的的研发干涉,鼓吹更多科研效果调度为本体出产力,助力金融行业智能化升级。

拖累裁剪:郭栩彤