近日,在由第一财经举办的《AI大模型——揭秘人工智能生产力的加速器MLOps》的风口调研讨论活动中,土豆数据科技集团董事长霍向琦结合弗雷时空大模型的实践建设路径,谈到MLOps是构建AI生产力不可或缺的一种工程化的方法论,随着AGI和AIGC时代的到来,MLOps将充分融入通用大模型产品产品的工程化构建能力之中,作为基础设施提升开发效率,解决行业需求。
MLOps迈向大模型时代
MLOps源于软件工程领域面向提质增的效管理方法论DevOps,由机器学习(Machine Learning )、研发(Development)和运营(Operations)三种概念构成,旨在让AI模型的开发也能兼具效率和质量,实现规模化服务。
中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室在联合发布的《人工智能研发运营体系(MLOps)实践指南(2023年)》指出,AI当前面临着生产转化率不高,其原因体现在三个方面:
1.跨团队协作难度大;
2.过程和资产管理欠缺;
3.生产和交付周期长。
因此,MLOps的意义和价值,是面向人工智能领域AI模型及AI应用的开发,建立团队协作机制,实现敏捷交付过程,在构建全链路反馈闭环的同时,统一管理AI资产。
霍向琦在交流中提到,早在“小模型”阶段,MLOps理念已实践于AI模型的开发、训练、部署和应用的全流程,提升各环节的协同效率,降低了开发难度和成本。而随着大模型时代的到来,MLOps作为一体化AI工程化方法,促进通用人工智能技术转化为能够解决行业实际痛点的真实生产力。
平台化,以及深度融入MaaS(Model as a Service)体系,在霍向琦看来是MLOps在大模型发展的浪潮之中,从一种工程方法转变为基础设施和平台工具的重要趋势。MLOps所强调的跨部门协作、敏捷开发、高效运维等理念,将落地成为围绕数据标准规范、模型开发训练、部署应用等相关的平台工具集来支撑通用大模型和行业大模型产品的构建。
这意味着,从专业AI企业,到具有一定技术开发基础的企业,乃至独立开发者或非研发方向的业务人员,都将得益于MLOps理念向工具的转化,轻松上手模型产品开发和部署应用的整套流程。
大模型转化为生产力,难点在哪儿?
据市场调查机构Gartner分别在2020年和2022年的调查显示,AI模型被成功应用到了实际生产中的转化率仅刚过半,2020年为53%,2022年为54%,变化不大。
如今,以ChatGPT为代表的大模型产品展现出令人惊叹的内容“涌现”能力,但其暗藏的幻觉问题(Hallucination)也让行业用户对大模型的应用望而却步。
MLOps从工程化方法向平台产品和服务的沉淀,推动了行业大模型的普及研发和应用。在霍向琦看来,AI模型转化为生产力,应当充分利用MLOps,聚焦于数据要素、持续训练、应用场景这三大方面的落实,才能以端到端的能力优势满足行业需求。而实现这一目标,仍有很多现实问题亟待关注和改变。
从用户终端侧看,AI大模型处于IT应用的前沿,应用场景并不明晰且缺乏安全监管,而国内很多行业尚处于数字化转型的建设初期,其中最典型的问题,要属数据资源普遍以不同的行业标准和不同的文件格式分散在跨单位、跨部门的服务器或电脑端中,未能经过统筹治理形成标准统一的数据资产。“数据底座”即数据要素的缺失,难以为行业大模型的训练提供可靠、高质量的数据支撑。
从模型开发部署侧看,相比小模型针对特定应用场景的轻量化开发训练和部署应用,大模型将更偏向于建设一个系统级工程,基于MLOps理念和相关工具,必须做好数据工程和模型工程的基础,并需要完成与终端用户的业务系统的配套改造和对接,从而响应行业大模型持续训练和场景搭建封装等关键任务需求。
霍向琦提到,由于大模型的开发应用尚未有成熟的方法论,因而整个过程既需要技术人才下探场景理解需求,也离不开终端用户对大模型价值和应用场景的准确把握。
人才,是关键驱动力
大模型的落地应用,需要基于MLOps打造完善的工程化能力,而人才更在其中扮演着至关重要的角色。
霍向琦在活动中表示,产品经理岗位将是具备“终极思维”的稀缺人才。过去,产品经理侧重围绕用户需求定义软件功能并实现功能的堆叠;大模型时代,产品经理需要具备更丰富的行业知识与认知,可针对行业痛点和产业发展趋势,在产品设计上给予更精准地预判。
此外,数据工程师、解决方案工程师等岗位,也都将立足于大模型的核心能力,广泛触达各行各业的共性需求,消除行业间的壁垒,推动实现以数据为关键要素的业务管理和决策。
霍向琦表示,大模型时代的到来不会完全取代人们的工作,而是将原有简单、繁复的工作内容承担下来,优化或改变原有工作的重心,最终释放人才的想象力和创造力。
正如土豆数据面向时空产业所构建的弗雷时空大模型,基于MLOps理念高效串联时空信息采集、建模、治理、分析、应用及流通等全链路,满足各垂直细分领域有关行业知识问答,内容创作,业务自动化处理,以及细分领域行业大模型微调构建等需求,在降低专业门槛、减少劳动密集型操作的同时,本质上是让各环节上的技术人员、行业专家和终端用户能够高效协同,将大模型能力、行业知识、想象力和创造力转化为真实生产力,赋能千行百业释放价值。