OneFlow亮相WAIC世界人工智能大会,解读大模型训练
  • 作者:一流科技
  • 发表时间:2021-07-12 18:09
  • 来源:未知

7月9日,由燧原科技和之江实验室联合主办的世界人工智能大会(WAIC)“AI·智能计算引领变革”分论坛在上海成功举行,一流科技OneFlow创始人兼CEO袁进辉博士在论坛上进行主题演讲,向与会来宾分享大规模预训练模型的挑战和解决之道。
 


近年来,超大规模预训练模型成为深度学习领域的热点话题。从原来的“算法为王”逐渐过渡到“算力致胜”,以GPT为代表的一大批超大规模预训练模型接连问世,让业界看到了人工智能产业应用的更多可能性。
 
算力需求的旺盛不光对AI芯片等硬件带来了挑战,也对以深度学习框架为代表的AI基础软件提出了更高的要求。传统的深度学习框架以“单机单卡”为基础进行软件架构设计,在面对分布式训练需求时就会遇到诸如“内存墙”之类的问题。而一流科技与之江实验室共同研发的OneFlow新一代分布式深度学习框架则瞄准了这个世界级难题。OneFlow深度学习框架是面向大数据大模型大计算打造的人工智能计算框架,也是专为深度学习打造的异构分布式流式系统,代表了深度学习框架的发展方向,是新一代的深度学习基础软件。OneFlow独创了自动数据模型混合并行、静态调度、去中心化和全链路异步流式执行四大核心技术,完美地解决了大数据、大模型、大计算所带来的异构集群分布式扩展挑战,技术水平世界领先。
 
在本次论坛上,袁进辉博士也向大家介绍了一流科技与燧原科技、之江实验室的最新合作进展。目前,OneFlow深度学习框架正在和燧原科技的新款AI芯片进行适配,部分主流模型已经可以在该环境下运行。据悉,该解决方案的目标是提供全国产化的超大规模模型训练能力。
7月9日,由燧原科技和之江实验室联合主办的世界人工智能大会(WAIC)“AI·智能计算引领变革”分论坛在上海成功举行,一流科技OneFlow创始人兼CEO袁进辉博士在论坛上进行主题演讲,向与会来宾分享大规模预训练模型的挑战和解决之道。