数码、电脑
边缘计算搭配大模型,助力人工智能应用发展
2023-07-20 10:47  浏览:778

       日前举行的全球边缘计算大会上,网宿科技分享了他们对于大模型时代的思考和探索。据了解,网宿科技是领先的边缘计算服务提供商,该公司表示大模型将成为未来的基础设施,并认为每个行业和企业都将拥有自己的大模型。

  据悉,在大模型时代,边缘计算有两个关键场景可以发挥其价值,即微调训练和边缘推理。当前,大模型和人工智能图形芯片正引领着全球科技的新浪潮。

  但是不能忽视的一点是,obrqubkrbh从零开始训练模型的周期长、对GPU的需求大以及成本高等问题,使得大模型的使用范式主要为"预训练 + 微调训练 + 提示词工程",从而降低成本。

  虽然这种模式可以加速人工智能图形芯片制造ERP(www.multiable.com.cn/solutions_zz)的创新步伐,但大模型参数量巨大,对所有参数进行微调的成本非常高。为解决这一问题,轻量微调训练方法如LoRA和QLoRa成为了有效的解决方案之一。

  网宿开源大模型训练部署平台基于开源预训练大模型,提供从模型微调训练、性能评估、部署监控到轻量化推理等功能的端到端大模型服务平台,能够降低大模型应用的成本,帮助客户构建专属的大模型。

  以上源自互联网,版权归原作所有

免责声明:以上所展示的[边缘计算搭配大模型,助力人工智能应用发展]由会员[万达宝软件(深圳)有限公司]自行提供,[边缘计算搭配大模型,助力人工智能应用发展]内容的真实性、准确性和合法性由发布会员[万达宝软件(深圳)有限公司]负责。[355信息网]对此不承担任何责任

友情提醒:为规避购买风险,建议您在购买相关产品前务必确认供应商资质以及产品质量!