国产飞扬CPU完全支撑DeepSeek:可达外洋平台机能

日期:2025-02-10 浏览:

快科技2月9日新闻,飞扬官方发布,飞扬腾云S5000C、飞扬腾锐D3000处置器已胜利实现对DeepSeek全系列年夜模子的端到端支撑,笼罩数据核心跟终端场景,并且机能十分杰出。实在在2024年,DeepSeek-V2.5 236B年夜模子就曾经在飞扬腾云S5000C平台胜利稳固运转。DeepSeek-V3、R1版本宣布后,飞扬第一时光在腾云S5000C、腾锐D3000平台上当地安排验证,构成团体处理计划,构建端到真个国产平台DeepSeek年夜模子智算情况。在数据核心侧,腾云S5000C效劳器能够与多款AI减速卡共同,实现DeepSeek蒸馏版跟全量版的安排。依据官方实测,飞扬腾云S5000C搭配8块国产的AI减速卡,蒸馏版DeepSeek-R1-Distill-Llama-70B版本的推理速率可到达每秒22个tokens,当地安排的推理效力与外洋同类产物架构处理计划相称,团体机能相称于外洋平台机能的80%阁下。同时,完全版DeepSeek R1 671B模子采取散布式推理框架,基于四机、32卡AI效劳器集群,也已安排胜利。在用户终端侧,基于腾锐D3000、河汉麒麟V10体系的台式机,能够当地安排DeepSeek-R1 7B蒸馏版模子,再搭配1张国产推理卡,就实现了AI PC才能,可能树立保险牢靠的当地常识助手。现阶段,飞扬平台已实现端到端支撑DeepSeek全系列、浩繁开源跟国产头部年夜模子的当地化安排,可为企业级跟团体利用供给天下产化、软硬一体、性价比高、保险、开放的全栈处理计划。【本文停止】如需转载请务必注明出处:快科技义务编纂:上方文Q

0
首页
电话
短信
联系