先说明背景,我们公司是半导体公司,我是生产的工程师,并不是信息部门的,但是生产这边有需求,做自己的数据分析跟踪平台,信息部那边又没人力,我们一个实验管理平台拖了半年了还没给我们做好,我拿 llm 自己都 vibe 了一个。
现在有两个需求都需要用到 ai ,而且因为数据敏感,还必须是纯本地运行。
一方面试生产工程师开发自己的数据平台需要 ai 做 vibecoding ,另一方面我们希望能用 ai 做数据分析和建模,这方面我们已经悄悄地通过 ai 输出验证了很多东西了
之前是国产开源的模型能力一般,能力好的模型又太大,部署成本太高,但是近期 deepseekV4flash 的模型量较小,部署成本大幅度降低,能力也完全胜任我们的需求,前段时间的 dflash 技术也让速度能够显著上升。
想问问有没有本地部署 deepseekV4flash 的方案,我可以借鉴一下
然后下周拉着我们生产领导去找信息部领导 Battle
现在有两个需求都需要用到 ai ,而且因为数据敏感,还必须是纯本地运行。
一方面试生产工程师开发自己的数据平台需要 ai 做 vibecoding ,另一方面我们希望能用 ai 做数据分析和建模,这方面我们已经悄悄地通过 ai 输出验证了很多东西了
之前是国产开源的模型能力一般,能力好的模型又太大,部署成本太高,但是近期 deepseekV4flash 的模型量较小,部署成本大幅度降低,能力也完全胜任我们的需求,前段时间的 dflash 技术也让速度能够显著上升。
想问问有没有本地部署 deepseekV4flash 的方案,我可以借鉴一下
然后下周拉着我们生产领导去找信息部领导 Battle
