V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
weishao666
V2EX  ›  外包

昆仑芯 P800 的适配有人做过么,有偿需求

  •  
  •   weishao666 · 7 天前 · 840 次点击

    项目中有以下参数,原本打算基于 GPUStack 做一些修改去满足,结果硬件是昆仑芯 P800 的芯片,GPUStack 不支持

    4.针对大模型高算力问题,支持多级多卡并行推理,支持后端多版本推理。 5.支持可视化推理模型管理。 6.支持可视化自评估模型资源需求、后端和架构兼容性等部署核心因素。 7.支持动态添加 GPU 节点,单机多卡与多机多卡集群模式可切换。 8.支持多级多卡算力调度调配体系。 9.支持自动混合精度分级调度,对延迟敏感任务(如实时对话)优先分配高算力显卡,而批量推理任务则自动调度低功耗 GPU 。 10.支持手动指定集群中指定机器、算力组、卡、使用百分比等,精确进行算力调配。 11.支持扩展模块自定义后端推理器。

    有没有哪位大佬做这一块的,有偿求方案或实现,具体私聊,d2FuZ3dlaTEwMDYx

    另外这个芯片很奇怪,有 v 友手里边有线上测试资源么?也欢迎与我联系,谢谢

    3 条回复    2026-01-11 01:41:22 +08:00
    youtube6
        1
    youtube6  
       7 天前
    这个需要一个分布式推理框架来支持多机多卡推理,你们有多少机器多少卡需要投入生产
    weishao666
        2
    weishao666  
    OP
       6 天前
    @youtube6 两台机器 16 卡
    youtube6
        3
    youtube6  
       23 小时 59 分钟前 via iPhone
    Dynamo 框架
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1135 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:41 · PVG 01:41 · LAX 09:41 · JFK 12:41
    ♥ Do have faith in what you're doing.