treblex
V2EX  ›  OpenAI

开源的大模型看文档性能要求都挺高的 ,所以提供的是炼丹炉,还是练好的模型,难道运行起来就要那么高的性能吗?

  •  
  •   treblex ·
    lazyfury · Nov 8, 2023 · 858 views
    This topic created in 938 days ago, the information mentioned may be changed or developed.
    treblex
        1
    treblex  
    OP
       Nov 8, 2023
    好像也都需要 cuda ,没英伟达显卡
    me221
        2
    me221  
       Nov 8, 2023
    都是提供训练好的模型
    me221
        3
    me221  
       Nov 8, 2023   ❤️ 1
    小参数模型用 3090 ,4090 也能跑推理,训练够呛
    65B 之类的大参数模型就只能用 A100 这种专业卡了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3241 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 13:08 · PVG 21:08 · LAX 06:08 · JFK 09:08
    ♥ Do have faith in what you're doing.