 |
clemente🏢 leftrightmovehands V2EX member #455659, joined on 2019-11-26 18:13:05 +08:00 |
givemefive
cachemineshot
 |
Per clemente's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
clemente's recent replies
1 day ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
1. 模型训练包含前向算子、反向算子以及分布式通信开销，算子数量是推理的 3 倍以上，对应的技术栈与资源需求也高于推理部署。
2. 工程落地里很多蒸馏方案，本质就是遍历 高质量的领先模型的问题回答数据，对基模做后训练。
3. 同规模模型训练所需 GPU 资源远超推理。通常要 8 卡 x16 集群来训练
4. 修正：实际差距可达十几倍。因为线上推理普遍使用量化模型，而训练需要维持 BF16 精度。
2. 工程落地里很多蒸馏方案，本质就是遍历 高质量的领先模型的问题回答数据，对基模做后训练。
3. 同规模模型训练所需 GPU 资源远超推理。通常要 8 卡 x16 集群来训练
4. 修正：实际差距可达十几倍。因为线上推理普遍使用量化模型，而训练需要维持 BF16 精度。
1 day ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
1 day ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
gpu 也是推理一个同规模模型需求的三倍以上
1 day ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
蒸馏其实就是扫 qa 数据然后做后训练
1 day ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
是推理部署技术栈和资源需求的 3 倍以上
因为反向算子+前向算子+分布式通信库 的算子数 是推理的三倍 这是数字上的对比
因为反向算子+前向算子+分布式通信库 的算子数 是推理的三倍 这是数字上的对比
1 day ago Replied to a topic by blackantt › 程序员 › 为什么 google 在 AI 编程模型方面落后了呢？ 印象中， google 无所不能，集中了全球顶尖的人才，也不缺钱，怎么在 AI 编程方面老是处于追赶的地位呢？ |
g 家的人才密度 不是搞这块的料
组织结构才是最关键的
组织结构才是最关键的
2 days ago Replied to a topic by studyingss › 分享创造 › 我把 AI 之父、图灵奖、诺奖得主 Geoffrey Hinton 的访谈中的思想精华总结制作成了一个 SKILL，效果好得让人惊喜，用过之后感觉通透了很多 |
恋母狂欢
2 days ago Replied to a topic by xueshi › 随想 › AI 有沒有可能真的产生意识呢？ |
AI 没有好奇心
建议别去 十一去 舟山是个错误
Select Language