现在大模型 AI 微调在实际应用中靠谱吗?
我在公司申请了一个 4090D 显卡,24GB 显存的,使用 qwen2.5-coder-32b-q3 + ollama + openwebui + rag 知识库,将开发文档和大模型结合,实现智能动态问答,感觉效果还可以。
为了更进一步,使用 llamafactory 微调 qwen 7b 大模型,将开发文档微调进大模型,但是翻来覆去的调试,最终的效果比 rag 知识库差很多
关于大模型微调,网上的教学资料能提供的参考也很少,B 站的视频最多介绍怎么搭建环境,微调参数的设置基本没有系统性讲解的
现在我有点搞不清楚了,是不是微调这条路走不通?还是我用的显卡太差,或者说我微调的参数设置的不对?反正我感觉大模型微调这条路很难走哎!请有经验的兄弟帮忙解答下,拜谢