DeepSeek+LoRA+FastAPI微调大模型并暴露接口给后端调用

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

DeepSeek+LoRA+FastAPI微调大模型并暴露接
口给后端调用
整体介绍
   1. 需求和技术
     企业对于大模型的不同类型个性化需求
      SFT（有监督微调）、RAG（检索增强生成）
      关注：基本概念；分别解决什么问题；如何根据需求选择；
      微调部分详细介绍：
       微调算法的分类
       LoRA 微调算法
       微调常见实现框架
   2. 整体步骤说明
      在Linux系统上微调一个大模型、部署模型、暴露 API给web后端调用
   3. 模型微调
      框架: LLama-Factory (国产最热门的微调框架)
      算法: LoRA (最著名的部分参数微调算法）
      基座模型：DeepSeek-R1-Distill-Qwen-1.5B
      蒸馏技术通常用于通过将大模型（教师模型）的知识转移到小模型（学生模型）中，
      使得小模型能够在尽量保持性能的同时，显著减少模型的参数量和计算需求。
   4. 模型部署和暴露接口
   ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：fasta seek deep fast Dee