如何快速部署开源中文法律大模型:法律AI私有化部署完整清单
如何快速部署开源中文法律大模型法律AI私有化部署完整清单【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM合同审查排队、法条查询靠翻、合规问题等半天才有人回复法务岗的活越堆越多开源项目 Awesome-Chinese-LLM 收录了獬豸、ChatLaw 等十余个可单卡运行的开源法律大模型从模型选型、私有化部署到微调都有对应资料用普通 GPU 服务器就能搭一套法律AI。法律大模型能干什么本节回答它到底能干什么、值不值得部署。实际落地主要就三件事合同审查把合同初稿丢进去标出高风险条款并给出修改建议合规问答员工直接问这种情况怎么处理模型给出依据法条的回答裁判文书分析批量读取历史判决书归纳同类案件的裁判规律这三件事各自都有成熟的开源法律大模型对应不用从零训练。模型选型本节解决部署前的第一个决定选哪个模型。原则是先问场景再看硬件。先问主要跑什么场景高频轻量问答客服咨询、内部合规问答选 6B 级。獬豸(LawGPT_zh)基于 ChatGLM-6B用真实律师问答和情景问答微调LexiLaw 同为 ChatGLM-6B 底座训练时含 5 万份法律文书法律文书、判决书的深度分析选 13B 级。Lawyer LLaMA 基于 Chinese-Alpaca-Plus-13B用 JEC-QA 法考数据精调ChatLaw-13B 基于 Ziya-LLaMA-13B覆盖 93 万条判决案例再问有几张卡单张 24GB 显存如 30906B 模型直接跑13B 需 4bit 量化两张及以上 40GB 显卡13B 轻松运行有余力可再试 ChatLaw-33B有特别诉求再看要一个模型兼顾多轮对话、撰写文章和检索韩非(HanFei)7B 且为全参数训练要把用户提问直接匹配到对应法条ChatLaw 的 Text2Vec 相似度模型和 13B 模型搭配使用选不全也没关系项目把所有中文开源模型按底座 → 垂直微调两级整理好了法律模型清单里每个模型都标注了底座、训练数据和算力需求。部署前检查本节是起飞前检查4 项没确认好模型大概率跑不起来GPU 显存6B 模型至少 24GB 单卡13B 模型至少双卡或先走 4bit 量化系统与驱动Ubuntu 20.04 LTS 及以上 LinuxNVIDIA 驱动配 CUDA 11.7Python 环境Python 3.8装好 torch、transformers 及推理框架磁盘与许可至少 100GB 空余存权重和数据集确认目标模型的许可证允许商用LexiLaw 为 MITLaWGPT 为 GPL-3.0后者商用需谨慎私有化部署本节给最短路径克隆项目、装推理框架、起服务三步走完。git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM模型权重按各个模型仓库单独分发到法律模型清单找到对应条目下载。推理框架推荐仓库收录的 vLLMpip install vllm vllm serve /path/to/LawGPT_zh --port 8000上线后优化服务起来只是开始通常还有三件事要做。准备微调数据基础模型的回答偏通用不知道你们公司的规矩。把历史合同模板与修订记录、内部合规手册问答、行业法规解读整理成问题 参考回答 法条依据格式再用仓库收录的 ChatGLM Efficient Tuning 或 LLaMA Efficient Tuning 做LoRA微调6B 模型单张 3090 就能训。量化省显存用 GPTQ 或 AWQ 做 4bit 量化显存占用能砍掉一半以上13B 模型在单张 24GB 卡上就能服务给并发请求留出余量。推理加速高并发场景用vLLM的连续批处理提吞吐LMDeploy 的推理性能约为 vLLM 的 1.8 倍同样支持 4bit 量化推理二选一即可。建议按这个顺序动手先把 6B 模型跑起来接住合规问答再攒 200 条以上合同问答样本做一次 LoRA 微调最后换 4bit 量化 vLLM 腾显存。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
上一篇/下一篇内容由系统自动关联
返回资讯列表 →