PlateAss

第五课:LMDeploy 的量化和部署

1. 大模型部署背景 模型部署：将训练好的模型在特定软硬件环境中启动的过程，并且模型能够接收输入并返回预测结果
   这一段讲得不清楚，感觉没说什么有用的。
2. LMDeploy简介 LMDeploy是LLM在英伟达设备上部署的全流程解决方案。 核心功能
   • 量化
   • 推理引擎TurboMind
3. 动手实践