微调
约 341 字大约 1 分钟...
- 微调是对模型进行微小的调整,通过专业数据对模型进行二次训练,使其具备特定领域的能力。
- 微调通常有三种方式:模型供应商提供在线微调能力、云厂商提供在线部署、微调平台、使用开源方案进行本地私有化部署和微调。
- LLama-factory是一站式微调和评估平台,整合了各种高效训练微调技术,适配市场主流开源模型,提供多个高层次抽象的调用接口,方便开发者使用。
- 控制台提供了三种微调方法,分别是 full、freeze 和 lora,分别对应全参数微调、冻结微调和低秩自适应微调。
- 控制台的四大核心功能包括训练(微调)、评估&优化、对话和导出,用户可以根据微调任务的实际情况自行配置参数并开始微调任务。
- 在微调完成后,用户可以进行模型性能评估,对模型进行对话测试,以及导出微调后的模型文件。
- 微调中学习率(Learning Rate)是一个关键的超参数,控制模型参数在每次更新时的调整步长,可以通过更改学习率来测试微调效果。
Powered by Waline v3.3.0