如何将PEFT LoRA适配器与基础模型合并以创建独立模型

论文详细介绍了如何使用Hugging Face peft库的merge_and_unload功能，将PEFT LoRA高效正确地与基础模型合并，生成一个全新的、独立的预训练模型。文章修正了直接加载队列或手动同步权重的常见错误区，并提供了完整的代码示例、模型保存指南以及处理分词器和peft版本兼容的重要注意事项。 1. 理解PEFT与基础模型的调制需求

在使用参数高效微调（peft）技术，特别是lora（low-rank）适应）对大型语言模型进行调用后，我们通常会得到一个轻量级的适配器模型，它只包含相对于基础模型的小部分增量权重。为了部署或共享这个增量权重后的模型，我们常常需要将其与原始的基础模型合并，生成一个完全独立、可直接加载和使用的完整模型，而无需再依赖原始的基础模型。 2. 常见误区与问题分析许多用户在尝试合并PEFT时，可能会遇到以下两种常见误区：2.1尝试使用transformers.AutoModel直接加载PEFT适配器

一种常见的错误尝试是直接使用transformers库中的AutoModel.from_pretrained()方法来加载PEFT玩具。例如：from Transformers import AutoModel# ...lora_adapter = AutoModel.from_pretrained(quot；ArcturusAI/Crystalline-1.1B-v23.12-taggerquot；)登录后复制

这种方法会导致OSError，错误信息通常是“does not shown to have a file name pytorch_model.bin...”。因为PEFT玩具（如LoRA模型）本身并不包含一个完整的模型权重文件（如pytorch_model.bin），它只是存储了参数过程中修改的少量参数，这些参数需要与原始基础模型的权重结合才能构成一个完整的模型。AutoModel需要加载的是一个完整的预训练模型，而不是一个玩具。2.2手动合并模型权重

另一种不推荐的方法是尝试手动加载基础模型和适配器的state_dict，然后通过某种比例（例如，加权平均）来合并它们的权重。

# 错误示范：不推荐手动合并权重 from Transformers import AutoModel# ...pretrained_model = AutoModel.from_pretrained(quot；TinyLlama/TinyLlama-1.1B-Chat-v0.6quot；)# ... 假设可以加载灯光师权重#combined_weights = {}# for key in pretrained_weights：#combined_weights[key] = 0.8 * pretrained_weights[key] 0.2 * lora_adapter_weights[key]# pretrained_model.load_state_dict(combined_weights)登录后复制

这种方法不仅复杂，而且通常是错误的。PEFT中的权重并不是简单地与基础模型权重进行线性组合。peft库以基本以特定的方式管理这些权重，手动合并无法正确地将它们集成到基础模型中。3. 正确的合并方法：使用peft.merge_and_unload()

peft库提供了专门的工具来处理闹钟的加载和合并。其核心功能是merge_and_unload()，它能够将PEFT闹钟中的增量权正确地合并到其基于的基础模型中，并返回一个标准的变形金刚模型实例。3.1加载PEFT玩具模型

首先，我们需要使用peft库提供的类来加载PEFT玩具。对于因果语言模型（如Llama），可以使用AutoPeftModelForCausalLM。from peft import AutoPeftModelForCausalLM# 假设玩具模型已下载到本地路径，或者直接使用Hugging Face模型ID# 如果模型在Hugging Face Hub上，可以直接使用quot；ArcturusAI/Crystalline-1.1B-v23.12-taggerquot；#如果是本地路径，确保路径正确指向包含adapter_config.json和adapter_model.bin的目录model_id = quot；./ArcturusAI/Crystalline-1.1B-v23.12-taggerquot；# 本地本地路径#或者 model_id = quot；ArcturusAI/Crystalline-1.1B-v23.12-taggerquot；# Hugging Face Hub IDpeft_model = AutoPeftModelForCausalLM.from_pretrained(model_id)print(fquot；加载后的模型类型：{type(peft_model)}quot；)登录后复制

执行上述代码，你将看到peft_model的类型为peft.peft_model.PeftModelForCausalLM，这表明它是一个带有PEFT适配器的实例模型。3.2执行合并操作

加载牙齿模型后，可以直接调用merge_and_unload()方法。

这个方法将闹钟中的权重应用到基础模型上，并返回一个标准的变压器模型对象。 法语写作助手

法语助手提到了AI智能写作平台，支持拼写、拼写自动纠错，一键改写、润色你的法语作文。 31查看详情 merged_model = peft_model.merge_and_unload()print(fquot；合并后的模型类型：{type(merged_model)}quot；)登录后复制

输出将显示merged_model的类型等于transformers.models.llama.modeling_llama.LlamaForCausalLM（或基础模型的类型），这表明对应它现在是一个完全合和独立的变压器模型，不再需要PEFT库来管理同步。4. 保存合并后的模型

合并完成后，merged_model现在是一个标准的变形金刚模型。你可以使用transformers库的save_pretrained()方法将其保存到本地，以便后续加载和使用。#定义保存路径save_path = quot；ArcturusAI/Crystalline-1.1B-v23.12-tagger-fullmodelquot；merged_model.save_pretrained(save_path)print(fquot；合并后的模型已保存到：{save_path}quot；)登录后复制5. 处理分词器（Tokenizer）

需要注意的是，merge_and_unload()操作只处理模型权重。分词器（Tokenizer）是独立于模型权重的组件，它负责文本的消耗和后续处理。因此，你仍然从需要原始的基础模型库中加载分词器，并将其与合并后的模型一起保存，以确保新模型能够正确处理输入文本。

from Transformers import AutoTokenizer# 从原始基础模型加载分词器tokenizer = AutoTokenizer.from_pretrained(quot；TinyLlama/TinyLlama-1.1B-Chat-v0.6quot；)#将分词器保存到与合并模型相同的路径tokenizer.save_pretrained(save_path)print(fquot；分词器已保存到：{save_path}quot；)登录后复制

现在，save_path目录下将包含合并后的模型权重文件和对应的分词器文件，一个完整的、可独立部署的模型包。 重要注意事项：PEFT版本兼容

在实际操作中，您可能会遇到peft库版本不兼容的问题。例如，如果您的幼儿模型是在较旧的peft版本下训练的，而您尝试使用较新的peft版本加载，因为可能会a dapter_config.json中存在新版本不支持的字段而报错。

解决此问题的一个方法是手动编辑adapter_config.json文件，删除那些导致兼容问题的字段。例如，如果在使用p eft==0.6.2加载旧版本训练的模型时遇到问题，可能需要从adapter_config.json中删除以下键：loftq_configmegatron_configmegatron_core

在进行此类修改时，建议先备份原始文件。这样保证了即使出现问题，你也可以恢复到原始配置。总结

通过利用peft库提供的merge_and_unload()功能，我们可以高效正确地重新执行PEFT LoRA与基础模型合并，生成一个独立的预训练模型。这个过程避免了手动完全重合并的复杂性和错误，并确保模型能够以标准的变形金刚格式进行加载和使用。同时，忘记不要单独处理保存并分词器，并注意peft版本兼容问题，以确保整个流程的顺利进行。

以上就是如何将PEFT LoRA支架与基础模型合并以创建独立模型的详细内容，更多请关注乐哥常识网其他相关！ 相关标签： js json app 工具 ai pytorch 文章 json 对象 llama 大家都在看：Python调用JS函数时出现UnicodeEncodeError：如何解决编码问题？ AES 解密转换时如何解决 Base64 解码错误？ JS 与 Python AES 解密转换：为何Python代码报错“binascii.Error： Invalid base64-encoded string”？ Python调用JS函数出现UnicodeEncodeError：如何解决编码问题及Python的None与JS的null等价？