mergekit項目地址
Mergekit提供模型合并方法可以概況為三大類：基本線性加權、基于球面插值、基于任務向量，今天我們來刷下基于任務向量的ties合并方法，熟悉原理和代碼。

Ties背景

首先明確：Ties方法建立在“任務向量”的概念之上，任務向量表示參考的微調模型和基本模型之間的區別，這種方法在mergekit中非常多，Ties只是其中一種變體。
TIES-Merging ——可將多個同構不同參數的模型合并為單個多任務模型。主要解決模型合并中的兩個主要挑戰：

1.模型參數冗余：它識別并消除特定任務模型中的冗余參數。這是通過關注微調期間所做的更改、識別前 k% 最重要的更改并丟棄其余的來實現的。
2.參數符號之間的不一致：當不同模型對同一參數提出相反的調整時，就會出現沖突。TIES-Merging 通過創建一個統一的符號向量來解決這些沖突，該符號向量代表所有模型中最主要的變化方向。

Ties 核心思想

稀疏化密度：通過僅保留一小部分最重要的參數（密度參數）并將其余參數重置為零，減少特定于任務的模型中的冗余。
符號共識： 通過根據累積幅度的最主要方向（正或負）創建統一的符號向量，解決不同模型之間的符號沖突。
不相交合并：對與統一符號向量對齊的參數值進行平均，不包括零值。

具體表現為當多個模型進行合并時候，稀疏化密度只保留最重要的權重高化，符號共識**保留多個模型再更新方向上一致的參數。

具體流程

通過分析代碼后，可以匯總為以下步驟：

1. 計算任務向量——每個模型和base模型的差異，比較簡單

   def get_task_vectors(weight_info: WeightInfo,base_model: ModelReference,tensors: ImmutableMap[ModelReference, torch.Tensor],tensor_parameters: ImmutableMap[ModelReference, ImmutableMap[str, Any]],
) -> Tuple[List[Dict[str, Any]], torch.Tensor]:keys = list(tensors.keys())base = tensors[base_model]parameter_name = weight_info.nameres = []for model in keys:if model == base_model:continuex = tensors[model].to(base.dtype)if x.shape != base.shape:if weight_info.is_embed:x = x[: base.shape[0], : base.shape[1]]logging.warning(f"Using submatrix of {model}:{parameter_name}")else:logging.warning(f"skipping {model}:{parameter_name} due to size mismatch")continuedelta = x - basedel xdel tensors[model]d = {}d["model"] = modeld["delta"] = deltafor p in tensor_parameters[model]:d[p] = tensor_parameters[model][p]res.append(d)return res, base

2. 稀疏化權重

# sparsifyif self.method.sparsification_method:for tv_info in tvs:kwargs = {}if "gamma" in tv_info:kwargs["gamma"] = tv_info["gamma"]if "epsilon" in tv_info:kwargs["epsilon"] = tv_info["epsilon"]tv_info["delta"] = sparsify(tv_info["delta"],density=tv_info["density"],method=self.method.sparsification_method,rescale_norm=self.rescale_norm,**kwargs,)

然后，如何計算權重幅度等等，在源碼中sparsify具備四種稀疏化方法：

• magnitude: 基于權重大小的剪枝
• random: 隨機剪枝
• magnitude_outliers: 去除極大值和極小值的剪枝
• della_magprune: 基于概率的漸進式剪枝方法

這里我們主要說ties 基于權重幅度剪枝—— 保留絕對值最大的k個元素，k=density*總元素數，簡單高效

def magnitude(tensor: torch.Tensor, density: float, rescale_norm: Optional[RescaleNorm] = None
) -> torch.Tensor:"""Masks out the smallest values, retaining a proportion of `density`."""if density >= 1:return tensork = int(density * tensor.numel())  #計算保留元素數量assert k > 0, "not gonna zero out the whole tensor buddy"mask = torch.zeros_like(tensor)w = tensor.abs().view(-1)if w.device.type == "cpu":w = w.float()topk = torch.argsort(w, descending=True)[:k]  #對絕對值進行降序排序，獲取前k大值的索引mask.view(-1)[topk] = 1  #將掩碼中對應top-k索引的位置設為1res = rescaled_masked_tensor(tensor, mask, rescale_norm)  #調用輔助函數應用掩碼并根據需要重新縮放，保持特定的范數特性，保證輸出和反向傳播計算的穩定性return res

通過上述計算，可以保留所謂權重幅度最大的參數，完成稀疏化。
3. 權重應用

		deltas = torch.stack([tv["delta"] for tv in tvs], dim=0)weights = torch.tensor([tv["weight"] for tv in tvs], dtype=deltas.dtype, device=deltas.device)while len(deltas.shape) > len(weights.shape):weights.unsqueeze_(-1)weighted_deltas = deltas * weights

4.符號共識
Ties提供兩種方式計算符號
”sum“: 加權，考慮參數幅度
”count“，基于符號數量統計

def get_mask(delta: torch.Tensor,method: Literal["sum", "count"] = "sum",mask_dtype: Optional[torch.dtype] = None,
):"""Returns a mask determining which delta vectors should be mergedinto the final model.For the methodology described in the TIES paper use 'sum'. For asimpler naive count of signs, use 'count'."""if mask_dtype is None:mask_dtype = delta.dtypesign = delta.sign().to(mask_dtype)  # 獲取每個元素的符號（-1, 0, +1）if method == "sum":sign_weight = delta.sum(dim=0) # 沿模型維度求和majority_sign = (sign_weight >= 0).to(mask_dtype) * 2 - 1    # 轉換為±1del sign_weightelif method == "count":majority_sign = (sign.sum(dim=0) >= 0).to(mask_dtype) * 2 - 1else:raise RuntimeError(f'Unimplemented mask method "{method}"')return sign == majority_sign  #生成bool mask

在Sum方法中也是ties的論文方法，考慮差異的幅度和方向：

對每個參數位置，計算所有模型差異的總和；如果總和≥0，多數符號為+1，否則為-1，這樣幅度的差異大對結果影響較大；

在count方法中，對每個參數位置，統計正負號數量，正號多則多數符號為+1，否則為-1，忽略差異幅度，只考慮方向

計算更簡單但可能不夠精確。

5. 合并

回到主線代碼，這里我們已經拿到了掩碼，可以確定哪些參數變化(deltas)應該被合并

if self.method.consensus_method:mask_dtype = torch.int8 if self.int8_mask else base.dtypemask = get_mask(weighted_deltas,method=self.method.consensus_method,mask_dtype=mask_dtype,) #拿到mask后mixed_delta = (weighted_deltas * mask).sum(dim=0) #直接對所有加權deltas求和divisor = (weights * mask).sum(dim=0) #計算有效權重的和（用于歸一化）divisor[divisor == 0] = 1else:mixed_delta = weighted_deltas.sum(dim=0) #只保留被掩碼選中的deltas并求和divisor = weights.sum(dim=0)divisor[divisor.abs() < 1e-8] = 1if self.normalize:  # 歸一化mixed_delta /= divisor if self.lambda_ != 1: #系數縮放mixed_delta *= self.lambda_return (base + mixed_delta).to(base.dtype) 合并

總結

Mergekit ties的配置參考

models:- model: psmathur/orca_mini_v3_13b        #參考模型1parameters:density: [1, 0.7, 0.1] # density gradient   這是稀疏化的密度列表 對應不同層的稀疏化成都weight: 1.0                                #權重值- model: garage-bAInd/Platypus2-13B         #參考模型2 其余同上parameters:density: 0.5                           weight: [0, 0.3, 0.7, 1] # weight gradient- model: WizardLM/WizardMath-13B-V1.0       #參考模型3 其余同上parameters:density: 0.33weight:- filter: mlp  #對于MLP是取0.5 其他層是0value: 0.5- value: 0
merge_method: ties
base_model: TheBloke/Llama-2-13B-fp16      #選擇這個模型作為基礎模型
parameters:normalize: trueint8_mask: true
dtype: float16

這里當參數為List時候，Mergekit會進行映射到不同層，在處理每個參數時候根據位置選擇List中的密度或者權重值，保留嵌入層 、中間層、末尾層對應不同密度稀疏，考慮使用線性插值來計算中間層的密度。