(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210584958.4 (22)申请日 2022.05.27 (71)申请人 中新国际联合研究院 地址 510000 广东省广州市黄埔区中新智 慧一街7号A-1栋 (72)发明人 李伟铭　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李盛洪 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/292(2017.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/62(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种具备快速适应力的猪只检测和追踪方 法及装置 (57)摘要 本发明公开了一种具备快速适应力的猪只 检测和追踪方法， 包括以下步骤： 将采集的大量 猪只无标注 视频数据输入至VisionTransformer 模型中； 对Vi sionTran sformer模型进行预训练， 得到预训练后的VisionTransformer模型； 并从 预训练后的VisionTran sformer模型输出特征信 息； 将极少量带猪只位置标注图片数据输入到猪 只检测模型中， 得到训练后的猪只检测模型， 并 从训练后的猪只检测模型输出猪只框信息； 将得 到的特征信息和猪只框信息一起输入到猪只追 踪模块中； 评估 出相邻帧为同一猪只的一对猪只 框， 进而输出猪只追踪标注信息； 本发明只需要 少量标注数据就可以实现对猪只进行检测和追 踪， 并取得较好的追 踪效果。 权利要求书2页 说明书6页 附图5页 CN 114926502 A 2022.08.19 CN 114926502 A 1.一种具 备快速适应力的猪只检测 和追踪方法， 其特 征在于： 包括以下步骤： 步骤S1： 通过安装在 农场的若干摄 像头实时采集大量猪只无 标注视频 数据； 步骤S2： 将上述无 标注视频 数据输入至Visi on Transformer模型中； 步骤S3： 上述无标注视频数据对Vision  Transformer模型进行预训练， 得到预训练后 的Vision Transformer模型； 并从预训练后的Visi on Transformer模型输出 特征信息； 步骤S4： 将极少量带猪只位置标注图片数据输入到猪只检测模型中， 并通过上述数据 对猪只检测模型进行训练， 得到训练后的猪只检测模型， 并从训练后的猪只检测模型输出 猪只框信息； 步骤S5： 将步骤S3中得到的特征信息和步骤S4中得到的猪只框信息一起输入到猪只追 踪模块中； 步骤S6： 通过猪只追踪模块评估出相邻帧为同一猪只的一对猪只框， 进而输出猪只追 踪标注信息 。 2.根据权利要求1所述的一种具备快速适应力的猪只检测和追踪方法， 其特征在于： 所 述步骤S3使用无 标注视频 数据对Visi on Transformer模型进行 预训练包括以下步骤； 步骤S31： 在输入 的无标注视频数据中提取T帧视频， 每帧宽为W， 高为H， 进而一个视频 可以表达为T ×W×H的三阶张量； 步骤S32： 将上述三阶张量分割为K帧 ×N像素×M像素的小方块； 一共有(T/K) ×(W/N) ×(H/M)个小方块； 步骤S33： 随机删除50％ ‑60％K帧×N像素×M像素的小方块， 将剩余的每个小方块按像 素点顺序排列， 转换为向量； 步骤S34： 将上述生成的向量都通过一个全连接层， 全连接层输出的向量的维度为D维， 将输出的D维向量嵌入一个位置编码变为具有位置编码的D维向量， 位置编码为T ×W×H的 三阶张量中的唯一能够识别这个小 方块的编码， 将带位置编码的D维向量作为Transformer 网络的输入向量； 步骤S35： 使用平方差损失函数计算出原始小方块的像素值与Transformer网络输出的 向量之间的差距信息， 反馈给模型， 从而进行梯度下降， 优化模型参数； 经过多轮梯度下降 迭代， 最终可以获得根据40％ ‑50％的小方块中包含的信息， 预测所有的(T/K) ×(W/N)× (H/M)个小方块的像素信息， 通过 预训练后的Visi on Transformer模型。 3.根据权利要求2所述的一种具备快速适应力的猪只检测和追踪方法， 其特征在于： 所 述步骤S4使用极少量带猪只位置标注图片数据对猪只检测模型进行训练包括以下步骤； 步骤S41： 对每一张标注有猪只位置的图片进行分割， 得到(W/N) ×(H/M)个小方格； 步骤S42： 在每个方格上面定义P个大小不同的锚点框， 使用一个单层全连接网络， 将含 有猪只特征 的锚点框作为正样本、 不含猪只特征 的锚点框作为负样本输入网络， 经过训练 最终获得可以将锚点框分类为猪锚点框和非猪锚点框的网络； 步骤S43： 使用一个单层全连接网络， 对锚点框的位置进行调整， 使之更接近标注的猪 只框， 所述猪只框为猪只位置标注信息的形象化， 将实际猪只位置信息作为正样本、 判别为 猪锚点框的位置信息作为负样本， 经过训练最终获得可以输出猪只框信息的网络； 这一步 仅仅训练上述两个单层全连接网络； 所述Transformer网络保持不变。 4.根据权利要求3所述的一种具备快速适应力的猪只检测和追踪方法， 其特征在于： 所权　利　要　求　书 1/2 页 2 CN 114926502 A 2述步骤S5中猪只追踪模块包括以下步骤； 步骤S51： 通过 上述猪只检测模型检测出相邻两帧的所有的猪只框； 步骤S52： 将每一个猪只框内的像素点按顺序排列， 转化为向量， 输入到预训练后的 Vision Transformer网络中， 提取 出每一个 猪只框的特 征信息； 步骤S53： 对相邻帧的猪只框进行两两组合， 利用上述特征信息， 计算出他们的余弦相 似度； 步骤S54： 利用匈牙利算法， 找到前一帧的所有猪只框和后一帧的所有猪只框之间的最 佳匹配； 这里不需要经 过任何网络训练， 大幅减少对训练数据的需求。 5.一种采用权利要求1至4任意一种具备快速适应力的猪只检测和追踪方法的装置， 其 特征在于， 包括若干装设在农场内部的摄像头， 所述摄像头对猪只进 行摄像， 实时采集到大 量猪只无 标注视频 数据； 所述无标注视频数据进行上传， 并存储至计算机服务器中， 所述计算机服务器上还搭 载有Visi on Transformer模型、 猪只检测模型和猪只追踪模型； 所述无标注视频数据作为输入， 对Vision  Transformer模型进行预训练； 得到预训练 后的Vision  Transformer模型， 预训练后的Vision  Transformer模型实现特征信息的提 取； 再通过少量农场真实标注的数据进行猪只检测模型训练， 训练完成后的猪只检测模型 实现猪只框信息的提取； 将得到的特征信 息和猪只框信 息一起输入到猪只追踪模块中， 进而实现追踪整个视频 的猪只； 获得 带有猪只框 视频数据的输出。权　利　要　求　书 2/2 页 3 CN 114926502 A 3