(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210736071.2 (22)申请日 2022.06.27 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 张千　徐立章　马征　赵世昊　 王光炜　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 胡德水 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06T 5/00(2006.01)G06T 5/30(2006.01) G06Q 50/02(2012.01) (54)发明名称 一种基于车载动态视场帧间关联性的田间 稻麦倒伏全局评估方法 (57)摘要 本发明公开了一种基于车载动态视场帧间 关联性的田间稻麦倒伏全局评估方法。 首先， 基 于构建的倒伏评估静态坐标模型和坐标关系链 补偿修正逆透视变换方程， 并通过关键点的透视 和逆透视变换对图像自适应划分网格； 之后， 基 于二维空间的边缘线段拟合及三维空间的多线 段主方向提取， 评估网格内稻麦倒伏位姿， 并基 于KAZE特征提取倒伏起始点和校正区域主方向； 之后， 采用基于主运动方向的匹配点区域预估和 结合主与次运动方向的匹配点搜索得到上下帧 分格稀疏匹配点对集； 最后， 基于上下帧待测区 域交集内的匹配点集在不同时刻下的坐标位置， 构建收获机作业各时刻坐标链， 基于坐标链将各 时刻倒伏 位姿转换到同一坐标系下， 实现车载田 间稻麦倒伏全局评估。 权利要求书8页 说明书13页 附图5页 CN 115272187 A 2022.11.01 CN 115272187 A 1.一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法， 其特征在于， 包 括如下步骤： (1)基于立体视觉位姿修正的逆透视变换与自适应网格划分： 构建在 收获机连续作业 的动态环境下相互关系不变的静态坐标模型， 以及从图像像素坐标系到世界坐标系间、 双 目相机间的静态坐标关系链； 基于基础相机坐标系对应的关系链构建逆透视变换基础方 程， 并采用双目相 机的位姿关系对逆透视变换基础方程进行补偿修正； 以满割幅为考虑定 位稻麦倒伏评估检测区域， 并通过关键点的透视和逆透视变换实现对原图的不均匀自适应 划分， 划分网格作为收获机作业的稻麦倒伏检测的最小区域； (2)二维和三维空间相结合的单帧网格区域内倒伏位姿评估： 通过检测稻麦的茎秆状 态以实现作物的倒伏评估， 因此在HSV空间的S图像通道下， 基于对网格区域的各向异性扩 散、 最小二乘拟合、 形态学开闭操作等操作， 提取并修复图像网格区域内的稻麦茎秆边缘； 通过对二维图像的边缘处理和线段拟合、 三 维空间线 段计算、 以及 多线段主方向提取， 计算 网格区域的主方向向量， 实现对网格区域内稻麦倒伏位姿的粗评估； 基于KAZE特征提取整 张二维图像上的倒伏起始点， 对以主方向向量为表针的倒伏位姿粗评估进行校正， 以实现 网格区域内倒伏位姿的精评估； (3)结合主与次运动方向的上下帧分格稀疏点匹配： 收获机在各个作业时刻下基于单 帧获取的稻麦倒伏位姿均基于每个时刻的世界坐标系进行表针， 难以实现车载动态视场帧 间稻麦目标特征 的关联性分析， 并进一步全局评估 田间稻麦倒伏， 因此提出结合主与次运 动方向的上下帧分格稀疏点匹配方法， 为收获机作业各时刻坐标链的构建奠定基础； 在 网 格区域内进行小网格划分以均匀选取匹配点； 结合上下帧对应时刻的收获机作业主运动方 向预估匹配点所在的区域范围； 并基于待匹配点八邻域内相邻点的运动矢量， 计算匹配搜 索的初始点， 考虑运动主方向特征构建主方向的扁平模板， 结合主和次运动方向实现快速 准确的匹配点搜索， 得到上 下帧分格稀疏匹配点对集； (4)基于多帧间网格匹配对的收获机作业各时刻坐标链构建： 为实现车载动态视场下 的田间稻麦倒伏全局评估， 需将作业区域内的所有点映射到同一空间坐标系 下， 考虑收获 机作业上下时刻间待测区域的交集， 基于重合区域内的网格特征匹配点集在不同时刻下的 坐标位置， 计算各时刻相 机基础坐标系的转换位姿关系， 并基于此关系将各时刻的图像像 素坐标系、 图像坐标系、 相机坐标系、 世界坐标系建立链接， 构建收获机作业各时刻间坐标 关系转换链； (5)收获机作业的稻麦三维位姿全局计算与倒伏分布评估： 基于构建的收获机作业各 时刻间坐标关系转换链， 将收获机作业各时刻下计算所得的倒伏位姿表针向量转换到作业 初始时刻下的世界坐标系中， 得到一个坐标系下的收获机作业的稻麦三 维位姿； 同时， 根据 上下帧间的匹配区域， 去掉重复网格区域， 得到从作业初始 时刻到结束时刻下 的全局整块 地的稻麦三 维位姿分布图， 基于倒伏 位姿表针向量与水平面的夹角、 在水平面的投影等， 可 计算得到稻麦全局倒伏区域分布图、 倒伏角度分布图和倒伏方向分布图。 2.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估 方法， 其特 征在于： 步骤(1)具体过程如下： 1.1， 构建田间稻麦倒伏全局评估的静态坐标模型： 设立体双目视觉的左右相机坐标系分别为： Oc1‑Xc1Yc1Zc1和Oc2‑Xc2Yc2Zc2， 且Oc1‑Xc1Yc1Zc1权　利　要　求　书 1/8 页 2 CN 115272187 A 2为相机基础坐标系； 左右相机获取的图像中构建的图像像素坐标系分别为Oo1‑U1V1和Oo2‑ U2V2， 图像坐标系分别为Oi1‑Xi1Yi1和Oi2‑Xi2Yi2； 世界坐标系为Ow‑XwYwZw， Ow‑XwYwZw的Xw和Yw轴 处于水平面上， 轴垂直向上， 原点Ow和Oc1处于同一条垂直于水平面的轴线上， 且距离为h； 1.2， 静态坐标关系链构建： 静态坐标模型关系链的构建主要包括了Oo1‑U1V1和Oi1‑Xi1Yi1的转换关系o1Hi1， Oo2‑U2V2 和Oi2‑Xi2Yi2的转换关系o2Hi2， Oi1‑Xi1Yi1和Oc1‑Xc1Yc1Zc1的转换关系i1Hc1， Oi2‑Xi2Yi2和Oc2‑ Xc2Yc2Zc2的转换关系i2Hc2， Oc1‑Xc1Yc1Zc1与Oc2‑Xc2Yc2Zc2的转换关系c1Hc2， Oc1‑Xc1Yc1Zc1与Ow‑ XwYwZw的转换关系c1Hw， 其中设点从a坐标系下的表示A转换到b坐标系下的表示B的关系为B ＝aHbA； 设Oi1‑Xi1Yi1的原点Oi1在Oo1‑U1V1下的坐标为(u01,v01)， Oi2‑Xi2Yi2的原点Oi2在Oo2‑U2V2下 的坐标为(u02,v02)， 左右相机传感器靶面单像素尺寸一致， 长宽均分别为Δx和Δy， 基于缩 放、 平移仿射变换计算 转换关系o1Hi1、o2Hi2为： 设左右相机的镜 头焦距均为f， 基于小孔成像原理计算 转换关系i1Hc1、i2Hc2为： 基于左右相机重合视场内的圆点标定板相对于左右相机的位姿， 计算左右相机的相对 位姿关系； 设 Rc1和Rc2分别为左右相机与标定板的旋转位姿关系， Tc1和Tc2分别为左右相机与 标定板的平移位姿关系， 计算所 得的转换关系c2Hc1为： 根据基础相机(左相机)坐标系Oc1‑Xc1Yc1Zc1与Ow‑XwYwZw的位姿关系， 计算相机坐标系与 世界坐标系的转换关系c1Hw， 将相机基础坐标系的中心点Oc1与世界坐标系的中心点Ow设置 在同一垂直轴线上， 且相距h； Ow‑XwYwZw平移至Oc1， 并绕Xw轴旋转90+θ1角度后可得到Oc1‑ Xc1Yc1Zc1， 且Oc1‑Xc1Yc1Zc1与Ow‑XwYwZw无缩放关系,因此， Oc1‑Xc1Yc1Zc1与Ow‑XwYwZw的转换关系 c1Hw可基于式(4)计算： 其中旋转矩阵R以单次旋转矩阵左乘的方式进行计算， 基于右手坐标系进行右旋， 则：权　利　要　求　书 2/8 页 3 CN 115272187 A 3