做影视剧组演员垂直平台网站,网站开发定制多少钱,广州市住房与城乡建设部网站,微商平台都有哪些前言
学习笔记#xff0c;仅供学习#xff0c;不做商用#xff0c;如有侵权#xff0c;联系我删除即可
一、目标
1.理解光流法跟踪特征点的原理。 2.理解直接法是如何估计相机位姿的。 3.实现多层直接法的计算。
特征点法存在缺陷#xff1a; 二、光流(Optical Flow) …前言
学习笔记仅供学习不做商用如有侵权联系我删除即可
一、目标
1.理解光流法跟踪特征点的原理。 2.理解直接法是如何估计相机位姿的。 3.实现多层直接法的计算。
特征点法存在缺陷 二、光流(Optical Flow)
光流空间运动物体在观察成像平面上的像素运动的瞬时速度。
稀疏光流计算部分像素的运动
稠密光流计算所有像素的运动
Lucas-Kanade光流 灰度不变假设同一个空间点的像素灰度值在各个图像中是固定不变的。灰度不变假设是一个很强的假设实际中很可能不成立。
根据灰度不变假设有
于是有 在LK光流中假设某一个窗口(patch)内的像素具有相同的运动。 三、直接法
依旧是灰度不变假设的前提同时还需要无遮挡完全漫发射不考虑光照变化的前提
目标函数最小化光度误差Photometric error
直接法的跟踪方式有LSDSVODTAM等开源方案。 第一项与相机位姿没有关系所以只对第二项求梯度因此引入中间变量所以会有
第一项像素点位置变化时图像亮度的变化情况。
第二项空间点的变化对像素坐标的影响。 第三项
后两项只与三维点q有关与图像无关因此常合到一起物理意义为相机发生微小运动后投影在像面上的像素点位置的变化情况也就是重投影误差的梯度其公式形式为 DTAM——使用所有像素。但无梯度处对目标函数无贡献
SVO——使用fast关键点处所在的4x4的patch。fast特征点表明该处梯度明显
LSD——使用梯度明显的所有像素点。数量比SVO多但比所有像素要少
非线性优化的实现方式
Eigen需要自己编写优点是中间过程可以检验是否正确
g2o快速且方便但中间过程被隐藏在中间框架里不可视
直接法的优点
1. 可以省去计算特征点、描述子的时间。 2. 只要求有像素梯度即可不需要特征点。因此直接法可以在特征缺失的场合下使用。比较极端的例子是只有渐变的一幅图像。它可能无法提取角点类特征但可以用直接法估计它的运动。在演示实验中我们看到直接法对随机选取的点亦能正常工作。这一点在实用中非常关键因为实用场景很有可能没有很多角点可供使用。 3. 可以构建半稠密乃至稠密的地图这是特征点法无法做到的。
直接法的缺点
1. 非凸性直接法完全依靠梯度搜索降低目标函数来计算相机位姿。 但是图像本身是强烈非凸的函数。——优化算法容易局部极小只在运动很小时才行。
2. 单个像素没有区分度。找一个和它像的实在太多了——每个像素对改变相机运动的“意见”不一致。只能少数服从多数以数量代替 质量。
3. 灰度值不变是很强的假设。
直接法适用于初始值还不错而且前后两帧的运动距离不能差太远的情况。
总结
