点云空间学习
PointNet:
Deep Learning on Point Sets for 3D Classification and Segmentation
- Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for
3d classification and segmentation[C]//Proceedings of the IEEE
conference on computer vision and pattern recognition. 2017:
652-660.
PointNet首次基于原始点云进行深度学习,其提出了点云深度学习的三大原则:
无序性、点间联系、变换一致性。基于此,
PointNet在点云上逐点运用了MLP进行变换,
并且构造了T-Net进行对抗点云的仿射变换, 最终使用max
pool进行对称聚合。
缺少对局部结构的特征学习
PointNet++:
Deep Hierarchical Feature Learning on Point Sets in a Metric Space
- Qi C R, Yi L, Su H, et al. Pointnet++: Deep hierarchical feature
learning on point sets in a metric space[J]. Advances in neural
information processing systems, 2017, 30.
PointNet没有捕捉到点的局部结构特征,限制了细粒度和复杂场景的识别、泛化能力。PointNet++则引出了一个set
abstraction层对点云进行多级学习。set
abstraction定义了多级多块的局部邻域结构,
其在每一个局部邻域中都使用了mini-PointNet来进行特征抽取。然而由于点云是非均匀分布的,
不同的局部邻域的密度不一样,
因此PointNet++提出了两种自适应密度的特征融合模块: Multi-scale
grouping(MSG) 和 Multi-resolution
grouping(MRG)。
另外由于部位分割等任务最终需要输出逐点的特征标签, 因此在set
abstraction之后, Pointnet++一方面在同一级内进行反距离的插值传播,
另一方面自顶向下进行反向逐级的特征传播。在同一层内对两种传播特征进行拼接,
即得到该层的逐点特征。