- https://www.pair.toronto.edu/csc2547-w21/schedule/
- 本课程介绍三维视觉的深度学习方法与现代进展。本文将在目标和场景层面上研究三维视觉任务的表示、学习方法与生成模型。而后将研究集合深度学习与深度学习相关的流形学习概念。本主题的3D特性在图形学、机器人学、内容创建、混合现实、生物特征识别等方面有很多潜在的应用。
-
- 课程介绍+3D表征介绍
-
- 现代机器学习中的3D数据表征
- PointNet & PointNet++
- 3D形状的局部深度隐函数
- 可选, Point2Surf, NOCS, DeepSDF
-
- 学习：3D形状建模
- PointConv
- 用于点云学习的动态图CNN
- KPConv
- DeepSDF
- 可选, PCT(Point Cloud Transformer), Learning Deformable Tetrahedral Meshes for 3D Reconstruction, PIE-NET
-
- 3D数据处理的计算效率+场景理解
- 客座演讲: Dr. Chris Choy， Nvidia，提出了MinowskiNets
- 用于3D语义分割演示的虚拟多视图融合
- 3D-SIS: RGBD扫描演示的3D语义实例分割
- 可选, 使用Flow Capsules的无监督部分表示, OccuSeg, SparseConvNet
-
- 3D生成建模
- 三维结构生成模型的学习
- PolyGen
- 学习梯度场的形状生成
- ShapeAssembly, 形状装配
- 可选，StructureNet
-
- 可区分渲染
- 可区分渲染, 综述
- 基于边缘采样的蒙特卡洛光线追踪
- 具有隐式照明与材料呈现的多视角神经表面重建
- 可微体积渲染
- 可选, Soft Rasterizer: 用于基于图像的3D推理的可微渲染器, 学习使用基于插值的可微渲染器预测3D对象
-
- 神经渲染NeRF
- 神经体积渲染: NeRF及其他
- 野外中的NeRF: 使用无约束图像集合的神经辐射场
- 场景表示网络: 连续3D结构感知神经场景表示
- 用于外观采集的神经反射场
-
- NeRF应用
- NSVF: 神经稀疏体素场
- NeRFies: 变形体素神经辐射场
- iNeRF: 用于姿态估计演示的逆神经辐射场
- 可选, NASA, 神经关节形状近似; GRF: 学习一个通用的3D场景表示和渲染光场;
-
- 等变与不变
- 等距变换不变与等变图卷积网络
- 规范等变网格CNN表示
- 对称元素表示
- 基于旋转等变特征表示的曲面有线神经网络
- 神经网格流: 基于微分流的三维流形网格生成
-
- 无监督3D学习
- 野外图像中的可能对称变形3D目标无监督学习
- 规范胶囊: 无监督胶囊在笛卡尔姿态呈现
- 点对比PointContrast, 三维点云理解的无监督预训练
- 学习Delaunay曲面元素用于网格重建
- 可选: KeypointNet:通过端对端几何推理法线潜在的3D关键点; 用于3D人体姿态估计的无监督几何感知表示学习; 用流胶囊实现的无监督部件表示; 通过野外多视图图像实现的弱监督3D人体姿态学习；
-
- 超越计算机视觉的几何深度学习
- 客座, Prof. Jonathan Kelly，自监督深度姿态校正的鲁棒视觉里程计
- 等距变换不变与等变图卷积神经网络
- 基于RGB图像的6D目标检测隐式三维方向学习
- NeMo: 鲁棒三维姿态估计
- 可选, 6DoF GraspNet: 用于目标操作的抓取生成, 稠密融合: 通过迭代稠密融合的6D对象姿态估计，密集对象网格, 用于类别级机器人操作的关键点提供
-
- 机器人中的3D视觉
- 快速端到端的蛋白质表面光
- 关系归纳偏差, 深度学习和图形网格演示
- LanczosNet, 多尺度深度卷积网格演示
- SIREN: 隐式神经表征与周期性激活函数
- 可选, RigNet: 关节性字符的神经操纵, 3DGV研讨会 Michael Bronstein- 几何深度学习