课程简介
全面讲解三维点云经典算法与深度学习前沿算法，手写经典的点云处理算法，不依赖 PCL 等第三方库，总监级工程师主讲，算法与落地经验融合输出。
从技术角度看，在三维重建、SLAM、机器人感知等多个领域，三维点云都是最简单最普遍的表达方式。应用角度上，从无人驾驶中的激光雷达到微软 Kinect、iPhoneFacelD 及 AR/VR 应用，都需要基于点云的数据处理。三维点云技术应用广，需求庞大，但技术难度高，更难找到系统学习三维点云的资料，自学要多走很多弯路。通过课程学习，能够高效入门，系统学习点云多种算法。
从零开始掌握三维点云算法与项目应用，聚焦算法细节，提升工程能力。
3D 视觉领域目前正蓬勃发展，针对原始三维点云数据的处理成为新的研究热点。其理论体系错综复杂，系统性强，且涉及多种领域，这更加增大了自学难度。课程通过抽丝剥茧的讲解形式，从原始理论出发，详细的讲解了算法实践中最常用的三维点云数据处理方法，打通知识间的关联，让学员易于融会贯通，在工程实践中完成点云处理算法的提高。
课程目录
1：【开课仪式】
8分钟
2-1：【视频】如何获得免费的GPU服务器资源
2-2：【文档】点云作业要求
第1章: Introduction and Basic Algorithms
5节课程2篇阅读材料·1次作业·2小时21分钟
本节课作为点云处理课程的起始，简单介绍了点云数据的特性。从数据特性出发，讲解了PCA算法在点云处理中的算法原理和实际应用，还介绍了其他演变算法。第1节: Introduction of 3D Point Cloud
3-1：【课件】PointCloudLecture1
2分钟
3-2：【视频】本章知识点的实际应用
第2节: Course outline and prerequisite
15分钟
4：【视频】introduction
第3节: PCA and Kernel PCA
25分钟
5-1：【视频】PCA
21分钟
5-2：【视频】kernal PCA
第4节: Surface normal on surface
1小时16分钟
6：【视频】surface normal and filters
第5节: Project
7-1：【资料】说明文档
7-2：【数据集】Modelnet40
7-3：【作业】第一章
7-4：第一章作业思路提示
7-5：面试题汇总
第2章: Nearest Neighbor Problem
5节课程2篇阅读材料·1次作业·1小时52分钟
熟悉点云数据之后，进一步研究最近邻问题。从最基础的二叉树结构开始讲解，讲述了最近邻算法的基础框架，之后拓宽到KD-Tree和Octree结构，让学生全面了解最近邻算法的处理思路和实现细节。第1节: Nearest Neighbor (NN) Problem
8-1：【课件】Lecture2
0小时0分钟
8-2：【视频】本章知识点的实际应用
第2节: Binary Search Tree(BST)
49分钟
9：【视频】Binary Search Tree
第3节: KD-Tree
32分钟
10：【视频】KD-tree
第4节: Octree
29分钟
11：【视频】OCtree
第5节: homework：practice
12-1：面试题汇总
12-2：【作业】第二章
12-3：第二章作业思路提示
第3章: Clustering
7节课程2篇阅读材料·1次作业·2小时24分钟
基于前一章的内容，系统讲解了各种经典点云聚类算法。从基础公式推导讲起，详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核，分类讲解算法内容，帮助学生理解算法间的区别与联系。第1节: Introduction Clustering
13-1：【课件】PointCloudLecture3Clustering
1分钟
13-2：【视频】本章知识点的实际应用
第2节: Math prerequisite
22分钟
14：【视频】math prerequisite
第3节: K-Means
28分钟
15：【视频】K-means
第4节: Gaussian Mixture Model (GMM)
39分钟
16：【视频】GMM
第5节: Expectation-Maximization (EM)
28分钟
17：【视频】EM
第6节: Spectral Clustering
25分钟
18：【视频】Spectral Clustering
第7节: homework：practice
19-1：面试题汇总
19-2：【作业】第三章
19-3：第三章作业思路提示
第4章: Model Fitting
8节课程2篇阅读材料·1次作业·2小时32分钟
讲解了一些适用性更广泛的聚类算法，比如谱聚类、Mean Shift以及DBSCAN，之后由点云聚类思想引出模型拟合的概念，探讨了非常经典的霍夫变换以及RANSAC算法理念，将RANSAC理念应用在地平面分割上，让学生进行实际数据的操作和调试。第1节: 为什么讲解这些知识点
0小时0分钟
20：【视频】本章知识点的实际应用
第2节: Lecture Slides
21：【课件】三维点云第四章课件
第3节: Spectral Clustering
1小时14分钟
22：【视频】Spectral Clustering
第4节: meanshift & dbscan
25分钟
23：【视频】meansh & dbscan
第5节: Robust Least Square
13分钟
24：【视频】least_square
第6节: Hough Transform
15分钟
25：【视频】hough_transform
第7节: RANSAC
23分钟
26：【视频】ransac
第8节: homework：practice
27-1：面试题汇总
27-2：【作业】第四章
27-3：第四章作业思路提示
第5章: Deep Learning on Point Cloud
7节课程1篇阅读材料·1次作业·3小时32分钟
深度学习在点云上的应用越来越广泛，本节课以点云深度学习的发展脉络为导向，从Pointnet讲起，让学生深入了解深度学习在点云处理中的应用理念。第1节: 为什么讲解这些知识点
1分钟
28：【视频】本章知识点的实际应用
第2节: Lecture Slides
29：【课件】DeepLearningwithPointClouds.pdf
第3节: Introduction to Deep Learning
1小时1分钟
30：【视频】introduction to Deep learning
第4节: PointNet & PointNet++
47分钟
31-1：【视频】PointNet
30分钟
31-2：【视频】PointNet++
第5节: GCN
32-1：【课件】Lecture5-Supplementary.pdf
38分钟
32-2：【视频】DGCNN
20分钟
32-3：【视频】GCN
第6节: Supplementary
13分钟
33：【视频】some comments on deep learning
第7节: homework：practice
34-1：【代码框架】framework
34-2：【作业】第五章
34-3：第五章作业思路提示
第6章: 3D Object Detection
7节课程2篇阅读材料·1次作业·2小时55分钟
基于前一节课的内容，讲解了三维目标检测的发展脉络和发展方向。探究了各种深度学习模型的特性和算法优势，深入浅出的剖析了各种方法的出发点和创新点。第1节: 为什么讲解这些知识点
2分钟
35：【视频】本章知识点的实际应用
第2节: Introduction
36-1：【课件】Point Cloud Lecture 6
35分钟
36-2：【视频】introduction
第3节: Image based object detection - RCNN, FastRCNN, FasterRCNN, SSD
52分钟
37：【视频】Image based object detection
第4节: VoxelNet, PointPillars
46分钟
38：【视频】Voxelnet&Pointpillar
第5节: PointRCNN
20分钟
39：【视频】PointRCNN
第6节: Image and Point Cloud fusion - Frustum PointNet, PointPainting
19分钟
40：【视频】fusion
第7节: homework：practice
41-1：面试题汇总
41-2：【作业】第六章
41-3：第六章作业思路提示
第7章: 3D Feature Detection
7节课程1篇阅读材料·1次作业·2小时8分钟
点云处理算法一定绕不开特征点提取部分，本节课以图像特征提取为出发点，讲解点云特征点检测方法，并分析了相关案例，增强算法理解。第1节: 为什么讲解这些知识点
3分钟
42：【视频】L7&8 为什么要讲本章节知识点
第2节: Introduction & harris 2d
43-1：【课件】Point Cloud Lecture7
34分钟
43-2：【视频】introduction & harris 2d
第3节: harris 3d & 6d
26分钟
44：【视频】harris 3d & 6d
第4节: Intrinsic Shape Signatures (ISS)
7分钟
45：【视频】ISS
第5节: Deep learning 3D features - USIP
38分钟
46：【视频】USIP
第6节: SO-Net
17分钟
47：【视频】SO-Net
第7节: homework：practice
48-1：【作业】第七章
48-2：第七章作业思路提示
第8章: 3D Feature Description
5节课程1篇阅读材料·1次作业·2小时27分钟
从特征检测方法拓展到特征描述子的计算方法，从传统算法的思想内核，到深度学习方法的实现效果，让学生理解特征描述的思想和思路，方便学生进一步学习配准算法。第1节: PFH & FPFH
49-1：【课件】Point Cloud Lecture 8
36分钟
49-2：【视频】Classical method-PFH & FPFH
第2节: SHOT
27分钟
50：【视频】Classical method-SHOT
第3节: 3DMatch & Perfect Match
44分钟
51：【视频】3DMatch & Perfect Match
第4节: PPFNet & PPF-FoldNet
38分钟
52：【视频】PPFNet & PPF-FoldNet
第5节: homework：practice
53-1：【作业】第八章
53-2：第八章作业思路提示
第9章: Registration
6节课程2篇阅读材料·1次作业·2小时21分钟
融合前几节课的精华，引出点云配准算法。将算法框架模块化，易于学生理解掌握，从零实现一种基于特征的匹配方法，掌握点云配准的一般流程。第1节: 为什么讲解这些知识点
0小时0分钟
54：【视频】本章知识点的实际应用
第2节: Lecture Slides
55-1：【课件】Point Cloud Lecture9
39分钟
55-2：【视频】ICP part I
第3节: Iterative Closest Point (ICP)
33分钟
56：【视频】ICP part 2
第4节: Normal Distribution Transform (NDT)
54分钟
57：【视频】NDT
第5节: Registration by RANSAC with feature detection, description, matching
12分钟
58：【视频】RANSAC Registration
第6节: homework：practice
59-1：面试题汇总
59-2：【作业】第九章
59-3：第九章作业思路提示
第10章: Project
1节课程1篇阅读材料·1次作业
第1节: Final Project
60-1：【作业】Final Project
60-2：大作业思路提示高仙机器人深度学习与融合感知负责人，2014年清华大学本科毕业，2018年新加坡国立大学博士毕业，师从陈本美教授和LeeGimHee教授。此前历任Motional感知科学家和夜间驾驶负责人、字节跳动AILab视觉科学家。以第一作者发表多篇计算机视觉/机器人顶级会议论文，包括CVPR、ICCV、ICRA、IROS等。
