Lecture 1: Overview of Computer Graphics
概述
本章节主要介绍计算机图形的综述。
What is Computer Graphics? 什么是计算机图形学？Why study Computer Graphics? 为什么要学习计算机图形学？Course Topics 计算机图形学研究的主要课题声明
Important Announcement 【声明】and Disclaimer【免责】
This course is not supported by any funding agencies in the United States and China. By making this course free to the public, the instructor is not getting paid by either the US or China. Using Chinese for instruction is partly for the convenience of the instructor, and partly aimed at widening the diversity of audiences, including Chinese-speaking Americans. An English version of this course is being worked out actively by the instructor.
重要声明及免责声明
本课程不受美国和中国任何资助机构的支持。通过向公众免费提供这门课程，教师既没有得到美国的报酬，也没有得到中国的报酬。使用中文教学，一方面是为了方便教师，另一方面是为了扩大受众的多样性，包括说中文的美国人。这门课程的英文版本正在由老师积极制定中。英文
课程的PPT主要是英文为主，这里对于普通人而言，可能已经卡主一批人了。特别是80、90年代的农村基础教育，英语，特别是口语教育，是非常不敢恭维的。但是，活到老，学到老，还是争取跨越这一关。
学习是有规律的，和打篮球是很相似的，甚至和很多事情都是一样的。首先就是基础，在基础没有完全掌握之前，没必要去尝试花里胡哨的技术，一定要做到基础非常非常扎实，然后，发现一切奇淫巧技，自然一气呵成。
篮球的基础，就是拍球，运球，身体。英语的基础，就是读、听。我们通常音标这一关，都过不去，所以，不管读还是写，都很别扭，别扭自然就不会有成就感，不会有兴趣。刚好笔者最近也在重新学习英语，从基础开始，把自己当个婴儿一样开始自我教育。B站是个好东西，很多学习资源：
基础
https://www.bilibili.com/video/BV1Y4411M7Ac?spm_id_from=333.337.search-card.all.click 发音
https://www.bilibili.com/video/BV1Dk4y1q781?spm_id_from=333.337.search-card.all.click 听力
新概念：
新概念一册 https://www.bilibili.com/video/BV1HJ411q7Vw?from=search&seid=4309106971382904256新概念二册https://www.bilibili.com/video/BV1iJ411t77g?from=search&seid=4309106971382904256
实战：
什么是图形学？
什么是计算机图形学？计算机图形学(Computer Graphics，简称CG)的内容比较丰富，与很多学科都有交叉，因此笔者认为是无法严格定义的。
在“Wiki百科”和“百度百科”上，对“计算机图形学”的解释为：计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。虽然通常认为CG是指三维图形的处理，事实上也包括了二维图形及图像的处理。
狭义地理解，计算机图形学是数字图象处理或计算机视觉的逆过程：计算机图形学是用计算机来画图像的学科，数字图象处理是把外界获得的图象用计算机进行处理的学科，计算机视觉是根据获取的图像来理解和识别其中的物体的三维信息及其他信息。
注意，这些都是不确切的定义，实际上，计算机图形学、数字图象处理和计算机视觉在很多地方的区别不是非常清晰，很多概念是相通的，而且随着研究的深入，这些学科方向不断的交叉融入，形成一个更大的学科方向，可称之为“可视计算”(Visual Computing)。这是后话，此处不详述。
计算机图形学和计算机视觉的关系
计算机视觉，是给你一张Image，需要提取出Image中有哪些信息的过程。
实际工作中，以CAD图纸识别，到CAD在WebGL中渲染为例。
目前主流解析CAD图纸数据，然后经过服务器处理，输出数据流给前端绘制的流程如下：
也可以参考之前写过的文章：云设计系列
解析CAD的库很多，比如ezdxf。因为CAD中都是线段，总归有些不正确，或者缺少信息的数据，如何能正确识别出来？这就需要结合AI技术了，通过不停的训练，提升识别准确率。比如如何识别一段线是门？
其实自动识别，也是一种提升原始图纸数据进入业务系统的效率吧。
总之，一切都是为了提升生产效率。
为什么学习计算机图形学
Video Games
电子游戏的发展史，完全就是图形学技术的发展史啊，可以参考文章
笔者最爱玩的还是NBA2K，我猜测里面比较困难的是对球员动作数据的训练吧。
Movies
阿凡达
Animation
Renderbus云渲染农场-海量机器云渲染平台,高效3D云渲染服务
Design
家装方向：酷家乐、躺平家装设计
工装方向：Indeco
Visualization
金融：AntV
图表：eCharts
智慧城市：BIM、CIM、GIS、Mapbox等
工业可视化：最近也比较火热，但是对数据比较欠缺，更多的停留在渲染特效层面。
医疗：
Virtual Reality、Augmented Reality
VR、AR最近就更火了，元宇宙的世界，丰富多彩。
Simulation
仿真，工业仿真，自动驾驶仿真，智慧城市仿真。
英伟达的OMNIVERSE，对接和创建无限创意世界、团队和数字孪生。
GUI
可以了解操作系统的GUI发展史。
Typography
3D打印
总之：
四大组成部分
刘利刚的分类：建模(Modeling)、渲染(Rendering)、动画(Animation)和人机交互(Human–computer Interaction, HCI)。
本课程将全面而系统地介绍现代计算机图形学的四大组成部分：（1）光栅化成像，（2）几何表示，（3）光的传播理论，以及（4）动画与模拟。
Modeling
侧重于数据，如何做出CAD、CAE、Revit软件？国内目前非常火热，因为涉及到贸易战、科技战。需要相关计算辅助几何的知识。
链接：https://pan.baidu.com/s/175FPqUkCsc0aSsyw07-W8Q?pwd=r62n
提取码：r62n
--来自百度网盘超级会员V6的分享
要在计算机中表示一个三维物体，首先要有它的几何模型表达。因此，三维模型的建模是计算机图形学的基础，是其他内容的前提。表达一个几何物体可以是用数学上的样条函数或隐式函数来表达；也可以是用光滑曲面上的采样点及其连接关系所表达的三角网格来表达（即连续曲面的分片线性逼近），如下图所示。
三维建模方法主要包含如下的一些方法：
计算机辅助设计(CAD)中的主流方法是采用NURBS（非均匀有理B-样条、Bezier曲线曲面）方法（已成为CAD工业领域的标准），这也是计算机辅助几何设计(CAGD)所研究的主要内容。此类表达方法有一些难点问题仍未解决，比如非正规情况下的曲面光滑拼合，复杂曲面表达等。这部分涉及的数学比较多，国内做这块的学者比较多些。细分曲面(Subdivision surface)造型方法，作为一种离散迭代的曲面构造方法，由于其构造过程朴素简单以及实现容易，是一个方兴未艾的研究热点。经过十多年的研究发展，细分曲面造型取得了较大的进展，包括奇异点处的连续性构造方法以及与GPU图形硬件相结合的曲面处理方法。利用软件的直接手工建模。现在主流的商业化的三维建模软件有Autodesk 3D Max和 Maya。其他还有面向特定领域的商业化软件，比如面向建筑模型造型的Google Sketchup，面向CAD/CAM/CAE的CATIA和AutoCAD，面向机械设计的SolidWorks，面向造船行业的Rhino等。这些软件需要建模人员有较强的专业知识，而且需要一定时期的培训才能掌握，建模效率低而学习门槛高，不易于普及和让非专业用户使用。基于笔划或草图交互方式的三维建模方法。草图交互方式由于其符合人类原有日常生活中的思考习惯，交互方式直观简单，是最近几年研究的热点建模方法。其难点是根据具体的应用场合，如何正确地理解和识别用户的交互所表达的语义，构造出用户所希望的模型。基于语法及规则的过程式建模方法。特别适合具有重复特征和结构化的几何物体与场景，比如建筑、树木等。最近几年有较多的论文及较大的发展。基于图像或视频的建模方法。这是传统的计算机视觉所要解决的基本问题。在计算机图形学领域，这方面的发展也很迅速。有一些商业化软件或云服务(比如Autodesk的123D)，已经能从若干张照片重建出所拍摄物体的三维模型。该方法的问题是需要物体本身已经存在，而且重建的三维模型的精度有限。基于扫描点云（深度图像如Kinect、结构光扫描、激光扫描、LiDAR扫描等）的建模(Reconstruction)方法。随着深度相机的出现及扫描仪的价格迅速下降，人们采集三维数据变得容易，从采集到的三维点云来重建三维模型的工作在最近几年的Siggraph(Asia)上能常见到。但是，单纯的重建方式存在精度低、稳定性差和运算量大等不足，远未能满足实际的需求。基于现有模型来合成建模的方法。随着三维模型的逐渐增多，可以利用现有的三维模型通过简单的操作，比如cut and paste，或者分析及变形等手段，来拼接或合成新的三维模型。这种通过“学习”模型数据库的知识来进行建模的手段在近3-5年里研究得非常热门。从某方面来讲，就是“大数据时代”背景下计算机图形学领域中的一个具体的表现。除了上述的这些建模方法，还有其他的一些建模方法，在此不再一一列举。
在对三维几何模型的构建过程中，还会涉及到很多需要处理的几何问题，比如数据去噪(denoising or smoothing)、补洞(repairing)、简化(simplification)、层次细节(level of detail)、参数化(parameterization)、变形(deformation or editing)、分割(segmentation)、形状分析及检索(shape analysis and retrieval)等。这些问题构成“数字几何处理”的主要研究内容。笔者自2005年起开设了多年的《数字几何处理》的研究生课程：
http://staff.ustc.edu.cn/~lgliu/Courses/DGP_2012_spring-summer/default.htm
Rendering
渲染的企业就非常多了，前几年，大家都在整数据，如何解析原始行业数据，如何轻量化。如今，更多的开始追求更高的渲染效果了。
有了三维模型或场景，怎么把这些三维几何模型画出来，产生令人赏心悦目的真实感图像？这就是传统的计算机图形学的核心任务，在计算机辅助设计，影视动漫以及各类可视化应用中都对图形渲染结果的高真实感提出了很高的要求。
上个世纪80-90年代研究的比较多些，包含了大量的渲染模型，包括局部光照模型(Local Illumination Model)、光线跟踪算法(Ray Tracing)、辐射度(Radiosity)等，以及到后面的更为复杂、真实、快速的渲染技术，比如全局光照模型(Global Illumination Model)、Photo mapping、BTF、BRDF、以及基于GPU的渲染技术等。
现在的渲染技术已经能够将各种物体，包括皮肤、树木、花草、水、烟雾、毛发等渲染得非常逼真。一些商业化软件（比如Maya, Blender, Pov Ray等）也提供了强大的真实感渲染功能，在计算机图形学研究论文中作图中要经常用到这些工具来渲染漂亮的展示图或结果图。
然而，已知的渲染实现方法，仍无法实现复杂的视觉特效，离实时的高真实感渲染还有很大差距，比如完整地实现适于电影渲染（高真实感、高分辨率）制作的RenderMan标准，以及其他各类基于物理真实感的实时渲染算法等。因此，如何充分利用GPU的计算特性，结合分布式的集群技术，从而来构造低功耗的渲染服务是发展趋势之一。
Animation
动画是采用连续播放静止图像的方法产生物体运动的效果。计算机动画借助于编程或动画制作软件生成一系列的景物画面，是计算机图形学的研究热点之一。研究方向包括：物理仿真(simulation)，人体动画，关节动画，运动动画，脚本动画，具有人的意识的虚拟角色的动画系统等。另外，高度物理真实感的动态模拟，包括对各种形变、水、气、云、烟雾、燃烧、爆炸、撕裂、老化等物理现象的真实模拟，也是动画领域的主要问题。这些技术是各类动态仿真应用的核心技术，可以极大地提高虚拟现实系统的沉浸感 （其中的本质是数值求解各种偏微分方程）。计算机动画的应用领域广泛，比如动画片制作，广告、 电影特技，训练模拟，游戏等。
网上的一些3D动画的视频：
Larva虫虫: http://v.youku.com/v_show/id_XMzAzMzkxMTY0.html
The Killer Bean: http://v.youku.com/v_show/id_XMjI5ODE2MTEy.html
爱与孝: http://v.youku.com/v_show/id_XNTU0OTUxNjUy.html
房地产动画广告宣传片: http://v.youku.com/v_show/id_XNTc1OTE4MDMy.html
人机交互(Human–Computer Interaction, HCI)
人机交互（Human-Computer Interaction,简写HCI）是指人与计算机之间以一定的交互方式或交互界面，来完成确定任务的人与计算机之间的信息交换过程。简单来讲，就是人如何通过一定的交互方式告诉计算机来完成他所希望完成的任务。
以下是最近几年（特别是今年）出现的一些值得关注的新兴的人机交互设备：
Microsoft Kinect：http://v.youku.com/v_show/id_XNTc2ODY0MTA4.html Kinect由微软于2010年推出的对XBOX360体感外设，它不需要使用任何控制器，仅依靠相机捕捉三维空间中玩家的运动，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。Kinect彻底颠覆了游戏的单一操作。使人机互动的理念更加彻底的展现出来。之后，基于Kinect的各种应用像雨后春笋般的冒出来，包括人机交互，手势识别，几何建模等。在2013年5月28日的Xbox One发布会上，微软展示了新一代Kinect 2.0，新 Kinect能感知的语音、手势和玩家感觉信息，将给玩家带来前所未有的互动性体验：http://v.youku.com/v_show/id_XNTIyODU0NDky.htmlLeap Motion：http://v.youku.com/v_show/id_XNTAwMzg0MTQw.html Leap Motion为放在键盘和显示器之间的小小金属棒，就能让任何一位用户通过简单的手势完成人机交互。Leap Motion 的响应惊人的准确，对各种自然而简洁的手势都能识别。不必站起来或者摆动手臂，Leap Motion 是简单而毫不费力的交互方式。我们在4月份就预订了一台，到现在还未到货，估计要到下个月到货。到货后我们会对其进行评测。MYO：http://v.youku.com/v_show/id_XNTYzNzg3MDA0.html MYO 是一款能在用户挥动并指向屏幕时测量各种肌肉产生的电活动来完成交互的腕带。MYO 超越 Leap Motion 的一点是，MYO 对用户的位置没有限制。尽管MYO只听令于身体的一个部分（手臂），但是其应用的场合还是很多的。期望未来会有更多的听令于身体的其他部分的交互设备。Google Glass：http://v.youku.com/v_show/id_XNTYzNzk1NjIw.html Google Glass为Google公司在2012的I/O开发者大会上正式公布的，在看起来普普通通的眼镜上配置强大的计算机和显示器。这款设备小巧而不显眼，可以在任何时间地点使用，即用户想要专注于周围环境时不会碍事。不过对其未来的发展各有说法，让我们拭目以待。3D Printer：这个就不用笔者详细说了，这两年太火了。正如上面所提到的观点，笔者觉得3D打印的出现带给了我们从事计算机图形学研究的工作者许多的机会。挑战和机会并存！我们应该要抓住这次机会！3Doodler：http://v.youku.com/v_show/id_XNTE2MjM5NzUy.html 3Doodler是玩具和机器人公司Wobble Works开发的全球首款“3D打印笔”，可以帮助人们在半空中创造出三维结构的模型。今后人们可以在三维空间中来“画图”交流和表达想法了。Apple iWatch：http://v.youku.com/v_show/id_XNTIwODk0MzM2.html iWatch由苹果公司推出的一款智能手表。现在仍是概念产品，面世时间未定。其界面看看视频就知道有多酷。
