关于动作捕捉技术的应用
摘要：约翰逊开创性的心理物理学研究表明，仅仅几个连贯移动的关键点就足以被感知为人类的运动[1]。
早在2006年，就有文献描述了MMC视频处理模块的几种方法，包括背景分离、视觉船体、迭代最近点法等，并指出MMC有可能达到一定的精度，从而促进人体正常和病理运动的生物力学研究 [2]。
在未来几年，将用于先进工业应用的传感器和系统将变得更加智能，内置功能和嵌入式算法，如机器学习和卡尔曼滤波器，这些将被纳入imu检索的数据流处理中，以增加其功能，并提供高精度(且昂贵)基于相机的动作捕捉系统的替代品。此外，系统有望变得更小、更便携，以减少对工人和工作场所的干扰，同时还应提供实时(生物)反馈健康和安全应用，以帮助工业工人采用和接受这些技术[3]。
动作捕捉现已在各大产业领域大显身手，成为行业的代名词，数字人驱动、VR体验、影视动画制作、3A游戏、工业、AI等都离不开动作捕捉的应用。但是，动作捕捉具体操作是怎样？这个隐藏在虚拟世界背后的技术工具，到底是怎么一步步推动元宇宙发展的？
下面我将介绍
- 什么是动作捕捉
- 为什么动作捕捉这么受欢迎
- 动作捕捉在各领域的应用
- 动作捕捉的应用和怎样简单入手动作捕捉
什么是动作捕捉
动作捕捉是运动物体的关键部位设置跟踪器。意同：运动捕捉英文Motion capture,简称Mocap。技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据[4]。
在运动物体的关键部位设置跟踪器，由Motion capture系统捕捉跟踪器位置，再经过计算机处理三维空间,不同原理的设备各有其优缺点，一般可从以下几个方面进行评价：定位精度；实时性；使用方便程度；可捕捉运动范围大小；抗干扰性；多目标捕捉能力；以及与相应领域专业分析软件连接程度。
从技术的角度来说，运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。典型的运动捕捉设备一般由以下几个部分组成：传感器,信号捕捉设备,数据传输设备,数据处理设备
为什么动作捕捉很受欢迎
在动作捕捉技术出现之前，这些动作都是需要人工一帧一帧画上去的。无论是2D还是3D，动画还是游戏，都要求动画师/动作师根据感觉和经验，一点一点手调关键帧，把角色的动作逐帧模拟出来。这种生产方式的缺点很明显：
逐帧抠动画的效率非常低，很难大批量生产；
纯凭动画师的经验和脑补，如果碰上杂技、打斗、舞蹈之类的复杂动作，一不小心就会画崩；
过于依赖动画师的个人素质，不同层次的动画师做出来的动作天差地别，导致产品的成本和质量基本处于不可控状态。动捕技术的优点非常突出。效率高，所见即所得，不需要动画师绞尽脑汁去想象复杂的动作。
成本低，虽然一套动捕设备的价格不菲，但由于可以大批量生产动作，而且速度很快，可以节约巨大的时间成本，平摊到每个动作上往往都很便宜；三是入门门槛低，不太依赖大神动画师，对于小团队来说非常友好。
比如以下这段书记跳舞便属于转描手法：
这里我们介绍一下转描手法作为对比：[什么是转描（Rotoscoping） - 知乎 (zhihu.com)]
(https://zhuanlan.zhihu.com/p/359647847)
我们拿电影举例，一部好的电影需要好的剧本和人物契合和道具场地，简单来说就是故事的三要素：剧情，人物，环境。剧本是很好解决的，其改动成本低，入手写作门槛低，能产生大量优质作评。但是如果我们想把纸质文学转化为影视展现出来，怎样能最好贴切原著里的描写是最头疼的。就目前来说，能贴合原著的影视剧很少，更别说超越了。其原因有以下几点：
1出演人物不能很好还原原著角色，比如气势，外貌（神似虽然很重要但是外貌对应原作还是会让读者更买账）
2. 原著描写的环境不能很好展现，现在的主题都是逍遥仙境，神话传说，外太空等等，很难在自然中拍摄出想要的效果
3. 影像化是一定要作一定的魔改，而书本漫画中描述的动作或者打斗场面到底该怎样呈现也是个烧脑的问题。
把文字转化为画面就是为了能让读者更多地深入其中获得体验，相比于文字，大家肯定喜欢看图像来的快一点，文字里阐述的画面不能更直观地让读者体验到，即使再天马行空的画面描写，不如现代技术复刻出来。款且有更好的可以模拟的动捕建模工具，魔改也能一定程度上得到很大提升。动作捕捉技术的崛起无疑是解决人物这一块的最好方法，而通过电脑建模也可以解决环境的问题，故现在和将来的艺术转化很大程度上需要信息技术的支持。
动作捕捉应用在哪里呢：
游戏-第九艺术：各种3a大作的制作
早些时候我对3a游戏的认识是：要花钱，基本都是单人游戏，流程很长。后来上网一搜是高成本、高体量、高质量的意思，但也没对其感兴趣。知道疫情的时候在家不知道干什么，Epic送了一部死亡搁浅，然后网上一直说这部作品怎么好，怎么好，我就尝试地玩了一下，之后就对于3a欲罢不能了。总体来说，它像是买了一张电影票，整个游戏流程像极了看一场电影，但我们要将自己代入到主角，自己去对于故事的走向做出抉择，再融入一些游戏的玩法。听上去像是一边玩游戏一边看电影的感觉，光这样说感觉很无聊，其最打动我的，是我能在开放的游戏世界里找到现实，就拿我买的很多部《刺客信条》来说，对于一个宅在家里的穷光蛋，怎么可能有时间和精力出去旅游，但是在其作品里面，我既可以生活在工业革命的伦敦，闲逛巴黎圣母院和参加法国大革命。相比于电影里一切注定的镜头和动作，营造足够还原的人文气息，自己探索。
最近几年很多专家呼吁我们从实景学习，光读书的结果是什么都不知道，相比于枯燥乏味的书本，沉浸式带入角色体验可能让孩子们获得更多成长。就好比我们从小读书接受最多的教育是：读书为了更好地去那边看真实遗迹，出国后能更好地与外国人交流，但北京上海的学生组织个春游就能进入大博物馆看到我们只能在书上看到的东西，周围老师也是外教或者有更多出国旅游机会，在见识上可以完爆我这个大山里的孩子。
影视-需要赚钱的艺术：最早比如阿凡达
电影被视为一种特殊的艺术，他的特殊性就是——需要能赚钱，没有人能够直接支付起整个影片的花销，故大多数电影烂是因为它要恰钱。相比于以往电影请大明星，请多个群演，可能会造成工期长又达不到效果的样子，动作捕捉技术毫无疑问地成为工业化电影的重要技术。特技演员负责动作，再交给后期声优配音，大大缩小了所需开支和技术时长。
举个简单例子，是给一群群演化妆成孙悟空快（演员还又累又热），还是让他们穿上建模装备套入动捕建模快
例如2009年的《阿凡达》，可以说是无人不知无人不晓，也正是从这里开始，美国电影开始了工业化电影道路。不管是复仇者联盟系列还是变形金刚等，都彻底打破人们对于特摄电影的传统观念，也让电影院成功打败红及一时的DVD成为现代潮流。
而且影视业是个大头，如果你有足够多，足够快，足够好地生产电影，是可以打破一些小国自己的影视产业，然后可以在电影里面夹杂自己观念的私货，给他们树立自己的价值观念（我不说是谁）。
VR与元宇宙-人工智能/未来的艺术
随着VR技术的发展和普及，动作捕捉应用在电脑手机游戏上已多少成为局限。在游戏里面看多少场雪也没有现实里面看一场雪来的震撼，让玩家操控人物不如让玩家成为人物，VR的到来将会彻底打破玩家和“那个人的差别”。未来人工智能的发展一定会越来越逼真，真正做到打破时空壁垒，做到真正的“巴黎旅游模拟器”。这不仅仅能让玩家面对旷阔的市场[5]。
其他领域
短视频动画
如抖音、快手等平台上制作小动画视频，可使用VDLive虚拟主播系统+动捕或MMD等（一个软件养活多少二创区up）根据剧情剧本，直接输出动画小视频。（如原神二创区，普通玩家的动画质量可以比肩官方，跟我一起喊“压力给到了谁？”）[6]。
疾病治疗
结合文献所反映的MMC技术在测量关节角度和身体运动方面的可靠性能，建议MMC系统可以进一步应用于康复领域，测量患者的运动功能。然而，MMC技术在康复临床测量中的实际应用还处于初级阶段。现有的大多数研究都集中在MMC系统的校准或仅在健康人身上验证MMC系统[7]。
机器人的应用
开发者还可以使用设备附带的C++接口或SDK进行二次开发，通过动捕设备+实时操控机器人、机械臂等进行远程作业。以目前的机器人表现来看，执行动作时会因为位点捕捉数量的少导致动作僵硬，如果能通过人的动作捕捉获得更多位点，进行更高级的生物模拟来达到更高的真实度，仿生人并不是完全不可能[8]。
或者我们脑洞再大一点，万一《超能陆战队》里面的微型机器人实现了呢？
怎样简单入手动作捕捉-MMD：
这里介绍几个up主的视频，按照视频一步一步来非常简单。
分析动作捕捉教学：
- 【【MMD】【动作捕捉】b站上最简单的Openmmd3.2教程来啦 https://www.bilibili.com/video/BV1KW4y1r7np?vd_source=df204d4c0be0e1673ec3f174038c4144
这个软件可以捕捉视频中的动作生成数据，简单方便 MMD的使用：
【小白学习MMD系列】如何下载以及安装MMD（补基础）】
https://www.bilibili.com/video/BV1dD4y1C7az?vd_source=df204d4c0be0e1673ec3f174038c4144
MikuMikuDance，学好了可以当个副业（确信）
【Kurt】Blender动画教程-熊猫跳舞 | AI动作捕捉+ARP角色绑定(已完结)】https://www.bilibili.com/video/BV1bu4y1g7Vs?p=4&vd_source=df204d4c0be0e1673ec3f174038c4144
更完善的进阶版教程
一些小感悟：
科技的发展是为了让人们活的更好，更加满足人们对于未来的向往和需要。随着现代科技的发展，有着“科幻小说之父”名誉之称的儒勒凡尔纳先生小说里的幻想一一变成现实，或者未来的小伙伴看我今天写的这篇文章也会颇感幼稚，对于同龄人来说我也是在炒冷饭。但我确实是在真正发现这项技术的牛逼之处后有感而发，外行人只有接触到本行业的事情后才会意识到其重要性，这一篇文章也算科普来收入到我的博客里面吧，也许之后哪天会继续更行相应系列（我有时间而且想学的话）或者来嘲笑现在的我的浅薄见识。
另外，如果有对此方向有兴趣准备深入学习的小伙伴可以上网找一些前端学术论文，比如：以上论文中还提供了一些使用共享代码和数据的简单实验。再现这些分析的代码可从github.com/DeepLabCut/Primer-MotionCapture获得开源文件。
参考文献：
[1] G. Johansson, Visual perception of biological motion and a model for its analysis, Perception & psychophysics, 14 (1973) 201-211.
[2] L. Mündermann, S. Corazza, A. Chaudhari, T. Andriacchi, A. Sundaresan, R. Chellappa, Measuring human movement for biomechanical applications using markerless motion capture, SPIE2006.
[3] M. Menolotto, D.S. Komaris, S. Tedesco, B. O’Flynn, M. Walsh, Motion Capture Technology in Industrial Applications: A Systematic Review, Sensors (Basel), 20 (2020).
[4] A. Mathis, S. Schneider, J. Lauer, M.W. Mathis, A Primer on Motion Capture with Deep Learning: Principles, Pitfalls, and Perspectives, Neuron, 108 (2020) 44-65.
[5] M. Park, Y. Cho, G. Na, J. Kim, Application of Virtual Avatar using Motion Capture in Immersive Virtual Environment, International Journal of Human–Computer Interaction, 1-15.
[6] E. Yavşan, A. Uçar, Gesture imitation and recognition using Kinect sensor and extreme learning machines, Measurement, 94 (2016) 852-861.
[7] W.W. Lam, Y.M. Tang, K.N. Fong, A systematic review of the applications of markerless motion capture (MMC) technology for clinical measurement in rehabilitation, Journal of NeuroEngineering and Rehabilitation, 20 (2023) 1-26.
[8] T.G. Thuruthel, B. Shih, C. Laschi, M.T. Tolley, Soft robot perception using embedded soft sensors and recurrent neural networks, Science Robotics, 4 (2019) eaav1488.
