草图人像变3D模特360°无死角还原姿势｜SIGGRAPH 2022

发布时间：2026-01-23 15:43:11 丨 浏览次数：

　　

　　一张随便勾画的草图，居然也可以分分钟自动变成逼线° 无死角不说，转换期间真的不需要任何其它角度姿势的输入。

　　这就是获得了SIGGRAPH 2022荣誉奖的一个最新3D姿态估计模型：

　　除了草图，像这样的小猴子，四肢严重不按比例生长，Sketch2Pose也可以办到：

　　该任务最大的挑战就是比例失真问题，因为画上的东西可能头大身子小、胳膊长腿短……

　　为此，Sketch2Pose通过对三个关键元素进行预测来消除绘制姿势时的可能出现的“歧义”。

　　其中，2D骨骼切线（下图蓝色部分）是预测3D骨骼方向最有力的指标（关节位置不行）。

　　自接触区域（如下图绿色部分，手接触腰的位置）对于理解3D姿势至关重要，也是消除未知身体部位歧义的线索。

　　根据这三者预测，再使用最先进的优化框架（optimization framework），并用专门设计的一种新的损失（loss）来平衡姿势自然度，以及与输入草图的相似性，AI就能最终推断出符合画者意向的3D姿势。

　　输入一张草图，首先预测出2D关节位置或骨架，用于3D人体模型的粗略对齐。

　　然后预测屏幕空间（screen-space）接触区域，将其映射到粗略对齐的3D模型上，得到一组接触顶点（红色部分）。

　　最后，在优化框架中利用2D骨架的骨骼切线D姿势以及比例修补，产生最终结果。

　　最终的Sketch2Pose可以支持多种草图风格的转换，比如下图中的简笔画或者水墨画，像下下图最后一张那样简略的也可以。

　　比如上图第一行中的人手（不过我们发现左边的似乎推测有错，手应该是放在两腿之间；右边的抱头基本没啥问题，但手掌应该向后弯曲）。

　　再将Sketch2Pose和SOTA方法进行比较，结果还是令人非常满意的。

　　可以看到，Sketch2Pose（第三列）对姿势还原的更到位，缺失部分的预测也更符合人体构造。

　　而开头那只小猴子，Müller et al. 2021等方法的转换效果就是下面这样：

　　一作名叫Kirill Brodt (Кирилл Бродт)，出生于1991年，本硕毕业于新西伯利亚州立大学（数学学位），后在Yandex数据分析和计算机科学中心学院学习机器学习，现为蒙特利尔大学的一位博士生。

　　另一位作者名叫Mikhail Bessmeltsev，是一作的导师，蒙特利尔大学计算机科学与运筹学系的助理教授。

　　原标题：《草图人像变3D模特，360° 无死角还原姿势，一张就行，多“草”都可｜SIGGRAPH 2022》