VRMark自我反思：VR基准测试不能只是单纯的数字

Futuremark已经发行了备受期待的完整版基准测试软件VRMark。而经过几个月的研发后，该公司发现自己必须重新定义如何应对VR性能测试的难题。

Futuremark是世界著名的性能基准测试和服务提供商。在PC电脑游戏领域，Futuremark旗下的3DMark已经成为许多GPU爱好者辩论的基础，现在的3Dmark已从单纯衡量显卡性能的软件渐渐转变成一款衡量整机性能的软件。

而随着虚拟现实的兴起，该公司也正积极地参与虚拟现实的复兴。事实上，沉浸式游戏带来了巨大的初始硬件需求，并且必须依赖低延迟性能和90FPS的最小帧率。所以Futuremark针对VR用户的需求推出了一款性能基准测试软件，以评估用户PC的配置是否足以支持虚拟现实头显及其应用程序。VRMark是该公司首次进入消费者版VR性能测试领域，而该软件已经上线Steam。

然而，任何在不同平台上体验过足够多虚拟现实内容的人都会告诉你，给VR系统的表现评分都不是件简单的事情。专用的VR头显具有复杂的专属渲染技术和显示技术，而这些有很多都从未出现在消费级别的产品中。但最大的挑战是，Futuremark需要考虑人类生理学和人类对VR系统的全面反应。

Futuremark最初从纯粹的分析角度来讨论这个问题。Futuremark当时的目标（至少有一部分）是测量“光子运动”的数值：从渲染到显示，图像到达人眼所需的时间。但如果你已经在Steam上购买了新发行的VRMark，你就会注意到系统不会再把“USB示波器”或“光敏传感器”列为要求。这是为什么呢？

Futuremark的詹姆斯·加拉赫（James Gallagher）给出了答案。

他说：“经过多月来的测试后，我们发现影响用户体验有更重要的因素。简单来说，测量流行头显的延迟值并不能让你清楚了解VR体验的运行效果。更重要的是，我们已经看到仅根据延迟数据推断VR性能可能会产生误导。我们还发现，‘VR-Ready’并不是简单的‘合格’或‘不合格’。VR头显会使用许多聪明的技巧来补偿延迟和丢失帧。像异步时间扭曲，帧重投影，运动预测和图像扭曲这样的技术非常有效。”

对于加拉赫所提到的技术，几乎所有的消费者版VR硬件供应商都在采用，以帮助PC或主机运行虚拟现实头显和应用。所有这些技术（Oculus有异步时间扭曲和异步空间扭曲，SteamVR最近增加了异步重投影）都有一个共同的目标：确保用户眼睛看到正常流畅的画面，最小化可能引起晕动症的画面抖动。

加拉赫说：“借助VRMark，你可以自行判断这些技术的有效性。你可以通过自己的眼睛来判断VR体验的质量。你可以发现体验是否存在时延、抖动或者掉帧。”加拉赫还分享了研究过程中的一些发现，“在我们的测试中，大部分人不能判断出表现不佳的系统，甚至是在帧率一直低于标准数值时也不能判断出来。你或许会发现，自己在相对廉价的硬件也能获得舒适的VR体验。”

为了更详细地描述Futuremark的VR基准测试方法，加拉赫给出了解释：

（Futuremark）推荐客观基准测试和主观“自我测试”的组合。我们认为这是判断全貌的最佳方式，特别是低于Rift和Vive推荐规格的系统。

理由是“VR-Ready”并不是简单的“合格”或“不合格”。

一方面，其定义表明真正的VR-Ready系统必须持续满足90FPS的帧率，不会出现任何的掉帧。这样，你在游戏或应用中看到的每一帧都是开发者希望你所看到的体验。

另一方面，当系统无法维持90 FPS时，VR SDK会尝试通过异步时间扭曲或帧重投影等技术进行补偿。在这种情况下，只有部分帧是游戏中的真实帧，其余是是通过SDK创建进行补偿。现在，如果SDK做得很好，可隐藏丢失的帧，你可能无法区分纯90FPS体验有何不同，那么你可能会说该系统是VR-Ready。

下面是一个例子：

• 系统A：

VRMark Orange Room基准测试评分：6500

平均帧率：140FPS

• 系统B：

VRMark Orange Room基准测试评分：5000

平均帧率：109FPS

• 系统C：

VRMark Orange Room基准测试评分：3500

平均帧率：75FPS

• 系统D：

VRMark Orange Room基准测试评分：2000

平均帧率：40FPS

基准测试结果表明，系统A和系统B都纯粹意义上的VR-Ready。两者都有足够的性能，在连接头显时可达到每帧90 FPS。但分数和平均帧率的差异会告诉你，系统A有更多的余量，可使用更高的设置或运行对性能更苛刻的VR游戏和应用。

系统C和系统D没有达到目标帧率。所以现在的问题是VR SDK是否可以补偿丢失的帧？为此，你可以连接头显并使用VRMark Orange Room体验模式。

你可能会发现，在使用体验模式时无法区分系统C和系统B的差别.即使系统C会定期发生丢帧情况，SDK也能够补偿和隐藏这种影响。VR体验就如同真正的VR-Ready系统一样好。

对于系统D，你可能会发现VR体验有明显的问题。SDK无法补偿低帧率。你可能会注意到画面抖动等影响。

因此，你可能会总结道：

• 系统A属于VR-Ready，有余量满足对性能要求更苛刻的体验

• 系统B属于VR-Ready，可运行满足HTC Vive和Oculus Rift推荐性能要求的游戏。

• 系统C在技术上不属于VR-Ready，但借助相应的软件技术仍然可以提供良好的VR体验。

• 系统D不属于VR-Ready，不能提供良好的VR体验。

我想许多玩家都希望知道自己的系统是否真正的VR-Ready。而你只能通过基准测试进行判断。你还需要在显示器上运行基准测试，以了解系统系统到底比90 FPS这一标准高出多少。VRMark Blue Roo基准测试是一个更苛刻的测试，针对性能优于Rift和Vive推荐规格的硬件。

在天枰的另一端，对价格敏感的游戏玩家或许会选择更为廉价的系统，可通过软件技术达到VR-Ready要求。

对于所有这一切，我们希望加拉解释为什么Futuremark现在建议人们采用主观的“自我测试”方法，他又为何相信我们需要VRMark呢？在理论上讲，我们都可以使用上述的方法论来测试任何的VR应用或游戏，那为什么人们应该投资购买VRMark呢？

加拉赫说：“我认为VRMark的价值在于，它可以让你轻松地在一个应用中使用通用内容进行这些客观和主观的评测。基准测试提供了一种方便，易于重复进行的工作负载。你会得到一个纯VR-Ready测试。体验模式为你提供了一种在不满足纯粹定义的系统上判断用户体验质量的方法。”

最新的VRMark已经登陆Steam，支持Oculus Rift、HTC Vive和OSVR兼容头显。社区对该应用的反馈褒贬不，有人批评VRMark缺乏更广泛的“纯”基准测试功能。就当前而言，售价为68元的VRMark并不昂贵，而且用户还能在免费的预览版中使用到The Orange Room测试功能。对于一款可以让你在购买头显前判断PC能否运行VR的应用而言，大部分人或许会认为这是一项有价值的投资。