图片 1

特别是在目前竞争压力越来越大的情况下,各种为分数调试的方法都可能被用上。

无心插柳有作弊

一些新闻媒体在转发新闻的同时,没有忘记给华为扣上了“作弊”帽子,但事实真的有这么严重吗?NO,其实以个人意见而言,华为行为虽然有耍小聪明的因素,但如果将其上升到作弊的高度,那就是完全没有道理。为什么这么说?我们不妨从3Dmark跑分说起。

在跑分数据真实性问题上,华为消费者BG软件工程部总裁王成录在IFA期间接受采访时表示,智能手机的跑分测试很常见,其他企业都在做这类测试,而且拿了很高的分,华为不能保持沉默。

UL Benchmarks用Google
Play提供的公共版、和手机制造商无法获取的内部版3DMark分别测试了P20
Pro、Nova 3和荣耀
Play机型,结果,公共版得分比内部版得分高出了47%,一款手机在两个版本上的表现判若云泥。

责任编辑:

UL
Benchmarks表示,这可能是通过识别之前标记过的3DMark应用程序,在跑分测试中开启高性能模式得到高分。数据显示,公共版得分比内部版得分高出了47%。

可以看出,开启BM检测后,荣耀Play
FPS(每秒传输帧数)从66.54提升至127.36,平均功率也由4.39W提升至8.57W。

以个人观点来看,微星当时的行为恰恰说明了其拥有强大的技术实力,能够实时侦测到运行的程序,同时还能针对运行环境加以优化(超频),保证用户获得最好的应用体验。当然,微星的做法也不是一点问题没有,错误的地方在于没有明确告诉消费者,主板在什么环境下会干出什么事情,而且超频行为也确实会对计算机硬件的使用寿命有影响。但是,大部分消费者在意吗?在早期DIY时代里,会自己手动超频的用户有多少?在全体用户里的占比有多少?所以微星的行为造福了大部分用户,市场的反应也比想象中更宽容,几乎没怎么冒泡就过了。同时微星的行为也为后来Intel推出支持睿频的处理器提供了可行性的思路,当然,两者之间的间隔是有点远。

虽然对华为在跑分场景中默认启动“性能模式”表示有异议,但UL表示理解。双方达成协议,为了尊重用户的选择权,华为将在EMUI
9.0版本中把“性能模式”开放给用户,这样用户即可选择在有需要的时候开启该模式。

图片 2

Android版本3Dmark,本次华为就栽在了专业版和普通版的区别上

在近日的一次手机评测中,华为的几款手机被认定为“存有猫腻”,理由是在其设备上安装了用于检测跑分应用程序是否运行时的软件。

责任编辑:

在某些情况下,3Dmark是一种相对简单的压力测试方式,使用更简单,需要值守的环节更少

竞争焦虑

华为被指四款畅销手机跑分作弊。

再一个就是测试环境的问题,手机的集成度更高,每个厂商自己的系统都有自己的优化,没有统一、干净的安装包一说,甚至连底层的驱动都不尽相同。在这种背景下,统一的基准测试真的就只是参考,更何况,还有什么自启动、关联启动的全家桶,3Dmark基准测试的结果真的权威吗?

责任编辑:

图片 3

原标题:3Dmark跑分作弊?No!只是规则的小把戏

华为和UL随后就跑分事件发布联合声明,华为表示,在讨论中华为向UL解释了当前华为智能手机的AI智能调度机制,由于不同场景对性能的要求不同,最新版本的华为智能手机系统可以通过AI智能调度等先进技术,使硬件性能得到充分发挥,满足用户在不同场景下的体验诉求。

在报道Huawei & Honor’s Recent Benchmarking Behaviour: A Cheating
Headache中,Anandtech还给出了荣耀Play在开启和关闭跑分软件检测模式时的性能差别对比:

现在说回3Dmark,早期的3Dmark是用于检测PC系统显卡性能的基准测试软件,在某些特定的场景下,还可以被用于PC系统压力测试。3Dmark存在的意在于,为行业人员提供了测试性能的最简单解决方式,一键测试可以在最短的时间内获得参考测试结果,降低了行业人员的工作强度,简化了测试过程,提升了测试效率。

“各大手机和电脑厂商也将跑分作为重点来宣传,给消费者营造出手机性能好的直观印象,但其中掺杂着不少水分。”手机中国联盟秘书长王艳辉对记者表示,在品牌手机互相挤压份额的时候,跑分作弊也就司空见惯。

华为:大方承认

但是,3Dmark真能代表PC系统的全部性能吗?我们可以斩钉截铁的告诉你:NO!3Dmark这破玩意儿更多测试的是VGA的性能,大部分的测试选项和CPU一毛钱关系都没有,线程、核心什么的统统都不考虑,只有少部分选项会受到CPU主频的影响,而且在最后成绩中,这影响还基本看不出来。关于测试成绩还可以说说,一般情况下,3Dmark的最后测试成绩每次都不会一样,每次的误差在10%以内均算正常……所以你懂的,这个成绩真的只能用来参考。

全球调研机构Counterpoint近日发布的一份报告显示,2018年上半年中国智能手机市场整体表现不如预期,销量同比下降10%。一方面,国产手机厂商发布旗舰机型的步伐明显加快,头部企业更是纷纷试探产品价格的上限,有意竞逐苹果、三星把持的高端市场。另一方面,三线到六线品牌之间的洗牌也越发激烈。在整体市场规模无法持续明显扩大、没有更多增量空间去开拓的情况下,智能手机市场已经完全变成了一个存量竞争的血海市场。

半个月前的AI拍照“虚假宣传”一事还未平静,新的公关危机再次降临,而这次的影响似乎更严重一些:

说到这里,我们不妨可以说说一般PC系统的测试过程。一般来说,测试PC系统时需要安装全新的、干净的操作系统,然后按照Chipset(主板)、VGA(显卡)的顺序安装驱动程序,再依次安装测试软件,补完测试环境,包括DirectX等程序。测试时隐藏系统栏,关闭电源管理、屏幕保护程序、声音、禁用网络。测试过程是运行测试软件,一般是至少运行三次,然后取平均值。运行次数越多,测试成绩的平均值误差越小,越能反映PC系统的真实性能。

早在2013年,搭载三星Exynos处理器版Galaxy S4就出现过作弊问题。而在 2014
年,华为 Ascend
P7也因为类似作弊行为被3DMark取消成绩,手机在检测到测评工具时就开启更多核心,提升运行效率,达到更高的分数。

到此,华为的这几款畅销机作弊有了实锤。

这世界,小聪明可以有,使用需慎重。华为或许有错,但UL
Benchmark的屁股也没想象中那么干净。早年也没见他们下架任何一家厂商的测试成绩,现在来下架,只能说呵呵,或许是因为国外公司惹不起,先来个中国公司开刀吧。

双方还讨论了当前业界通用的跑分测试方法。为避免对当前跑分结果产生混淆,UL和华为讨论后,一致决定将暂时下架一系列华为设备的跑分数据,并在华为授权其所有手机用户可访问“性能模式”后恢复分数。

图片 4

关于Benchmark跑分的黑历史

几天前,Anandtech本想探索下华为的GPU
Turbo优化功能,却在测试荣耀Play时发现,和配置相似的P20相比,荣耀Play的跑分差距很大。

图片 5

原标题:行业跑分测试“常态化”作假 华为手机“喊冤”称暂时下架相关数据

华为P20 Pro

图片 6

  日前,知名基准测试软件3DMark母公司UL
Benchmarks发布公告,表示将华为P20
Pro、nova3以及荣耀Play三款机器的跑分成绩从数据库中删除,理由为“华为对跑分进行了优化,在日常使用时并不能达到跑分的水平”。

在UL Benchmarks这份手机性能榜单中,量子位还发现了一些有趣的事情。

接下来的事情就比较有意思了。早年的NVIDIA和ATI(现在应该叫AMD)在市场上互相掐得厉害,互相指责对方在Benchmark软件测试环节中造价,甚至还有在进行测试时指定测试者重点跑哪些Benchmark软件的行为,客气点说这叫突出优势,不客气的说,这叫涉嫌操纵结果。在这一时期里,两家VGA厂商经常指责竞争对手针对Benchmark软件进行驱动优化,即在驱动程序中写入专门针对Benchmark软件的侦测,即在检测到运行类似“Benchmark.exe”的时候,启动超频模式或Turbo模式,以获得更好的成绩。检测方式很简单,将“Benchmark.exe”之类的文件换个扩展名就可以了,这样进行两次测试,然后对比结果就能看到厂商的花样。这和华为本次的行为有区别吗?那个时候怎么不见UL
Benchmark叫嚣得那么厉害?

华为表示,他们已经与业内合作伙伴联手进行了一年多的测试,来寻找最接近用户体验的最佳测试方式。以通话质量为例,全球都有一个标准化的测试方式,测试结果能够被行业所认可,所有厂商也都在朝着一个客观的结果而努力。但在游戏测试上面,王成录表示:“其他人都在做相同的测试,并获得高分,华为不能保持沉默。”

事情到此,也差不多告一段落了,但跑分这个关乎每个手机性能如何的重要参与,还在持续热议中。