安兔兔ai评测多少分算好(ETHAIBenchmark)

近两年,随着AI在移动端的普及,几乎所有智能手机都已经标配AI,不过AI的性能到底如何评判一直是业界讨论的焦点,毕竟各大厂商的AI发展方向各不相同,就像田径选手和体操选手无法完全同台竞争一样,AI跑分平台只能做到尽量公平。目前,已经有不少评测机构开发了相应的测试模型,用以判定手机及芯片的AI能力,业界比较常用的主要是ETH AI-Benchmark(也就是苏黎世AI跑分)、中国电信AI评测、鲁大师AI Mark和安兔兔AI跑分。那么这四大手机AI评测榜单,到底谁更专业呢?下面就来一起分析。

安兔兔ai评测多少分算好(ETHAIBenchmark)(1)

手机AI评测到底在测什么?

开始之前,先看看AI跑分需要测试哪些项目?简单来讲,AI评测有两个关键维度——性能和精度,其中,AI性能评测考验的是手机处理AI应用的运行速度,AI运算精度则考验的是AI应用的准确性。AI性能比较好理解,就像手机CPU和GPU跑分一样,性能是评测中必不可少的环节,我们可以重点分析一下AI运算精度。

目前,手机AI运算用到的数据类型基本为INT8和FP16,其中,FP16位宽更宽(16bit)相比INT8(8bit)精度更高,计算量也更大,同时对硬件处理能力要求更强;INT8又被称为低精度,顾名思义,精度相对较低,但占用的内存空间更少,实现更小的硅片面积,在降低功耗的同时实现更高的每秒操作数。

由于FP16位宽更宽,计算量更大,因此,在当前的热门AI图像处理领域,FP16能大显其手,而INT8位宽不足,无法处理HDR 10bit和RAW 10bit的图像数据,因此,INT8量化处理后图像会出现明显的瑕疵。例如,在高对比度以及暗光场景下,INT8运算更容易丢失画面细节,出现噪声以及涂抹严重等成像不稳定的问题;此外,在图像超分应用上,由于需要算法对每个像素进行生成处理,因此运算精度要求更高,举个例子,用手机拍摄鼓棒击打有水的鼓面,FP16进行超分图像处理时能将水花四溅、水波流动纹理等更多细节表现出来,不仅图像还原度更高,而且还能通过插帧算法实现7680帧/秒的慢动作,而INT8则会损失更多画面细节,甚至出现大量噪点。不仅如此,在当下的热门AI图像应用,如照片背景虚化、视频实时换背景,以及涉及用户安全的人脸解锁等高难度系数场景下,FP16优势都更加显著。

安兔兔ai评测多少分算好(ETHAIBenchmark)(2)

(7680帧超高速慢动作,华为Mate 30 Pro 5G拍摄)

虽然上述应用场景下FP16表现更出色,但FP16和INT8之间并不是非此即彼的互斥关系,只是计算机计算的两种数据格式,本身没有孰优孰劣。不同的芯片厂商通常会根据不同业务、场景需求,结合平台能力等约束综合选择,最终的目标是精度和性能的双赢,因此,在某些网络下会出现一部分AI运算用INT8,另一部分用FP16的情况。

安兔兔ai评测多少分算好(ETHAIBenchmark)(3)

哪个手机AI跑分平台更专业?

了解AI测评的关键指标之后,让我们回到主题,究竟哪个手机AI跑分平台更专业可靠呢?

1)学院派:苏黎世ETH AI Benchmark跑分

科技媒体、KOL参考最多的跑分平台,当属苏黎世联邦理工学院开发的AI-Benchmark(ETH AI Benchmark),不仅有“欧陆第一名校”和“世界顶尖研究型高校”的美誉,苏黎世联邦理工学院本身也是专业的AI研究机构,具备先进的实验室测试环境,在AI算法设计、网络模型、跑分制定、测试用例等方面均为业界主流。

而从测试维度来看,不同于业界单一评测INT8精度的跑分软件,ETH AI-Benchmark综合对比了CPU Q、CPU F、QUANT、FP16、FP32等多种精度下的AI性能,并根据实际AI应用,在目标识别/分类、人脸识别、图像去模糊、图像超分辨率、语义图像分割、图像增强、内存极限等AI运算任务下的处理表现,是目前最专业的平台之一。

安兔兔ai评测多少分算好(ETHAIBenchmark)(4)

值得注意的是,在ETH AI跑分榜单上,华为和荣耀手机的持续霸榜也正是得益于华为长期在AI应用领域的探索,从Mate 20系列的AI人像留色、AI卡路里识别等应用,再到Mate 30系列AI隔空操控、P40系列的AI一键去路人、AI去反光等功能,都能看到华为在AI应用上的创新以及麒麟芯片领先的AI实力。

2)运营商派:中国电信

除了ETH,国内比较专业的AI评测平台还有中国电信,测试维度同样包括性能、精度、能效,并且在不同网络类型(分类网络、检测网络、超分网络等),SDK等各个主要方面都进行了对比说明。其中,精度测评还包括了TOP1、TOP5和平均精度,各个网络在不同平台的运行能效也有分析,中国电信输出的报告非常有参考价值。

安兔兔ai评测多少分算好(ETHAIBenchmark)(5)

3)跑分软件派:鲁大师AI Mark&安兔兔

当然,在评测领域跑分工具永远不会缺席,鲁大师和安兔兔也发布了相应的AI评测工具。其中,鲁大师选取Inception V3、ResNet34、VGG16三种网络,各自完成同样的100张标准图片识别任务,获取概率值TOP5的答案,获取答案以及完成测试的时间作为评测标准,这确实考验到了AI性能,也具有一定的参考价值,但对比上述两家来看,显然维度还不够全面,在精度方面的考虑相对较少,还有待完善。

安兔兔ai评测多少分算好(ETHAIBenchmark)(6)

至于安兔兔,客观性有多少,相信搞机的各位都懂。根据安兔兔的说法,AI评测并没有使用android统一的NN API,而是使用各家AI芯片的SDK。高通平台是SNPE,华为麒麟是HiAI、联发科的SDK名为NeuroPilot,跨平台的对比参考价值并不高,更不必继续深究其跑分模型的专业度了。

总的来说,目前业界还没有完全统一的AI评测标准,仍需要全行业共同努力。要知道,即使是现在使用最多的CPU跑分评测,也是从90年代就开始启动,由无数公司与产业组织共同努力,才最终完成了行业标准确立,所以AI评测标准的完全建立还需要持续的探索和积累。不过就目前业界使用最多的四大AI评测来看,还是ETH和中国电信最客观最全面。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页