3月26日消息,近日,安谋科技Arm China在上海举办了一场别开生面的发布会,重磅推出新一代玲珑VPU(视频处理单元) IP,包括V560、V760两款型号,代号峨眉。


为什么需要VPU?
虽然传统CPU、GPU都可以很好地处理视频编解码工作,但很多时候,专业的事儿要交给专业的人去做。
一方面,独立的VPU可以更高效地专门对视频进行编解码,满足越来越复杂的工作,也有利于释放CPU、GPU资源去处理其他更复杂的任务负载。
另一方面,在智能驾驶、数据中心等很多场景中,需要很强的视频编解码处理能力,相比更高能耗和成本的GPU,这类任务交给VPU再合适不过。
VPU 的工作原理和流程比较简单,一般分为三个阶段,首先就是在摄像头、相机等设备采集原始视频数据之后进行前处理,包括缩放、镜像、旋转、格式转换、OSD等等,接下来就是各种格式的编码压缩,便于存储和传输,最后就是在需要的时候解码播放,呈现给观众。
玲珑V560/V760 VPU的任务,就是有效应对AI技术爆发所带来的海量视频数据编解码加速需求,为AI时代的视频应用提供核心技术支撑,满足从主流到新兴应用的实时编解码需求。

安谋科技立足本土创新,坚持以自研业务技术创新与Arm技术授权相配合,积极服务中国本土客户,在国内的授权客户已超过460家,累计芯片出货量突破450亿颗。
安谋科技旗下拥有星辰CPU中央处理器、周易NPU神经处理器、山海SPU安全处理器、玲珑多媒体处理器四大主力IP产品线,都在不断迭代升级。

有趣的是,安谋科技的四条产品线分别以蓝色、绿色、红色、紫色为主色调,开发代号也都很有中国特色。
比如星辰系列的开阳、天璇等都来自北斗七星,山海系列的嘉峪、居庸、白马、平型、雁门、函谷都来自著名关口,玲珑系列的峨眉、武当都来自中国名山。
谈到这代VPU的代号峨眉,安谋科技Arm China多媒体处理器研发负责人周华表示,这缘起于一次登山团建,团队也深刻体会到:一个人也许可以走得很快,但一群人可以走得更远。追求前沿技术创新,犹如翻越一座又一座险峰,登顶路上离不开伙伴同行。





在聊产品之前,不得不赞赏一下此次发布会的布置非常别致。
现场以玲珑系列的紫色调为主,山峰造型对应峨眉的代号,众多六边形标牌寓意着产品是强大均衡的六边形战士。
就连媒体胸牌的造型也与众不同,都让人眼前一亮,看得出来是花了不少心思的。

玲珑VPU如今已经发展到第五款产品。
最早是2021年的V5/V7,支持AVS2格式,次年的V6/V8加入了AV1,2024年的V510/V710首批支持H.266并加入了智能编码器,V520LE则是面向监控的衍生版本。
最新的玲珑V560/V760没有加入更多新的视频格式,依然支持包括H.266在内的各种主流标准,升级了编码能力,同时在性能和能力上都实现了新的飞跃。
它们采用多核心、多格式编解码融合的可编程处理架构,单个核心就可以支持最高4K60FPS编码、8K30FPS解码。
其中,玲珑V560最高配置双核心,面向4K及以下分辨率应用。
玲珑V760最高配置四核心,面向8K及以下分辨率应用。



8K解码现场演示:
在高性能开发板上,基于玲珑V560/V760实时硬件解码,完美实现8K30FPS超高清视频流畅播放。
在搭载玲珑V560/V760的运动相机上,可以实现实时拍摄和成片效果,稳定不丢帧、低延迟。


玲珑V560/V760创新性地加入了集成CAE技术,也就是内容感知编码(Content Aware Encoder),实现了图像语义分析-像素级预处理-码率动态分配的全链路智能优化,从而提升画质或降低码率。
基于CAE技术,玲珑V560/V760的编码器可以自动感知图像内容,通过前向处理分析、图像语义分析、像素级预处理等阶段,进一步提升编码效率和质量。
它提供了3种不同面积的编码质量配置,支持5种编码预设。
虽然当下是个火爆的AI时代,很多沾边不沾边的技术、产品都要冠以AI之名,但是安谋科技还是非常朴实的,不然换个公司可能就这一技术直接宣传为AI编码了……

CAE技术现场演示:
前处理过程中,CAE可以智能识别到需要重点处理的敏感对象。

当然,安谋科技也在朝着真正的AI编解码前进。
正在研发的下代玲珑V620/V820(代号武当)就会重点支持面向AI计算的编码,再往后的未来产品则会加入新的视频解码器、AI编码器。
编码技术也会再次进化为真正的端到端方案,支持深度感知,实现全局最优。
通过大规模的AI训练,可以更好地融合感知模型与AI应用对视频编解码的需求,更好地满足不同领域的不同场景。
安谋科技Arm China VPU研发总监黄鑫博士表示,为了应对不断推陈出新的AI技术与新兴场景,玲珑VPU的架构未来将朝着AI端到端视频编码技术路径加速演进,逐步构建起深度感知、全局最优的AI VPU训练框架,服务于更广泛的AI+视频应用场景。

玲珑V560/V760 VPU还非常特别地采用了积木式堆叠技术,支持客户根据不同应用场景的需要,灵活配置所需要的IP。
无论客户需要单独一种或者多种功能IP,无论需要多少核心、多少格式、多高精度、多大分辨率、多高质量、多少参考帧、多少前后期处理等等,都可以单独定制。
官方还提供配套的固件工具和软件,流片之后也能进行IP固件升级。
这样一来,客户就可以精准满足自己的需要,不必在用不到的地方上浪费成本,从而在系统层面实现PPA(性能/功耗/面积)的最优平衡。

玲珑V560/V760 VPU堪称性能全面、优异,堪称全能六边形战士
- 高性能:
单核解码性能对比上代提升多达100%,多核运行时的并行度更高。
- 高可靠性:
具有强大的错误处理能力,即便是丢包率高达20%,仍然可以纠错解码,确保在网络不佳等不利条件下视频仍能正常播放,还能升级固件。
- 高质量低码率:
同等视频码率下,编码质量平均提升20%;同等编码质量下,视频码率平均降低20%,特定场景下甚至可以降低多达80%。
- 低延时:
通过条带级编解码控制技术,显著降低编解码的延时,而且编解码控制更灵活。
- 多OS支持:
驱动支持Linux、Android、Windows、RTOS等多操作系统,硬件支持多系统、虚拟化应用。
- 信息安全:
支持TrustZone内容保护、高级马赛克功能,并提供完善的隐私保护。


玲珑V560/V760的这些优异表现,都源于安谋科技的核心技术优势,总结起来有五点:
- 灵活可配置的架构:
编码解码二合一,同时采用创新的多核处理架构,支持多核同任务、多核异任务,满足多样化场景需求。
- 集成CAE先进编码技术:
创新性实现CAE编码技术,集成轻量化AI,大幅提升编码质量,显著降低视频码率。
- 覆盖H.266等主流编解码标准:
集成多格式视频编解码器,编码支持H.266/265/264、JPEG等,解码支持/ H.266/265/264/263、AV1、VP9/8、MPEG-2/4、RealVideo 8/9/10、AVS/AVS+/AVS2/AVS3等,并支持YUV422高色彩格式。
- 多配置全隔离的硬件运行机制:
硬件支持多OS虚拟化应用场景,硬件支持视频内容安全访问,满足复杂应用环境需求。
- 条带级编解码控制:
通过灵活的条带级编解码控制技术,显著降低编解码的延时。


可以说无论是云侧、边侧、端侧,在任何场景下,玲珑V560/V760 VPU都能带来高效率、高质量、低能耗的视频编解码处理效果,为各种视频应用提供坚实的技术支撑。
在Edge AI领域,比如摄像机、智能手机、平板机、AI PC电脑、电视机、边缘服务器、线上会议等,玲珑V560/V760 VPU可以大幅降低视频码率和处理延时,显著降低功耗和芯片面积,实现用户体验、电池续航、芯片成本的最佳平衡。
在Physical AI领域,比如智能驾驶、智能座舱、机器人等,玲珑V560/V760 VPU支持多OS虚拟化应用,可增强系统集成灵活性与安全性,降低跨平台、多应用的开发集成成本与风险。
在Cloud AI领域,比如数据中心、视频转码、AI 服务器、云游戏等,玲珑V560/V760 VPU可以在保证数据准确性的同时,实现高性能、高编码质量、高吞吐量、低延时的视频处理。
目前,玲珑V560/V760 VPU IP已完成首批客户授权,客户产品预计今年就会陆续量产。

