从嵌入式到AIOT，IP架构发生哪些变化？

人工智能和物联网（AIoT）的融合趋势日益明显，这个趋势正在塑造人们未来的生活和工作方式。

从历史来看，从嵌入式发展到IOT，再到AIOT的步骤大致可以分为三个阶段：

(资料图)

第一个阶段，即上世纪70年代和80年代，微处理器开始广泛应用于各种电子产品中，如微波炉和电冰箱，主要实现一些简单的控制功能。此阶段被称为“仪器化”阶段，微处理器开始用于常见的家用电器和工业设备，帮助人们完成一些基本的任务。

第二个阶段发生在90年代和2000年初。此时，所有的嵌入式设备开始具有连接功能，可以连接到互联网，连接到云端，与云进行一些互动。这个阶段被称为“互联设备”阶段。在这个阶段，各种连接标准协议开始出现，Wi-Fi、蜂窝移动通信等无线连接方式兴起。

第三个阶段则是现在。IOT和嵌入式系统正在向人工智能化方向发展。设备不仅需要具备连接功能和一些简单的控制功能，而且需要能够进行智能处理。IoT设备需要采集并处理大量的数据，这些数据来自于各种不同的传感器，包括传感器融合收集的海量数据。在一些需要快速决策的情况下，设备甚至需要根据从传感器采集的数据进行独立决策。这种模式预示着未来的IoT设备必须是智能化的，必须具备数据处理控制和人工智能功能，以实现在边缘侧的真正决策化。

作为全球领先的嵌入式和IoT解决方案提供商，Arm一直致力于服务于嵌入式和IoT的这三个阶段的演进。例如，为了适应智能化阶段的需求，Arm在其新的处理器架构中增加了神经网络处理单元（NPU），以提高AI任务的处理能力。此外，Arm还推出了一系列的软件工具，如Arm NN等，帮助客户快速地开发和部署AI应用。并且，为了满足海量的数据处理需求，Arm还在其最新的处理器架构中加入了支持处理器向量扩展（SVE）的功能，使处理器能够处理大量的数据。

不过，从嵌入式向AIOT化发展的过程中，仍然面临许多挑战。比如如何保障随着设备智能化带来的数据安全和隐私问题？如何保障设备的连续稳定运行，以满足高可用性的要求？如何处理设备之间的互操作性问题，以实现设备之间的无缝对接？

Arm+安谋科技，共同推动智能视觉技术的新实践

上个月，Arm在嵌入式大会前夕推出了全新的智能视觉参考设计，该产品首度将 Arm IP与安谋科技 IP 进行集成，Arm物联网事业部业务拓展副总裁马健（Chloe Ma），以及安谋科技智能物联及汽车业务线负责人赵永超接受了与非网记者的采访，他们解释了Arm在智能视觉技术领域如何通过与安谋科技的创新合作，共同推动行业发展的理念和实践。同时也阐述了Arm如何应对从嵌入式想AIOT化转变中面临的挑战。

马健强调，在当今的智能视觉时代，机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动，自动驾驶和机器人有了视觉信息才能提供关键的安全和避障能力，而模型的优化也可以借力智能视觉等感知技术，从现实生活中采集真实数据形成更准确的模型。

为了帮助智能物联和智能视觉的创新企业降本增效，将他们看到的新商机和酝酿的新想法更快、更有信心的转化成为量产的产品，Arm 推出了预先集成和验证的子系统解决方案。这种新的设计方式和产品形态选用 Arm 广泛应用于智能视觉领域的处理器和系统 IP，构建出相对标准化的 IP 组合，并经过预先验证，辅以该子系统的 Arm 虚拟硬件，参考软件栈，形成了设计智能视觉系统的坚实的系统技术平台，使创新者们不需要从零开始，可以专注于产品的差异化，并快速将自己的想法转化为产品并推向市场，显著降低芯片开发的成本和风险，并大幅度缩短研发周期。

此次，Arm 携手安谋科技在中国市场发布最新集 Arm 与安谋科技 IP 于一体的智能视觉参考设计，便是将这种概念再往前推进，展现Arm IP 集成第三方IP的方案，给予客户足够的灵活性和选择，以支持差异化创新。该方案的硬件参考设计包括Arm Corstone-1000、Corstone-300子系统，Arm Mali-C55 图像信号处理器 (ISP)，以及安谋科技的“玲珑”V5视频处理器和“周易”NPU。

首先，Arm Corstone 是一套预先经过集成并验证的子系统，也是 Arm 物联网全面解决方案的根基。Corstone 子系统旨在加速芯片产品流片和量产，使芯片设计伙伴可以专注于增强自己的差异化。Corstone-1000 是首款为 Cortex-A 设计的子系统，该方案基本配置是经过量产考验的 Cortex-A35 或 Cortex-A53，并取得了Arm SystemReady IR 认证，确保 Linux 等操作系统的开机即用，并简化软件开发。Corstone-300 在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。

而Mali-C55 ISP 是Arm 迄今为止面积最小且可配置性最高的 ISP 产品，可提供更卓越的图像质量功能，能在各种不同的照明和天气条件下运作，专为在面积和功率受限的应用中实现最佳性能和功能而打造，是智能摄像头和边缘人工智能 (AI) 视觉用例的理想之选。与 Arm 其他产品一样，Mali-C55 拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的 3A 库以及全套调校和校准工具，并有 Arm 认证的 ISP 调优合作伙伴助力客户达到最优画质。

安谋科技在国内推广Arm的IP业务的同时，仍然持续开展自研IP业务。目前，安谋科技在国内的授权客户已经超过370家，累计芯片出货量突破300亿颗，拉动下游年产值过万亿人民币规模的科技产业生态。安谋科技的自研产品线包括“周易”NPU、“星辰”CPU、“山海”SPU、“玲珑”ISP、“玲珑”VPU，在中国本土授权客户已超过160家，本土客户基于自研IP芯片累计出货量突破2亿颗。

赵永超首先详细介绍了此次安谋科技与Arm的合作，以及他们在智能视觉参考设计中所使用的安谋科技自研VPU和NPU。其中包括2022年安谋科技发布的"玲珑"系列V6/V8视频处理器VPU，这是安谋科技发布的第二代VPU产品。据他介绍，"玲珑"VPU是一款编解码融合、灵活可配、可编程的多核视频处理器。其核心价值在于，无论是在编码标准、编码质量、PPA（功耗、性能、面积）等各个方面都经过了不断的创新和提升，并保持了与Arm架构以及多媒体生态的兼容性。

另一款产品"周易"NPU，这是一款灵活可配置的人工智能加速器，具有出色的性能，并已经完成了对ChatGPT大模型的适配。这款大模型是由OpenAI开发的，它是一种在各种任务上表现出人类水平的通用人工智能，该模型在许多领域都显示出了出色的性能，包括文本生成、情感分析、对话系统等。

赵永超详细解释了“玲珑”VPU和“周易”NPU这两款产品在智能视觉应用中的功能：

其中“玲珑"VPU对图像的前后处理能力进行了不断的提升，提供了更丰富的功能，包括各种HDR算法、降噪算法、色彩增强算法、超分辨率等，并在边缘计算领域实现了强大的视频流处理能力。

赵永超特别介绍了周易NPU如何利用AI加速，提供出色的推理性能，以实现各种复杂的视觉算法，包括目标检测、人脸识别、语义分割等，从而支持了各种创新的智能视觉应用。

通过“玲珑”VPU和“周易”NPU产品的组合，安谋科技形成了一个集成的视觉处理系统，这种系统可以广泛应用于智能手机、平板电脑、汽车车载信息娱乐系统、VR/AR、舱、智能家电、智能摄像、安防、机器人、无人驾驶、无人机等多个领域。

为中国市场量身定做的智能视觉IP

马健表示，Arm与安谋科技的合作是开启全球智能视觉技术生态的一部分。Arm和安谋科技的目标是“通过这次合作，打造一种开放、灵活、可扩展的视觉处理解决方案，从而帮助更多的开发者、制造商、研究人员和创业公司能够利用智能视觉技术，开发出更加智能、更加便捷的产品和服务。”

Arm之所以选择与安谋科技合作，是因为安谋科技对智能视觉技术以及中国市场的深入理解，以及他们在AI硬件设计和开发上的专业能力。这次发布的参考设计将第三方IP与现有的Arm IP进行整合，打造出一款更适合中国市场的产品。由于安谋科技参与了此次参考设计的集成和验证，他们对产品有着深刻的理解，同时也有一支强大的研发团队，能够帮助对这个参考设计感兴趣的客户进行第三方IP的集成，满足客户可能会有的各种创新需求。这种合作模式使得Arm和安谋科技的智能视觉参考设计能够更好地在中国市场落地和推广。

马健强调，Arm一直致力于提供完整的视觉处理技术方案，包括处理器、神经网络处理器、视觉ISP、功能强大的中间件以及开发工具，而与安谋科技的合作则是他们实现这一目标的重要一步。

智能视觉：未来IoT设备的关键支撑

随着摄像头的智能化和分辨率需求的提高，CPU、ISP和ML加速器已经成为视觉系统的必备元素。在这样的背景下，Arm智能视觉参考设计的出现，既集成了Arm IP，又为第三方IP在标准化平台上的集成提供了可能，极大地便利了设计者和制造商。

马健指出，IoT设备正在变得更加智能化，需要进行复杂的数据处理和决策。为此，Arm为处理器提供了丰富的支持，包括对矢量的支持、对机器学习的优化支持以及软件生态的丰富。尤其在软件方面，Arm已经提供了对主流AI框架的支持，使得AI Copilot、TensorFlow、OpenCV等工具得以充分发挥。

未来，边缘侧的AI小模型运行将变得更加重要，这对智能视觉的实现具有深远影响。马健认为，为了适应这种趋势，我们需要的不仅仅是视觉处理堆栈和AI堆栈，还需要有能支持模型稀疏化的合作伙伴，以及一套能帮助视觉开发者更好利用视觉和AI库的工具。

但是，物联网的碎片化问题仍然存在。在这个问题上，马健认为Arm能够提供一些标准和认证体系，例如SystemReady标准和PSA认证，以促进AIOT生态的成熟。通过这些标准和认证，我们不仅可以推动软件的标准化，解决物联网的安全性问题，还可以减少碎片化，推动整个AIoT领域的健康发展。展望未来，可以清晰看见一个智能化、连接化、安全化的物联网产业的到来。

标签：