视觉Transformer（ViT）已经在多个计算机视觉任务中超越卷积神经网络（CNN），成为行业新宠。据《量子杂志》报道，ViT通过全局分析和注意力机制，能够更好地理解图像中各区域的关系，从而在复杂场景中表现出色。
ViT的优势显而易见。首先，它在复杂场景中具备卓越的物体识别能力，尤其在部分遮挡的情况下表现优异。其次，ViT具有更强的抗干扰能力，能够有效应对细微像素扰动。此外，ViT在场景解析和路径规划等任务中也表现出色。然而，这些优势也带来了高计算复杂度和对算力的巨大需求。
要充分发挥ViT的性能，硬件优化至关重要。支持ViT的神经网络处理器（NPU）需要具备多种能力。例如，高效的注意力机制加速、混合数据类型支持以及结构化与非结构化稀疏计算加速。此外，硬件还需支持高吞吐量定制算子、并行与多核心计算能力，以及模型压缩与剪枝功能。
CEVA已将这些优化集成至NeuPro-M NPU IP，推动高性能ViT应用的落地。未来，随着ViT在自动驾驶和安防等领域的广泛应用，专用硬件将成为推动视觉AI发展的关键。