首页  资讯  会展  采购  配套  出口  三资  供应商入口  网站地图

 当前位置:资讯 > 新技术 > 智能网联

智能网联

重构视觉大模型训练范式!小鹏TuringViT高效视觉编码器正式发布

时间:2026-07-22 来源:汽车供应商网  作者:资讯部

【汽车供应商网】今年上半年,小鹏集团持续夯实物理AI技术底座,密集落地多项自研核心技术成果,先后推出X-World多视角生成式世界模型、X-Cache世界模型推理加速引擎、X-Foresight预测式世界模型及X-Mind技术框架。近日,小鹏再添重磅技术突破,正式发布TuringViT高效视觉编码器,从架构、数据、训练全流程系统性重构VLM/VLA时代视觉编码体系,以极低训练成本实现顶尖模型性能,同时为智能驾驶、智能座舱、IRON人形机器人三大核心业务提供统一感知底座,推动高端视觉大模型技术从行业头部垄断走向全域普惠。该技术相关成果已同步公开官方网站与arXiv论文,技术路径可完全复现、适配全行业落地。


作为物理AI体系的核心感知入口,视觉编码器承担着场景理解、状态研判、智能决策的前置核心作用,是物理AI规模化落地的关键基石。当前行业通用视觉模型普遍存在三大落地瓶颈:传统Softmax注意力计算量随画面像素呈二次增长,高分辨率、多帧视频场景推理成本高、延迟大,难以适配端侧实时部署;主流SOTA视觉模型依赖百亿级海量图文数据训练,数据成本高昂、噪声冗余,中小研发团队难以复刻顶尖效果;多数模型采用固定分辨率预训练,与VLM/VLA动态多变的真实场景输入不匹配,事后适配易造成性能损耗、增加研发成本。针对行业共性痛点,小鹏TuringViT给出了全维度、体系化的解决方案。



TuringViT创新性搭建“线性注意力主导+高质量数据治理+原生动态分辨率训练”三维技术体系,在算力效率、数据成本、场景适配三大维度实现全面突破,达成模型效果、运行效率与落地实用性的多重跃升。


在架构创新层面,小鹏自研Turing线性注意力(TLA),打造“5层线性注意力+1层标准多头注意力”混合Turing Block架构,将传统二次方计算复杂度降至近线性级别,大幅降低高分辨率画面的推理延迟。模型推出18L、24L两大版本,分别适配高效部署与高性能表征需求。实测数据显示,高分辨率场景下该架构优势显著,在1536×1536超高分辨率输入中,TuringViT-18L推理吞吐量达Seed1.5-ViT的3.04倍、SigLIP2-ViT-L的2.16倍,且分辨率越高,效率优势越突出,彻底解决了多摄像头、高画质、长时序视频的端侧实时处理难题。同时搭配2D RoPE、RMSNorm+SwiGLU等优化设计,在高效全局建模的同时,精准保留局部细节与高频特征,规避线性注意力细节丢失的行业通病。


在数据治理层面,TuringViT依托VISTA-Curation精细化数据流水线,告别行业粗放式堆数据的研发模式,通过筛选、校验、聚合全流程优化,大幅提升单样本数据监督价值。针对图文数据,通过低质过滤、多字幕交叉验证、图文对齐打分三重筛选,提纯高密度优质样本;针对视频数据,完成帧片段采样、语义与运动一致性过滤、时序字幕融合,构建兼具细节与时序逻辑的高质量训练数据集。依托这套治理体系,TuringViT仅需主流模型10%的训练数据(0.85B图文对),就在ImageNet-1K等多项零样本分类任务中实现83.6%的平均准确率,性能超越百亿级数据训练的开源基线模型,COCO、Flickr30K图文检索任务表现同样领先,且模型性能仍具备持续提升空间,远未达到饱和状态。


在训练范式层面,TuringViT首创四阶段原生动态分辨率预训练体系,从预训练阶段即对齐下游真实场景需求,摒弃传统“固定预训练+事后适配”的落后模式。通过视觉初始化、受限动态训练、原生分辨率精调、图文视频混合训练四大阶段,循序渐进提升模型对可变画幅、超高分辨率、动态视频场景的适配能力,天然兼容各类尺寸与长宽比输入,无需额外适配优化,大幅降低多模态模型集成成本。实测证明,搭载TuringViT的多模态模型,在目标定位、OCR识别、文档理解、视觉问答等核心任务中,全面优于SigLIP2、MobileCLIP2等主流基线方案。


目前,TuringViT已成为小鹏物理AI体系的统一视觉底座,实现多场景全域赋能。智能驾驶领域,作为小鹏第二代VLA模型核心编码器,高效处理多路高清环视动态画面,以低延迟、高精度视觉输出,支撑复杂路口通行、长尾障碍物识别、无导航辅助驾驶等高阶功能迭代;智能座舱领域,依托VLM原生适配能力,实现视觉与语言的深度融合,提升人机交互识别精度,赋能多元化智能座舱交互场景;IRON人形机器人领域,承担“视觉视网膜”核心作用,实现精细物体识别、空间感知、动态追踪,将智驾场景积累的视觉能力快速迁移至具身智能场景,适配机器人低算力端侧部署需求。


除自研业务落地外,TuringViT更具备极高的行业普惠价值。其完整开源可复现的技术路径、低数据与算力门槛、软硬件通用适配特性,打破了高端视觉大模型的技术与资源垄断,为全行业提供了低成本、可定制、易部署的SOTA级视觉Transformer训练方案。未来,小鹏将持续扩充高质量图文视频数据储备,深化时序建模、具身视觉技术迭代,推进视觉基座与VLM/VLA系统深度融合,持续完善物理AI全栈技术闭环,以普惠性AI技术赋能智能出行与具身智能产业高质量发展。


分享到:

企业推广 | 广告合作 | 友情链接 | 关于我们 | 联系我们 | 意见反馈 | 网站地图 | 加入我们 | 邮箱登录
版权所有:汽车供应商网 Copyright © 2015-2026 京ICP备09065995号-4 公安备案 京公网安备11010802033937号

E-mail:service@qcgys.com
电话:010-68420981、88560270
QQ:3553216770

  • 更多配套相关信息
    请扫码关注公众号

  • 扫码关注公众号