自动驾驶预期轨迹预测的AI模型优化
本文目录一览：
- 1、常用的轨迹预测结果的稳定性优化方法有哪些?
- 2、DIPP:基于可学习损失函数的自动驾驶预测决策一体化模型
- 3、基于可解释长期路径点的轨迹预测模型
- 4、聊聊自动驾驶中两种AI大模型GPT算法
- 5、自动驾驶轨迹预测算法:NeurIPS挑战赛冠军方案
- 6、采用世界模型的自动驾驶多视角预测和规划
常用的轨迹预测结果的稳定性优化方法有哪些?
当前的方法通过编码多传感器数据，将它们转换到一个共同的鸟瞰图（BEV）特征空间，并回归地图元素的顶点。文章通过增加概率回归头来增强这种输出结构，将每个地图顶点建模为拉普拉斯分布，以捕捉不确定性。
为提升在线推理速度，QCNet算法采取了优化方案，包括采用query-centric编码，基于时空坐标系处理场景内元素，实现结果的重复利用；使用循环方式生成轨迹建议，结合不同时刻的位置信息；设置轨迹优化模块，结合前一步骤的轨迹建议，使用query-based decoder更好地处理轨迹的多模态信息。
基于最优控制的轨迹优化方法主要分为直接方法和间接方法。直接方法通过将轨迹优化问题转化为非线性规划问题或多项式优化问题来求解。这类方法的优点包括求解速度快、适用于高维问题和处理非线性约束的能力。缺点是对于复杂系统动力学，可能受局部最优解影响，导致收敛困难。
改进主要体现在两个方面：第一，使用原始的激光雷达数据来提供更丰富、更详细的语义信息，以捕捉HD地图覆盖不到的场景细节，如植被与建筑物，这些因素对行人行为有显著影响。第二，采用了更具有区分度的锚点生成方式，以提升模型的轨迹回归能力。为进一步增强表现，引入了一个简单的集成技巧。
DIPP:基于可学习损失函数的自动驾驶预测决策一体化模型
因此，本文提出了一种基于可学习损失函数的自动驾驶预测决策一体化模型——DIPP（differentiable integrated prediction and planning）。该模型的核心在于通过将规划误差反向传递至预测模块，使车辆决策规划与预测模块之间形成互动，同时学习到可调整的成本函数。DIPP模型由两个主要部分组成：预测器和规划器。
为解决这一难题，南洋理工大学的研究团队提出了创新的DIPP模型，它将预测和规划无缝集成，引入了可学习的损失函数，以实现更精准、安全的决策。DIPP的核心理念在于，通过将规划的误差反馈给预测模块，它能够在实际预测中考虑到自车的决策与规划路径。
基于可解释长期路径点的轨迹预测模型
主要贡献包括：1）引入可解释的DCM模型，结合智能体的长期路径点，为轨迹预测提供新视角。2）研究长期路径信息对轨迹预测的影响，提升预测准确性。3）在Waymo Open数据集上实现并评估方法，开启运动预测数据集包含智能体长期路径点讨论。本文目标在于提出解决轨迹预测问题的新方法。
DIPP模型由两个主要部分组成：预测器和规划器。预测器根据车辆及其周围环境的历史状态信息，预测未来联合分布的轨迹，同时考虑自车和障碍物之间的交互以及与静态元素（如车道和人行横道）的交互。
预训练阶段在数据集上训练20个epoch，使用均方误差（MSE）设计损失函数。通过Woven Planet L5Kit自动驾驶模拟，对预训练模型进行微调。BEV输入嵌入模型，确定未来轨迹点，运动规划器根据决策输出生成动态可行轨迹。将可执行轨迹反馈给模型，生成未来BEV预测。
ApolloScape：提供小车、大车、行人等轨迹预测数据，数据集包含帧数ID、目标ID、目标类别、位置xyz，长宽高信息以及heading。数据结构包括基于相机的图像、激光雷达扫描的点云和手动注释的轨迹。
聊聊自动驾驶中两种AI大模型GPT算法
自动驾驶领域的AI大模型，特别是GPT算法，正日益受到关注。这些模型主要用于数据生成和场景分析表达，旨在直接从原始感知数据生成车载控制指令，以实现自动驾驶。自动驾驶控制器设计通常涉及局部感知方法和端到端学习方法。
从事机器翻译的技术人员通过GPT模型的训练可以改善翻译的准确性并提高生产力。同时，GPT也可以根据文本自动生成高质量的文章或评论。比如说，可以基于一篇文章或博客的主题获得一篇与其主题相关的文章，并且让其语境和风格与原文非常相似。
把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。
GPT和GTP是人工智能领域的两种重要模型，它们各自有不同的应用和前景。 GPT是一种基于自回归语言处理的生成式预训练模型，能够完成文本自动生成、语义分析、机器翻译等任务。
首先，GPT以其广泛的适用性展示了其前景。作为自然语言处理的代表，GPT在翻译和内容生成方面表现优异，例如能根据给定主题生成类似原文的文章。此外，GPT还能应用于语音识别、对话系统和语义分析等领域，为AI在工业智能、自动驾驶和商务智能等领域开辟新路径。
海若，这是用于自动驾驶的生成式大模型，其参数规模已经达到1200亿。和ChatGPT在AIGC（AI-GeneratedContent，人工智能生成内容）领域一样具备颠覆性的事情正在发生。在本周的在第八届毫末AIDAY上，毫末智行发布了首个应用GPT模型和技术逻辑的自动驾驶算法模型DriveGPT，并正式官宣中文名为“雪湖·海若”。
自动驾驶轨迹预测算法:NeurIPS挑战赛冠军方案
1、本文重点介绍美团无人车配送中心团队在NeurIPS 2020 INTERPRET轨迹预测挑战赛中获得优异成绩的算法方案。NeurIPS是顶级机器学习和计算神经科学会议，INTERPRET竞赛由UC Berkeley MSC Lab主办，旨在评估自动驾驶领域轨迹预测算法。竞赛包含Generalizability Track和Regular Track两条赛道。
采用世界模型的自动驾驶多视角预测和规划
1、《Driving into the Future： Multiview Visual Forecasting and Planning with World Model for Autonomous Driving》一文由中科院自动化所和香港AI机器人研究中心共同发布，介绍了与现有端到端规划模型兼容的驾驶世界模型Drive WM。
2、BEVWorld框架在自监督学习下，高效处理未标注多模态数据，实现驾驶环境全面理解。实验显示，BEVWorld在自动驾驶任务与多模态预测中表现优异。未来研究将探索提高效率的方法与动态对象生成质量。总结 BEVWorld为自动驾驶领域提供了新视角与方法，推动技术发展。
3、总体而言，BEVWorld为自动驾驶领域中的世界模型构建提供了新视角和方法，有望促进自动驾驶技术的进一步发展。欢迎关注我们的仓库，里面包含了BEV/多模态融合/Occupancy/毫米波雷达视觉感知/车道线检测/3D感知/多模态融合/在线地图/多传感器标定/Nerf/大模型/规划控制/轨迹预测等众多技术综述与论文。
4、BEV的全称，是基于多视角摄像头的鸟瞰图感知（Birds-eye-view Perception） ，基于BEV的物体可以通过自上而下的视图，完成轨迹预测和路线规划，且能避免图像视角下的尺度和遮挡等问题，成为自动驾驶领域提高检测性能、实现端到端自动驾驶的关键。 另一个关键词，是Transformer。
5、中科大旷视团队在CVPR 2024大会上发布了一项名为Panacea的新技术，专注于为自动驾驶提供多视角、可控的视频生成解决方案。这项创新针对自动驾驶对大量标注数据的需求，通过一种全新的生成模型，生成高质量、带标签的视频数据，以推动自动驾驶技术的发展。Panacea的核心特点是其一致性与可控性。
6、在昱感微看来，真正的自动驾驶面临的道路状况千变万化，自动驾驶要求开发者回到智能的“第一性原理”——从感知和决策的角度先感知周围环境，再根据感知预测其他车辆的运行轨迹，作出自动驾驶车辆的行为规划和决策，完成系统级开发。