网站排名与什么有关系,金属加工网站怎么做,网站备案是否收费,用自己的名字设计logo1. 研究背景
在现实世界中#xff0c;人们寻找 3D 物体的行为往往基于特定意图#xff0c;例如“我想要一个可以支撑我背部的东西”#xff08;即寻找枕头#xff09;。传统 3D 视觉定位#xff08;3D-VG#xff09;主要依赖人工提供的参照信息#xff08;如“沙发上的…1. 研究背景
在现实世界中人们寻找 3D 物体的行为往往基于特定意图例如“我想要一个可以支撑我背部的东西”即寻找枕头。传统 3D 视觉定位3D-VG主要依赖人工提供的参照信息如“沙发上的枕头”。但该论文提出的3D 意图定位 3D-IG旨在让 AI 自动推理并检测目标物体而无需用户明确指明物体的类别或位置。 2. 主要贡献
(1) 新任务——3D-IG
任务目标给定 3D 场景点云和自由形式的意图文本AI 模型需自动推理并检测符合该意图的目标对象。该任务比 3D 视觉定位更具挑战性因为它不依赖显式的物体类别或空间参照。
(2) 新数据集——Intent3D
从 ScanNet 数据集Dai et al., 2017中提取 1,042 个 3D 场景构建 Intent3D 数据集。包含 44,990 条人类意图文本涉及 209 个细粒度类别的物体。通过 GPT-4 生成意图文本并进行人工清理确保数据质量。
(3) 新模型——IntentNet
为解决 3D-IG 问题论文提出 IntentNet该模型主要由以下三部分组成 意图理解Verb-Object 对齐首先识别动词然后匹配相应的对象提高模型对人类意图的理解能力。候选框匹配Candidate Box Matching通过检测多个可能的目标提高 3D 目标检测的准确性。级联自适应学习Cascaded Adaptive Learning动态调整多个损失项的优化顺序以增强学习效果。 3. 数据集构建 (1) 采集过程
场景构建 → 物体筛选 → 意图生成 → 数据清理
Intent3D 数据集的生成流程如下
构建场景图基于 ScanNet 3D 点云整理场景类别、物体类别、实例数量、3D 边界框等信息。选择目标物体 常见物体选择高频物体排除结构性物体如“墙”。非显而易见的物体排除场景中出现过多次的物体如会议室里 10 把椅子。无歧义的物体过滤可能导致歧义的物体如“垃圾桶” vs “垃圾箱”。 生成意图文本 通过 GPT-4 生成描述该物体用途的意图文本如 “我想在办公桌上放点绿植”。采用多轮 Prompt 设计确保文本不包含明确的物体类别、位置等信息。 数据清理 移除乱码、重复和含糊的意图文本确保数据质量。
(2) 统计分析
该数据集包含 63,451 个物体实例平均每个物体有 6 条意图文本。统计分析表明 使用了 1,568 个不同动词表示意图使用了 2,894 个不同名词表示物体。 4. 提出的模型——IntentNet (1) 多模态特征提取主干网络
3D 点云采用 PointNet 提取点云特征。语言文本采用 RoBERTa 对文本输入进行编码能够理解文本语义。3D 目标检测MLP使用 GroupFree 3D 检测器 生成物体候选框。 编码器Encoder
多模态特征通过 Transformer 结构 进行融合
点云注意力模块Point Attention Block 对点云数据进行 自注意力 和 跨模态注意力让 3D 特征与文本对齐 候选框注意力模块Box Attention Block 让候选 3D 物体的特征与文本进行交互目标强化可能目标的语义匹配 文本注意力模块Text Attention Block 让文本信息与 3D 物体信息交互提高意图理解能力 解码器Decoder
Top-K 物体候选框选择 选出置信度最高的 Top-K 物体让模型关注最有可能满足意图的目标生成查询提议Query Proposal 自注意力与交叉注意力机制 让点云、候选框、文本进行深度融合提高检测精度 最终目标检测 预测 3D 目标物体的位置Bounding Box
(2) 关键模块
候选框匹配增强物体推理Candidate Box Matching
3D 场景中可能有多个物体符合同一意图如“坐下”可以是椅子、沙发需要让模型 自动筛选出最相关的目标
解决方案 动词-物体对齐提高意图理解Verb-Object Alignment
AI 需要同时理解 “做什么” “对什么物体”先识别意图句中的动词如 “support”再匹配其作用对象如 “back”。通过 对比学习Contrastive Learning 训练 AI 理解动词-对象关系。
解决方案 级联自适应优化提升训练效率Cascaded Adaptive Learning
训练多个损失意图理解、物体匹配、目标检测很难优化需要让模型 先学会简单任务再优化复杂任务由于 3D-IG 任务涉及多个学习目标如意图理解、候选框匹配、目标检测论文提出一种 自适应损失加权机制 先优化高优先级任务如动词识别再逐步优化低优先级任务如目标检测。通过 Sigmoid 自适应因子 调整各损失项的影响提升模型收敛速度。
解决方案 5. 实验结果
(1) 评价指标
Top-1 准确率Top1-AccIoU预测的最高置信度目标是否正确。平均精度APIoU在不同置信度阈值下的检测精度。
(2) 对比实验
模型Top1-Acc0.25Top1-Acc0.5AP0.25AP0.5BUTD-DETR47.1224.5631.0513.05EDA43.1118.9114.025.003D-VisTA基础模型42.7630.3736.119.93Chat-3D-v2LLM36.7132.783.232.58IntentNetOurs58.3440.8341.9025.36
IntentNet 超越所有基线模型尤其在 AP 和 Top1-Acc 指标上显著提升。LLM 模型 Chat-3D-v2 表现较差表明现有 LLM 在 3D 任务上的适用性有限。基础模型 3D-VisTA 虽然有较好的对齐能力但仍不及 IntentNet因为 IntentNet 显式建模了意图推理能力。
(3) 消融实验
移除 动词对齐VerbTop1-Acc0.25 下降 5.25%。移除 候选框匹配MatchBoxTop1-Acc0.25 下降 2.09%。移除 自适应学习AdaptTop1-Acc0.25 下降 0.95%。 6. 结论
该研究提出 3D 意图定位3D-IG 这一新任务并构建 Intent3D 数据集为 3D 目标检测提供新的方向。IntentNet 在意图推理、候选框匹配和级联优化方面展现了领先性能优于现有 专家模型、基础模型和 LLM。
