AIOT中的图结构计算问题研究.pdf
AIOT中的图结构计算问题研究.pdf
AIOT中的图结构计算问题研究 Collaborative SLAM in AIOT 中国人民大学信息学院 王永才 1 新型智能感知网络：AIOT 物联网正在由传统IOT，向智能AIOT快速发展，AIOT中节点更具自主感知决策能力 传统IOT 新型AIOT 感知、计算 感知、计算、建图 通信、协作 定位、自主移动、通信、协作 2 自主感知、定位、建图是AIOT的关键问题 • 感知、定位、建图、自主移动、分布式协作 是AIOT中新的关键问题。 智能体需要在复杂环境中自主感知、通信、计算、协作，完成自身定 位、目标检测、目标定位、环境建图等任务 基于视觉的定位与建图 基于雷达的定位与建图 基于无线的协同定位 3 图结构计算问题 图结构计算是感知、定位、建图、自主移动和分布式协作这些任务背后核心问题。 以视觉感知为例 特征点提取与匹配 多视角几何关系 相机相邻帧之间，以及相机到环境特征点间的距离和角度测量关系 基于多类型传感器建立Pose Graph 基于Pose Graph计算所有顶点 空间位置和姿态 Pose Graph 4 图结构计算问题分为前端任务和后端任务 后端任务 前端任务 视觉 雷达 惯导 无线 特征点提取 边角点提取 标定方法 测距 特征点匹配 平面点匹配 INS导航 测角 光流法匹配 匹配点查找 偏差KF NLOS消除 直接法匹配 共面方程 预积分 定位 多视角几何 共线方程 帧间位姿计算 帧间位姿计算 特征点定位 特征点定位 整体图结构计算 闭环检测 地图生成 重定位 点云地图数据库 语义 分割 语义地图 地图数据库快速查 询、更新 地图数据库索引 数据特征提取 滑窗内部的图结构计算 整体图结构计算、回环检测与建图 前端任务 后端任务 5 前端研究工作进展(1) • 3D视觉定位问题 n单目摄像头移动行人检测与3D定位 单目摄像头，3D定位，重识别，<0.5米定位误差 n机场飞鸟检测与3D定位 单目摄像头，飞鸟检测，3D定位，<1米定位误差 JOO 2020, CVPR2022 (submitted)，Airbird++（演示系统）, 全国人工智能教学实践案例大赛二 等奖 6 前端研究工作进展(2) • 雷达定位建图问题 n手持激光雷达同步定位与建图系统 InhandLio（演示系统） 7 前端研究工作进展(3) • 惯性导航定位建图问题 n基于惯性导航的众包的室内路径图生成。 n基于惯性导航的地图匹配问题。 基于手机采集的无标注的杂乱的惯性轨迹， 恢复学习室内路径地图 Ubicomp2019(CCF A), Ubicomp2018 (CCF A), Sensors2018, MCM (WIP), TrackPuzzle (WIP) 8 后端研究工作进展(1) （1）高效准确图结构计算算法研究 n层次化的高效、准确的图优化算法。 n距离图中的隐藏结构信息挖掘。 图结构中的隐藏信息推断 分层、基于模块拼接的图实现 TON2018 (CCF A), JSAC2018 (CCF A), TMC 2020 (CCF A)，ISPAN2017 ICCCN2019, TMC (submitted) 9 后端研究工作进展(2) • 基于刚性的图结构唯一性研究 n 极大刚性、极大冗余刚性、极大全局刚性模块划分。 n 节点可定位性判定算法。 (e) 原图G2 (f) MRCs 极大刚性模块划分 (g) MRRCs 极大冗余刚性模块划分 (h) MGRCs 极大全局刚性模块划分 RC, and MGRC detection in开源了GPART：图刚性结构划分工具集 two graphs. ICC2022 (Submitted)， 10 be 15. In order to meet this condition, the distance between two UAVs has to be within the threshold Df ea and the difference of rotation angle in each direction is smaller than the threshold ✓f ea . These two values are affected by the camera FOV angle and the image size. Our settings of these values will be shown in the following experiments part. 后端研究工作进展(3) • 分布式图结构计算算法研究 5 10 n基于重心坐标的分布式线性定位算法研究 VI. E XPERIMENTS n基于分布式图优化的无人机网络协同定位算法研究 20 100 Fig. 7. Five UAVs in our simulation environment. TMC (Submitted)，IROS2022 (WIP) The experiments are carried out on Airsim simulation platform. Airsim provides the ground truth so it is very convenient Node-based Parall Node-based Sequ Patch-based Parall Patch-based Sequ Centralized Node-based Parall Node-based Sequ Patch-based Parall Patch-based Sequ Centralized Node-based Parall Node-based Sequ Patch-based Parall Patch-based Sequ Centralized Node-based Parall Node-based Sequ Patch-based Parall Patch-based Sequ 0.28 0.16 0.24 0.11 0.16 0.34 0.43 0.29 0.26 0.18 0.44 0.36 0.3 0.21 0.26 0.52 0.48 0.39 0.37 5.9 4.6 5.4 4.9 8.1 7.2 7.6 7.1 7.7 7.5 6.7 6.9 6.7 7.2 7.7 7.5 8.3 8.1 7.9 13 4 83 7 \ 5 7 23 7 \ 12 13 31 19 \ 113 97 187 196 0.02 0.20 We tested our algorithm with the swarm containi 10 and 20 UAVs. The average distance between UA 4.5 meters. When the number of UAVs is 10, the dis between the two farthest UAVs is 13.4m and the dis between the nearest UAVs is 3m. We combined the two s and two iterative methods described above and four dif distributed methods are formed. The results of these distributed methods are also compared with the centr 11 method in Tab I. THANK YOU Graph Structure Matters ycw@ruc.edu.cn http://in.ruc.edu.cn 王永才