-
公开(公告)号:CN116196107A
公开(公告)日:2023-06-02
申请号:CN202310195877.X
申请日:2023-02-23
Applicant: 之江实验室
Abstract: 本说明书公开了一种手术机器人控制系统和控制方法、装置、介质及设备。该手术机器人控制系统包括:手术机器人、控制器、显示设备、操作设备以及内窥镜,内窥镜安装在所述手术机器人上,用于采集病患的患病部位的图像信息,所述手术机器人包括至少一个运动单元,运动单元用于接收控制器的控制指令,并根据控制指令控制内窥镜进行运动,控制器与各运动单元之间通过控制器局域网CAN总线进行连接,用于根据所述操作设备发送的操作信号,生成控制指令,并将所述控制指令直接发送给各运动单元,确定所述内窥镜的弯曲和旋转方向和深度信息,并将位姿信息、图像信息、深度信息以及所述弯曲和旋转方向发送给显示设备进行显示。
-
公开(公告)号:CN116136957A
公开(公告)日:2023-05-19
申请号:CN202310410370.1
申请日:2023-04-18
Applicant: 之江实验室
IPC: G06F40/232 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于意图一致性的文本纠错方法、装置和介质,该方法包括:收集原始纠错数据进行预处理和标注,构建文本纠错模型的纠错数据集;构建基于神经网络的文本纠错模型,将待纠错文本输入至文本纠错模型输出第一字符概率分布;使用第一字符概率分布及其对应的真实标签计算纠错损失值作为第一损失值;使用第一字符概率分布计算基于意图一致性得分的纠错损失值作为第二损失值;基于第一损失值和第二损失值,以两阶段训练的方式训练文本纠错模型,以获取训练好的最终的文本纠错模型;将待纠错文本输入训练得到的文本纠错模型进行纠错,输出纠错后文本。本发明可以有效地降低文本纠错模型的误纠率,提高纠错准确率,具有很强的实用性。
-
公开(公告)号:CN116109518A
公开(公告)日:2023-05-12
申请号:CN202310323813.3
申请日:2023-03-30
Applicant: 之江实验室
Abstract: 本发明公开了一种金属锈蚀图像的数据增强、分割方法及装置,通过获取金属锈蚀的图像进行切分,得到多个切分后的子图,再对每一张子图进行增强操作,将切分的子图重新组合成与原始金属锈蚀图像尺寸一致的新图像,从而实现图像数据的增强,再将新图像用于金属锈蚀分割模型的训练,并通过训练好的模型对待分割的图像进行金属锈蚀分割,通过本发明对金属构建锈蚀数据集进行数据扩充,不仅增加了图像的数量,而且增加了金属锈蚀图像的多样性,有助于网络充分训练,使网络模型的泛化能力以及分割性能得到提升。
-
公开(公告)号:CN115862668A
公开(公告)日:2023-03-28
申请号:CN202211503728.7
申请日:2022-11-28
Applicant: 之江实验室
Abstract: 机器人基于声源定位判断交互对象的方法,包括:S1.预处理信息;S2.计算机器人周边人物相对于x轴单位向量的夹角;S3.判断交互对象。在语音从开始输入至输出结束的时间内,根据声源定位的角度,再结合视觉输出的机器人周边人物的坐标,计算出机器人周边哪个人物的方位与声源定位角度最接近,最接近的人物即为与机器人交互的人物。
-
公开(公告)号:CN115761885A
公开(公告)日:2023-03-07
申请号:CN202211433310.3
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V10/42 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 一种共时与跨域异步融合驱动的行为识别方法,包括:获取多人人体彩色图像作为图像序列;从截取图像中估计二维人体姿态,计算二维人体姿态的关键点热图作为姿态序列;建立表观网络,以图像序列作为输入并提取图像特征;同时,建立姿态网络,以姿态序列作为输入并提取姿态特征;以图像特征和姿态特征作为输入,将图像特征和姿态特征进行缩放、对齐和融合;将融合后的图像特征和姿态特征归一化,拼接归一化后的双流特征得到全局特征,输入到分类器中求解概率最大的行为类别;采集多人人体彩色图像序列、二维人体姿态及其对应的类别标签作为训练数据集,对表观网络、姿态网络、共时缩放单元和跨域融合单元进行预训练优化。
-
公开(公告)号:CN115657300A
公开(公告)日:2023-01-31
申请号:CN202211333470.0
申请日:2022-10-28
Applicant: 之江实验室
Abstract: 本发明公开了一种入射角可调的光学扫描装置及其调节方法,该光学扫描装置包括角度可调的平面反射镜、旋转位移平台、镀有金属反射膜的直角棱镜、平面反射镜;该方法为通过角度可调的平面反射镜调整入射角大小,然后通过入射光的位移对样品进行扫描,根据装置之间的位置关系,可以使从反射镜反射回来的光原路返回。本发明解决了光学扫描系统扫描困难的问题,使得扫描范围不再受限,而且入射角度的调整更加便捷,系统的分辨率和稳定性更高,实验结果更加准确;装置结构简单、紧凑、方法易操作,更易于小型化、实用化和商用化。
-
公开(公告)号:CN115578461A
公开(公告)日:2023-01-06
申请号:CN202211419607.4
申请日:2022-11-14
Applicant: 之江实验室
Abstract: 本发明公开了一种基于双向RGB‑D特征融合的物体姿态估计方法及装置,该方法的核心创新点为特征双向融合模块,通过将RGB与点云特征投影到标准空间以实现对齐,互补和相互增强的作用,提升了最终RGB‑D特征的显著性与代表性。此外,本发明还创新性地引入了感兴趣区域检测,特征恒等映射与残差融合,多任务协同训练,关键点投票与聚类,最小二乘法姿态解算等关键方法,极大改善了传统物体六自由度姿态估计中存在的抗干扰能力弱,精度不足等痛点问题。经多个实际场景测试,本发明可在杂乱环境下,高鲁棒性和高精度地实现对遮挡物体的六自由度姿态估计。
-
公开(公告)号:CN115512003A
公开(公告)日:2022-12-23
申请号:CN202211430055.7
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06T11/20 , G06V10/774 , G06V10/764 , G06V10/74 , G06T7/73
Abstract: 本发明属于计算机视觉领域,涉及一种独立关系检测的场景图生成方法和系统,该方法包括:步骤一,建立独立关系检测模型;步骤二,利用图像、图像对应的关系标签以及预定义方向锚训练所述独立关系检测模型,得到训练好的独立关系检测模型;步骤三,使用训练好的独立关系检测模型,输入图像和预定义方向锚,输出图像中存在的关系,对其中相似的关系采用相似关系抑制算法进行抑制;步骤四,同时将通过目标检测算法检测得到的物体包围框与所述输出图像中存在的关系的关系起始点和关系末端点进行位置匹配,得到 的三元组,构成场景图。本发明在不依靠目标检测结果的情况下就能对图像中的关系进行检测,提升了场景图生成的运算速度。
-
公开(公告)号:CN114674308B
公开(公告)日:2022-09-16
申请号:CN202210579591.7
申请日:2022-05-26
Applicant: 之江实验室
Abstract: 本发明公开了基于安全出口指示牌视觉辅助激光长廊定位方法及装置,机器人通过激光雷达定位方式扫描构建地图,同时通过视觉扫描识别安全出口指示牌,并在地图中以序号方式标记;在导航过程中,通过视觉与激光雷达进行融合定位,当通过视觉定位方式检测到机器人附近存在安全出口指示牌时,在静态地图中匹配对应的序号,对于存在重复几何信息的长廊环境,通过视觉检测加入安全出口指示牌辅助点,实时矫正激光雷达少特征点匹配误差。本发明采用安全出口指示牌作为视觉辅助,弥补了纯激光定位方法在典型少特征重复几何信息的长廊环境中的定位漂移问题,同时本发明不需要任何外部辅助标签,简单易实现。
-
公开(公告)号:CN114674308A
公开(公告)日:2022-06-28
申请号:CN202210579591.7
申请日:2022-05-26
Applicant: 之江实验室
Abstract: 本发明公开了基于安全出口指示牌视觉辅助激光长廊定位方法及装置,机器人通过激光雷达定位方式扫描构建地图,同时通过视觉扫描识别安全出口指示牌,并在地图中以序号方式标记;在导航过程中,通过视觉与激光雷达进行融合定位,当通过视觉定位方式检测到机器人附近存在安全出口指示牌时,在静态地图中匹配对应的序号,对于存在重复几何信息的长廊环境,通过视觉检测加入安全出口指示牌辅助点,实时矫正激光雷达少特征点匹配误差。本发明采用安全出口指示牌作为视觉辅助,弥补了纯激光定位方法在典型少特征重复几何信息的长廊环境中的定位漂移问题,同时本发明不需要任何外部辅助标签,简单易实现。
-
-
-
-
-
-
-
-
-