-
公开(公告)号：CN114359314A
公开(公告)日：2022-04-15
申请号：CN202210267015.9
申请日：2022-03-18
Applicant: 之江实验室
Abstract: 本发明公开了一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法。首先获得彩图和深度图并预处理；接着对彩图进行背景粗过滤，获得琴面候选区域；之后采用区域生长算法获取白键区域，再提取白键面上下轮廓边界线，获得琴键定位点集合；然后利用白键区域的深度图信息进行白键面拟合，获得定位点对应的点云信息；最后采用点云配准算法获得所有定位点在相机坐标系下的坐标。另外，通过定位检测得到的坐标，基于点云变换矩阵判断琴键位置是否存在异常。本发明方法在不同干扰环境下，仍然能快速检测定位钢琴琴键位置，并且通过定位结果判断琴键是否移动等异常状态，对仿人钢琴演奏机器人的臂爪定位有更好的鲁棒性和安全性。
-
公开(公告)号：CN114102643A
公开(公告)日：2022-03-01
申请号：CN202111477636.1
申请日：2021-12-06
Applicant: 之江实验室
IPC: B25J15/00
Abstract: 本发明公开一种欠驱动仿人机器人手爪及其他指的设计方法，该机器人手爪为拇指设计了拇指侧摆关节，以较少的驱动装置数量，实现人手常见的抓取功能，可以进行复杂的抓握作业，且本发明手爪所有驱动装置均自锁，手爪抓取物体后驱动装置无需持续工作，降低了机器人手爪的能耗；本发明手指部分采用单自由度多连杆机构，其驱动装置位于手掌部位，欠驱动运动方案布置更合理，手指体积更小，有更大的传感器布置空间；本发明指尖压力传感器布置在手爪内部，通过活动的远节下外壳检测压力，相比传统贴于表面的布置方案，检测区域更大、可靠性更高。
-
公开(公告)号：CN116394277A
公开(公告)日：2023-07-07
申请号：CN202310676079.9
申请日：2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种仿人钢琴演奏机器人，仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座，其中，颈部对应两个自由度，以带动头部进行回转运动与俯仰运动，腰部对应两个自由度，以带动上半身进行回转运动与俯仰运动，该仿人钢琴演奏机器人可以通过视觉感知单元，对琴键的位置进行准确定位，并且可以智能化的识别出曲谱的内容，以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度，以及对两个机械臂位姿的控制，使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。
-
公开(公告)号：CN115223086A
公开(公告)日：2022-10-21
申请号：CN202211145164.4
申请日：2022-09-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V40/20 , G06V20/62 , G06V10/26 , G06V10/82 , G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交互注意力引导与修正的跨模态动作定位方法和系统，该方法使用三维卷积神经网络和词向量模型提取视频和文本描述的特征表示，并使用双向长短时间记忆网络学习视频和文本描述的上下文信息；再使用交互注意力引导模块进行视频和文本跨模态特征增强，进一步通过修正门控单元进行语义信息融合；最后将融合后的多模态特征送入到时序定位模块以获得时序片段的匹配度得分和时序边界偏移量。本发明通过增强视频和文本的特征融合能力，能有效提高视频动作定位的性能，满足现实生活中复杂场景的视频动作定位需求。
-
公开(公告)号：CN114347070B
公开(公告)日：2022-07-12
申请号：CN202210266969.8
申请日：2022-03-18
Applicant: 之江实验室
Abstract: 本发明公开了一种基于仿人臂爪机器人的弹琴动作控制方法、系统及装置。所述系统包括乐谱存储解析模块、弹琴动作序列生成模块、动作指令生成发送模块和动作指令接收执行模块。利用乐谱存储解析模块，完成对乐谱信息的读取。然后利用弹琴动作序列生成模块，得到仿人臂爪的弹琴动作序列。接着利用动作指令生成发送模块，将臂爪动作转换为对应的动作指令，并发送到臂爪执行端。最后利用动作指令接收执行模块，完成机械臂、爪对动作指令的接收和执行，最终实现仿人臂爪机器人对钢琴的演奏。基于本发明所提供的方法，仿人臂爪弹琴机器人能够充分发挥臂、爪的性能，高效稳定的实现较好的钢琴演奏效果。
-
Patent Agency Ranking
公开(公告)号：CN112257717A
公开(公告)日：2021-01-22
申请号：CN202011526832.9
申请日：2020-12-22
Applicant: 之江实验室
Abstract: 本发明公开了一种针对未矫正图像的直线、椭圆和交点识别定位方法。本发明包括：输入一系列线段，利用线段之间的关系判断是否属于同一直线，分为若干线段集合；基于ransac随机抽样一致检测算法拆分误合并的分叉线，更新线段集合；使用最小二乘法初步判断线段集合的类型，分为圆形线和直线两类，并利用数学公式拟合表示，未分类的线段集合利用抛物线公式进行拟合；再次判断未分类的线段集合的类型，并修正椭圆数学公式；针对直线类的线段集合，通过拟合的数学表达式公式的关系得到交点，并验证交点的真实性；最终输出直线、椭圆和交点的位置信息。通过这种方式，降低复杂度，提高线性拟合程度。通过上述方法，仅通过未矫正的图像就可以实现对直线、椭圆和交点的识别定位。
-
公开(公告)号：CN117207204A
公开(公告)日：2023-12-12
申请号：CN202311489049.3
申请日：2023-11-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置，通过相机获取到琴键区域图像之后，根据图像中的图像特征点确定各琴键在相机坐标系中的坐标，根据所述各图像特征点在相机坐标系下的坐标以及琴键模板确定出琴键模板中各琴键在相机坐标系下的坐标。通过弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标，确定出弹琴机器人与琴键之间的相对位置，通过预先确定的误差拟合函数，对弹琴机器人与琴键之间的相对位置进行误差补偿，控制弹琴机器人上机械臂弹奏补偿后的相对位置。通过预先确定的误差拟合函数对弹琴机器人与琴键之间的相对位置进行误差补偿，减少了弹琴机器人对琴键实时定位的误差。
-
公开(公告)号：CN114102643B
公开(公告)日：2023-10-03
申请号：CN202111477636.1
申请日：2021-12-06
Applicant: 之江实验室
IPC: B25J15/00
Abstract: 本发明公开一种欠驱动仿人机器人手爪及其他指的设计方法，该机器人手爪为拇指设计了拇指侧摆关节，以较少的驱动装置数量，实现人手常见的抓取功能，可以进行复杂的抓握作业，且本发明手爪所有驱动装置均自锁，手爪抓取物体后驱动装置无需持续工作，降低了机器人手爪的能耗；本发明手指部分采用单自由度多连杆机构，其驱动装置位于手掌部位，欠驱动运动方案布置更合理，手指体积更小，有更大的传感器布置空间；本发明指尖压力传感器布置在手爪内部，通过活动的远节下外壳检测压力，相比传统贴于表面的布置方案，检测区域更大、可靠性更高。
-
公开(公告)号：CN116728436A
公开(公告)日：2023-09-12
申请号：CN202310971047.1
申请日：2023-08-02
Applicant: 之江实验室
Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置，弹琴机器人在实际弹奏过程中，根据相机中标识符的相对位置，即可确定出琴键的相对位置，从而对钢琴进行实时演奏，在演奏过程中无需对琴键进行拍摄，解决了琴键表面光滑导致的拍摄精度不佳以及弹奏时机械臂对琴键存在的遮挡导致的拍摄信息不完全的问题，降低了弹琴机器人对琴键定位的难度，提高了弹琴机器人对琴键的定位精度。
-
公开(公告)号：CN114347070A
公开(公告)日：2022-04-15
申请号：CN202210266969.8
申请日：2022-03-18
Applicant: 之江实验室
Abstract: 本发明公开了一种基于仿人臂爪机器人的弹琴动作控制方法、系统及装置。所述系统包括乐谱存储解析模块、弹琴动作序列生成模块、动作指令生成发送模块和动作指令接收执行模块。利用乐谱存储解析模块，完成对乐谱信息的读取。然后利用弹琴动作序列生成模块，得到仿人臂爪的弹琴动作序列。接着利用动作指令生成发送模块，将臂爪动作转换为对应的动作指令，并发送到臂爪执行端。最后利用动作指令接收执行模块，完成机械臂、爪对动作指令的接收和执行，最终实现仿人臂爪机器人对钢琴的演奏。基于本发明所提供的方法，仿人臂爪弹琴机器人能够充分发挥臂、爪的性能，高效稳定的实现较好的钢琴演奏效果。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.018 seconds)
