机械臂深度相机视觉抓取

恩培-计算机视觉:
Python + 深度相机realsense d435+ 机械臂dobot + 嵌入式GPU jetson NX + YOLO目标检测

【回复】回复 @恩培-计算机视觉 :贵的就jetson你还不算
【回复】回复 @快乐尕娃 : 大家偏向认为机械臂比较贵吧，jetson已经明码标价了
【回复】请问一下相关的源码在哪。我在微信上面找了你们那个客服。发的那个没找到
宁静的皮皮虾:
厉害厉害，请问这个标定精度有多高?用tag标定外参后还有进一步的校正吗？

【回复】没测过，相机误差、标定误差、机械臂误差等加起来我估计重复运行很多次应该不小，不过这里抓取应该够了。
【回复】回复 @恩培-计算机视觉 :谢谢up
1goodmust1:
用rgb彩色摄像头不可以从像素坐标转换到机械臂的三维坐标吗

【回复】回复 @恩培-计算机视觉 :博主 仓库地址呀
不许耍赖皮-:
请问up主这里传入的坐标是框中的中心点坐标吗，还是基于其他算法的呢？

叶子2020820:
up，您好，可以看看代码仓库吗？已经三连，谢谢。顺便问一下相关的教程或学习资料有什么推荐的吗？

WaterWavePlus:
机械臂做起来很难，但是能不能换一种思路，不用运动学的东西了，搞几个电机和一个机械臂让强化学习自己去训练，用训练后的模型控制机械臂不好嘛

是迷惑呀:
想请教一下KuKa的该怎么去通讯和做这些

onlywanderwall:
想问大佬一个问题,如果我能够通过双目摄像头得到空间中一个物体的三维坐标信息，我想把双目摄像头固定在一个位置，然后我有一台机器，机器前端装有机械臂，总共由四个自由度，分别是旋转基台、大臂、小臂、抓手，如果我想控制抓手去双目相机看到的空间中的一点，我该有哪些步骤？能够详细一点吗？

【回复】回复 @XniShou123 : 十分感谢！
【回复】1. 获取物体三维坐标 2. 确定机械臂运动轨迹 将物体三维坐标转换为机械臂基坐标系下的坐标。 根据机械臂的运动学模型，计算从机械臂当前姿态到目标姿态的关节角度或运动轨迹。 通常需要考虑避障等因素，规划合理的运动轨迹。 3. 控制机械臂运动 将关节角度或运动轨迹发送给机械臂控制器。 机械臂控制器根据接收到的指令，驱动关节电机运动。 控制器需要实时监测关节角度或运动状态，并进行必要的调整。 4. 抓取物体 当机械臂的抓手到达物体位置时，执行抓取动作。 根据物体的形状和材质，选择合适的抓取方式。 确保抓取动作稳固可靠，避免物体滑落。注意事项： 双目视觉算法的精度会影响物体的三维坐标信息的准确性。 机械臂的运动学模型需要精确，否则会导致运动误差。 机械臂控制器需要实时响应，确保运动控制的稳定性。 抓取动作需要根据物体的形状和材质进行设计，避免损坏物体。 总结 使用双目摄像头控制机械臂抓取物体涉及图像处理、计算机视觉、运动规划、控制等多个领域，需要综合考虑各方面的因素才能实现准确高效的抓取。
居住火星:
up主，请问视频会一直进行检测，是不是就会一直将坐标发送给机器人，机器人能处理的过来吗，是不是只将检测的坐标发一次就好了吧