视频机械臂如何识别物体
❶ 机器人抓取时怎么定位的用什么传感器来检测
机器人家上了解到，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块：
物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大一部分交叉；
位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里；
相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。
当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。
由于视觉是机器人感知的一块很重要内容，所以研究也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：
0. 相机标定
这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。 内参标定就不说了，参照张正友的论文，或者各种标定工具箱； 外参标定的话，根据相机安装位置，有两种方式：
Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动
Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand）
只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 这样，我们就可以得到一个坐标系环
而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放一个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成一个 的坐标环。
1. 平面物体检测
这是目前工业流水线上最常见的场景。目前来看，这一领域对视觉的要求是：快速、精确、稳定。所以，一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段，减少系统变量。
目前，很多智能相机（如 cognex）都直接内嵌了这些功能；而且，物体一般都是放置在一个平面上，相机只需计算物体的 三自由度位姿即可。 另外，这种应用场景一般都是用于处理一种特定工件，相当于只有位姿估计，而没有物体识别。 当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。
2. 有纹理的物体
机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。 当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。
幸好有一位叫做 Lowe 的大神，提出了一个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具体原理可以看上面这篇被引用 4万+ 的论文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。 因此，利用 SIFT 特征点，可以直接在相机图像中寻找到与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。
对于不会变形的物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。 如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。
↑ 这里就放一个实验室之前毕业师兄的成果 当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。 而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。
3. 无纹理的物体
好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：
我们最容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？ 不幸的是，据我了解，目前没有这种特征点。 所以，之前一大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。
简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的模板进行匹配。 由于数据库中的模板是从一个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位姿只能算是初步估计，并不精确。 但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。
当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。 针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。
4. 深度学习
由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。
首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。 然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如 @周博磊 所说，一般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。
当然，直接用神经网络做位姿估计的工作也是有的
它的方法大概是这样：对于一个物体，取很多小块 RGB-D 数据（只关心一个patch，用局部特征可以应对遮挡）；每小块有一个坐标（相对于物体坐标系）；然后，首先用一个自编码器对数据进行降维；之后，用将降维后的特征用于训练Hough Forest。
5. 与任务/运动规划结合
这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。
我们让机器人从冰箱中拿一瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。 我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。 所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。 当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。
❷ 云迹科技机器人用什么识别物体
它的具体的状况的话，识别物体的方式是不一样的，所以在这方面的话，它的作用也是完全不一样，一种是红外，一种是自动识别。
❸ 触摸屏物体识别到底是怎么实现的
电容屏物体识别是一种新型智能识别技术，可以在电容触摸屏上识别特制的多个版模块，感应出不同权的精美画面，轻松炫酷实现人机交互。
物体识别可以将产品下放置模块，模块在放入屏幕中，可以展示任意炫酷的上层显示效果，例如，可以在一个手机后面放置一个模块，在把手机和模块同时放在屏幕上，当然，屏幕是与地面水平，系统检测到这个模块以后会触发相应的上层效果，例如手机四周出现光圈不断闪烁，在一一介绍手机功能，手机各个零件功能，并且支持手触摸，任意移动，当手机和模块在移动时，上层特效跟随移动，移动跟踪效果。
市场的针对产品是非常好的应用，尤其是产品化，例如：手机、玩具、化妆品、洗衣用品、酒水类、对一些小的产品是一个非常适合，可以增加人气，快速提升企业及产品知名度。
上海先之实业有限公司是一家专业从事多媒体创意，策划，施工一体化的公司，同时以数字化，三维动画，影视拍摄，人机互动等高端技术为主导，可根据客户需求提供专业的“多媒体解决方案”。
公司的核心产品包括智能化中控系统，融合拼接软件，多媒体互动软件定制研发，大屏幕触摸互动，VR，AR技术，舞台灯光音响设计集成，触摸屏物体识别，展厅展馆多媒体前端展示技术等
❹ opencv实现的AVI视频中运动物体识别与追踪的程序
以前有OPENCV的官网，可以下载到源代码的，我这边贴一个基于vc2005的源代码吧。
#include <stdio.h>
#include<iostream>
#include <cv.h>
#include <cxcore.h>
#include <highgui.h>
using namespace std;
int main( int argc, char** argv )
{
//声明IplImage指针
IplImage* pFrame = NULL;
IplImage* pFrImg = NULL;
IplImage* pBkImg = NULL;
CvMat* pFrameMat = NULL;
CvMat* pFrMat = NULL;
CvMat* pBkMat = NULL;
CvCapture* pCapture = NULL;
int nFrmNum = 0;
//创建窗口
cvNamedWindow("background",1);
cvNamedWindow("video", 1);
cvNamedWindow("foreground",1);
//排列窗口
cvMoveWindow("background", 30, 500);
cvMoveWindow("video", 350, 0);
cvMoveWindow("foreground", 690, 500);
//打开视频文件
if(argc == 2)
if( !(pCapture = cvCaptureFromFile(argv[1])))
{
fprintf(stderr, "文件打开错误", argv[1]);
return -2;
}
//逐帧读取视频
while(pFrame = cvQueryFrame( pCapture ))
{
nFrmNum++;
//如果是第一帧，则申请内存，并初始化
if(nFrmNum == 1)
{
pBkImg = cvCreateImage(cvSize(pFrame->width, pFrame->height), IPL_DEPTH_8U,1);
pFrImg = cvCreateImage(cvSize(pFrame->width, pFrame->height), IPL_DEPTH_8U,1);
pBkMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);
pFrMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);
pFrameMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);
//转化成单通道图
cvCvtColor(pFrame, pBkImg, CV_BGR2GRAY);
cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY);
cvConvert(pFrImg, pFrameMat);
cvConvert(pFrImg, pFrMat);
cvConvert(pFrImg, pBkMat);
}
else
{
cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY);
cvConvert(pFrImg, pFrameMat);
//平滑图像（高斯滤波）
cvSmooth(pFrameMat, pFrameMat, CV_GAUSSIAN, 3, 0, 0);
//当前帧减去背景
cvAbsDiff(pFrameMat, pBkMat, pFrMat);
//前景图二值化
cvThreshold(pFrMat, pFrImg, 60, 255.0, CV_THRESH_BINARY);
//形态学滤波（去噪音）
cvErode(pFrImg, pFrImg, 0, 1);
cvDilate(pFrImg, pFrImg, 0, 1);
//把图像转正
pBkImg->origin=1;
pFrImg->origin=1;
//对pFrImg上的已经识别出的运动物体，在pFrame上画跟踪框
int x,y;
for (y=pFrImg->height - 1;y>=250;y--)
{
uchar* ptr = (uchar*)(pFrImg->imageData+pFrImg->widthStep*y); //将imageData指针指向第y行头部
for (x=0;x<pFrImg->width;x++)
{
if(ptr[x]!=0)//判断地y行第x个元素是否有图像，如果有图像，则画跟踪框
{
CvPoint pt1_Rect;
CvPoint pt2_Rect;
pt1_Rect.x=x-30;
pt1_Rect.y=y;
pt2_Rect.x=x+30;
pt2_Rect.y=y-300;
int thickness=3;
int line_type=8;
CvScalar color=CV_RGB(255,0,0);
cvRectangle( pFrame, pt1_Rect, pt2_Rect,color ,thickness, line_type, 0 );
y=-1;
break;
}
}
}
//显示图像
cvShowImage("video", pFrame);
cvShowImage("background", pBkImg);
cvShowImage("foreground", pFrImg);
//如果有按键事件，则跳出循环
//为cvShowImage函数提供时间完成显示
//等待时间可以根据CPU速度调整
if( cvWaitKey(27) >= 0 )
break;
}
}
//销毁窗口
cvDestroyWindow("video");
cvDestroyWindow("background");
cvDestroyWindow("foreground");
//释放图像和矩阵
cvReleaseImage(&pFrImg);
cvReleaseImage(&pBkImg);
cvReleaseMat(&pFrameMat);
cvReleaseMat(&pFrMat);
cvReleaseMat(&pBkMat);
cvReleaseCapture(&pCapture);
return 0;
}
❺ 怎么让机械臂根据超声波传感器自动抓取物体
超声波传感器检测到物体后输出一个信号给机械臂控制单元，然后机械臂就抓取
❻ 摄像机安装在机械臂上，当机械臂运动时如何确定摄像机的坐标
确定摄像机的坐标是基于什么目的呢
是监控摄像头吗
一般来说监控摄像头都是对所在区域范围进行监控和录像，很少有对坐标进行定位的
❼ proe机构仿真怎么做机械臂抓取物体的动作
在机械臂抓到物品后，应该给物品也定义电机，让物品跟机械臂一起运动，直到想要的位置，最后导出运动动画。
❽ 如何用视频识别工件
计算机在运行时，先从内存中取出第一条指令，通过控制器的译码，按指令的要内求，从存贮器中取出数据进容行指定的运算和逻辑操作等加工，然后再按地址把结果送到内存中去。接下来，再取出第二条指令，在控制器的指挥下完成规定操作。依此进行下去，直至遇到停止指令
❾ 机械手怎样去识别物体
红外线光射出与反弹。
比如你眼前有黑，白两物。
一道红外线射过去。
黑色内物体吸光，所以反容弹的红外光就少，判定为黑物体
白色物体吸光能力弱，反正反弹红外就多，判定为白。
但是就现代科技来言，要机械手实现物体识别有很多手段。
比如视觉系统+互联网 这是一种比较先进的。
❿ 生产线上机器人机械臂是怎么实现精确定位的
最直接的方来法是采用非接触位移测量自传感器，安装到机械手上，测量距离被测物体的距离，从而精确定位控制机械手动作。
非接触位移测量传感器有以下特点“
◆量程最小2mm，最大1250mm
◆量程起始距离最小10mm，最大260mm
◆频率响应：2K、5K、8K、9.4K；
◆分辨率最高0.01%,线性度最高0.1%
◆支持多个传感器同步采集
◆支持特殊量程
◆特殊应用(如路面平整度，高温被测体，管道内径，石油钻杆内外螺纹测量等)
◆针对串口，提供了运行应用的DLL开发库，方便用户开发应用软件
◆非接触位移精密测量。