计算机视觉语义分割研究现状论文
小样本语义分割不好出论文。根据查相关信息显示：小样本语义分割是个相对新的研究领域，拥有一定的计算机视觉和机器学习等方面的专业知识和实践经验，要好出一个高质量的小样本语义分割论文还需要你进行大量的工作和学习，出一个高质量的小样本语义分割论文，需要具备良好的学术素养、扎实的学科基础和广泛的学术阅读、独立思考和科学探索的能力，同时需要进行大量的理论分析和实验验证。
论文链接： 目录 设计思想 网络架构 Smooth Network Border Network 网络结构 实验结果 结论 参考文献 在大量的计算机视觉应用中，语义分割是一项不可或缺的底层技术。旷视科技Face++近期发表的一篇 CVPR 2018 收录论文《Learning a Discriminative Feature Network for Semantic Segmentation 》提出判别特征网络 DFN，有效解决了语义分割的两个基本问题，显著提高了其精度，可以帮助机器之眼更好地理解复杂的图像和场景，解析静态或动态人体及其他物体，有助于从根本上推动自动驾驶、手机影像、医疗影像、无人零售、物流安防等 AI 驱动型产业的普及与发展。 设计思想 本文提出的判别特征网络（Discriminative Feature Network/DFN）包含两个子网络 Smooth Network 和 Border Network，它有效解决了绝大多数现有语义分割方法面临的类内不一致（intra-class inconsistency）与类间无差别（inter-class indistinction）问题。 具体而言，为应对类内不一致问题，作者专门设计带有通道注意力模块（Channel Attention Block/CAB）和全局平均池化的 Smooth Network 以选择更具判别力的特征；而 Border Network 则借助多层语义边界监督区分边界两边的特征。 伴随着以全卷积网络（Fully Convolutional Network/FCN）为代表的卷积神经网络的新近发展，很多工作成效显著。但是，上述网络学习的特征经常存在判别性不强，难以区分的问题，表现为：1) 标签相同但外观不同的图像块，称之为类内不一致，如图 1 第一行所示；2) 两个相邻的图像块，标签不同但外观相似，称之为类间无差别，如图 1 第二行所示。 图 1：棘手的语义分割实例。第二列是 FCN 模型的输出；第三列是本文方法的输出。第一行中，图中牛的左下角被识别为马，这属于类内不一致问题。第二行中，电脑主机上的蓝光及黑色机壳与显示器相似，因此难以区分，这属于类间无差别问题。 为解决上述两个挑战，本文从一个更加宏观的角度重新思考语义分割，将其看作一项把一致的语义标签分配给一类物体而不是每个单一像素的任务。这就需要把每个类别的像素看作一个整体，进而同时兼顾类内一致（intra-class consistency）与类间差别（inter-class variation）。这意味任务需要判别特征，所以本文提出一个全新的判别特征网络(DFN) 以学习特征表征。 DFN 有两个组件：Smooth Network 和 Border Network。Smooth Network 用来解决类内不一致问题，从而需要学习一个鲁棒特征表征，为此本文主要考虑两个关键因素。一方面，需要多尺度和全局语境特征编码局部和全局信息。比如，由于缺乏足够的语境信息，图 1(a) 中的白色小图像块经常无法预测正确的类别；另一方面，随着引入多尺度语境，对于一定尺度的物体来说，特征具有不同程度的判别力，其中一些可能预测假标签。因此，有必要选择高效的判别特征。正是出于上述两方面的考虑，Smooth Network 展现为 U 形结构，以抓取不同尺度的语境信息，并通过全局平均池化抓取全局语境。此外，本文还提出通道注意力模块(CAB)，利用高层特征逐阶段地指导低层特征的选择。 Border Network 负责区分外观相似但标签不同的相邻图像块。大多数现有方法把语义分割看作一种密集识别问题，无法明确建模类间关系。以图 1(d) 为例，如果越来越多的全局语境整合进分类过程，相邻于显示器的电脑主机由于外观相似很容易被误认是显示器。因此，明确地使用语义边界指导特征的学习非常重要，这可以增强特征两边的变化。训练时，作者把语义边界损失整合进 Border Network 以学习判别特征，增大类间差别。 网络架构 有关DFN的网络架构，首先详述它的两个组件 Smooth Network 和 Border Network；接着，具体解释两者如何实现类内一致和类间差别；最后描述 DFN 完整的编码器-解码器网络架构。 图 2：判别特征网络概览。（a）网络架构。（b）优化残差模块（Refinement Residual Block/RRB）的组件。（c）通道注意力模块（CAB）的组件。红线、蓝线分别表征上采样和下采样算子。绿线仅是信息传递路径，不改变特征图的大小。 Smooth Network 绝大多数现有方法无法保证正确预测每个图像块的类别，尤其当图像块属于较大区域和复杂场景之时；这种类内不一致问题的主要原因在于语境的缺失，为此作者提出带有全局平均池化的全局语境。但是，全局语境只具有高语境信息，无助于复原空间信息，作者需要多尺度感受野和语境来优化空间信息，正如大多数现有方法那样。然而，由于不同尺度的感受野其判别力也各不相同，从而造成不一致的结果，从而需要选择更具判别力的特征预测某个特定类别的统一语义标签。 具体而言，本文使用 ResNet 作为基础识别模型；根据特征图大小，该模型可划分为 5 个阶段。据观察，不同阶段识别能力各不相同，一致性表现也各不相同。在低级阶段，网络编码更精细的空间信息，但是由于缺乏空间语境指导和感受野较小，其语义一致性表现欠佳；而在高级阶段，由于感受野较大，语义一致性表现较佳，但是预测的空间信息较粗糙。总体而言，低级阶段有着更精确的空间预测，而高级阶段有着更精确的语义预测。基于这一观察，本文提出 Smooth Network 以整合两者的优势，利用高级阶段的一致性指导低级阶段获得最优的预测。 图 3：通道注意力模块图示。在（a）中，黄色模块表征低级阶段的特征，红色模块表征高级阶段的特征。作者结合相邻阶段的特征以计算权重向量，从而更新低级阶段特征图的权重。较深色模块表征高权重值。（b）是第 4 阶段通道注意力模块的真实注意力值向量。蓝色越深，表征权重值越大。 当下流行的语义分割架构主要有两种 style，一种是 Backbone，如 PSPNet 和 Deeplab v3；另一种是 Encoder-Decoder，比如 RefineNet 和全局卷积网络。但上述架构并不完备，为此，本文首先嵌入一个全局平均池化层把 U 形架构扩展为 V 形架构，为网络引入最强的一致性约束作为指导；此外，本文提出通道注意力模块以优化一致性，如图 2(c) 所示。该设计结合相邻阶段的特征以计算通道注意力向量（图 3(b)）。高级阶段的特征给出一个强大的一致性指导，而低级阶段的特征给出特征的不同判别信息，从而通道注意力向量可以选择判别特征。 通道注意力模块： CAB 的设计目的是改变每一阶段的特征权重以优化一致性，如图 3 所示。在 FCN 架构中，卷积算子输出一个 score map，给出每一类别在每个像素上的概率。其实际意义在于暗示了不同通道的权重是平等的。然而，如上所述，不同阶段的特征判别力不同，造成预测的一致性各不相同。为实现类内一致预测，应该提取判别特征，并抑制非判别特征，从而可以逐阶段地获取判别特征以实现预测类内一致。 优化残差模块： 特征网络中每一阶段的特征图全都经过 RRB，如图 2(b) 所示。该模块的第 1 个组件是 1 x 1 卷积层，作者用它把通道数量统一为 512。同时，它可以整合所有通道的信息。接着是一个基本的残差模块，它可以优化特征图。此外，受 ResNet 启发，该模块还可以强化每一阶段的识别能力。 Refinement residual block 网络的每个阶段的特征都会经过Refinement residual block,如下图所示： Border Network 在语义分割任务中，预测经常混淆外观相似的不同类别，尤其当它们在空间上相近之时，因此需要加大特征的差别。出于这一考虑，本文采用语义边界指导特征学习，同时应用显式监督提取精确的语义边界，使网络学习类间差别能力强大的特征，进而提出 Border Network 加大特征的类间差别。Border Network 直接通过显式语义边界监督学习语义边界，类似于语义边界检测任务。这使得语义边界两边的特征变得可区分。 本文的工作需要语义边界具有更多的语义含义。因此 Border Network 的设计是自下而上的。它可以同时从低级阶段获取精确的边界信息和从高级阶段获取语义信息，从而消除一些缺乏语义信息的原始边界。由此，高级阶段的语义信息可以逐阶段地优化低级阶段的细节边界信息。借助传统的图像处理方法，比如 Canny，作者可以从语义分割的 groundtruth 中获得网络的监督信号。Border Network 主要关注分离边界两边的类别的语义分割。要精确地提取语义边界，需要两边的特征更加可区分，而这正是作者的目的所在。 网络结构 作者使用预训练的 ResNet 作为基础网络。Smooth Network 通过在网络顶部添加全局平均池化层以获得最强的一致性；接着利用 CAB 改变通道的权重进一步提升一致性。同时，Border Network 通过明确的语义边界监督获得精确的语义边界并使两边的特征更易区分。由此，类内特征更加一致，类间特征更易区分。 对于显式的特征优化，需要使用多层监督以获取更佳性能，同时网络也更容易训练。Smooth Network 借助 softmax loss 监督每一阶段的上采样输出（全局平均池化层除外），而本文借助 focal loss 监督 Border Network 的输出。两个子网络在一起联合训练，其 loss 通过一个参数控制两者的权重。 实验结果 本文在两个开源数据集 PASCAL VOC 2012 和 Cityscapes 上评估这一方法。数据集介绍、实现细节结果分析等从略，本文将直接给出 DFN 最终的评估结果，了解更多请参见原论文。 表 5：DFN 在 PASCAL VOC 2012 测试集上的表现。在 MS-COCO 上预训练的方法用“+”标记。 表 6：DFN 在 Cityscapes 测试集上的表现。“-”表明该方法未在发表的论文中展示结果。结论 最后总结一下，本文的贡献主要有 4 个方面： 从一个新的宏观视角重新思考语义分割，将其看作一项把一致的语义标签分配给一类物体（而不仅仅是在像素层面）的任务。 提出 DFN 同时解决类内一致和类间差别问题。DFN 分别在 PASCAL VOC 2012 和 Cityscapes 数据集上取得 和 的当前最优 mean IOU，证实了该方法的有效性。 提出 Smooth Network，通过全局语境和通道注意力模块提升类内一致性。 提出一种自下而上的 Border Network，利用多层边界监督信号增大语义边界两边的特征变化，同时优化预测的语义边界。
机器视觉研究及应用现状论文
【机器视觉技术的发展趋势】机器视觉的概念起始于20世纪60年代，最先的应用来自"机器人"的研制。最早基于视觉的机器系统，先由视觉系统采集图像并进行处理，然后通过计算估计目标的位置来控制机器运动。1979年提出了视觉伺服概念，即可以将视觉信息用于连续反馈，提高视觉定位或追踪的精度。
1研究现状及存在的问题水果实时分级系统主要功能是水果外部品质和内部品质的自动检测。水果的外部品质检测的项目有大小、形状、颜色、表面缺陷等，内部品质无损检测的项目为水果的硬度、糖含量、酸度、口味及某些内部缺陷等。水果外部品质的自动检测水果的尺寸和颜色检测技术已比较成熟，且在国外已经实现自动化检测，在国内也有按重量或尺寸分级的系统。但果面的缺陷检测却一直成为水果实时分级的障碍。果面缺陷检测的技术比较复杂，目前存在以下几方面难题。对水果整个表面进行实时视觉检测比较困难在水果分选生产线上，输送机构输送水果并把水果整个表面呈现给摄像机，这是水果实时分级系统比较关键的组成部分，因为当水果通过时，要求视觉系统能快速检查每个水果的全部果面，即使很小的缺陷面积，也会使得水果级别发生很大变化。同时，设计的视觉分级系统必须满足高生产率的要求。在这方面，国外学者（Growe,1996,Tao,1996)［1，2］采用滚子输送带使水果一边移动一边自身转动，从而使安装在输送带上方的摄像机能采集到水果的多个面的图像，达到全表面检测的目的。但由于水果大小和形状不规则，造成水果旋转速度不一致且难以保证按同一轴线旋转。此外，水果旋转两端的表面部分摄像机无法采集到，因此，分级误差较大。快速而准确地测定水果表面的各种缺陷且与梗、萼凹陷区正确区分比较困难Miller等(1991)［3］对桃子的分选试验表明：因不能正确区分水果表面的缺陷和梗、萼凹陷区，由此产生的分级误差为25％左右。Rehkugler等（1986）［4］利用机械定向机构使苹果梗、萼处于垂直方向并绕梗萼轴旋转，CCD线扫描摄像机可扫描苹果的整个表面且形成一幅图像，该方法的特点是由机械定向机构定位水果梗、萼区，摄像机对此区不需要再检查。但因为受定向机构速度的限制，还达不到实时分级的速度，试验结果为每分钟选30个苹果。Yang(1996)［5］利用结构光图像与散射光图像相结合来区分梗、萼区和缺陷区，综合两方面图像处理的结果，共抽取16个特征参数，再利用BP神经网络区分苹果的梗、萼区和缺陷区，分辨精度为95％，但还需要进一步把试验结果应用于实际水果分选生产线中。Growe等（1996）［1］采取在780 nm附近带域内，用结构光由一黑白摄像机进行水果表面的凹陷度检测；在750 nm带域内的散射光照射下，由一黑白摄像机进行水果表面的可疑缺陷区检测。水果的输送旋转装置及摄像机布置如图1a所示，采用的双锥滚筒输送带可使水果一方面沿水平方向作平移运动，另一方面又绕自身水平轴作旋转运动。两个黑白CCD摄像机用来采集750 nm附近的散射光图像和780 nm附近的结构光图像，水果旋转一周摄取两次图像。两个黑白摄像机采集的图像经过设计的接口电路后，被合成为一幅黑白图像，合成过程如图1b所示。图像的处理由流水线图像处理系统完成。试验结果表明：每个水果采集两幅图像时，缺陷检测的速度可达5个/s，但误差较大，如对于苹果，碰伤检测的准确率仅为51％。试验表明，要想得到较高的检测精度，每个水果应采集5幅以上的图像，结构光至少6条以上。此外，由于水果尺寸不同所造成各个水果旋转速度的不一致，也是产生测量误差的原因。徐娟（1997）［6］及Nakano(1997)［7］利用人工神经网络法对缺陷区和梗萼区进行区分，试验表明神经网络的区分准确率较低。在果面各种缺陷的快速检测方面，Throop(1997)［8］等人研究了多光谱测量技术，对10个品种的苹果的22种缺陷，在460～1 030 nm光谱范围内，每隔10 nm试验测定了它们的反射光谱特性，其中对3种苹果同一种缺陷测量的结果如图2所示。图中纵坐标的马氏距离反映了水果缺陷区与正常区反射强度的差别程度，距离越大，两者差别越大。由图中曲线可看出：在中心为540 nm、740 nm、1 030 nm三波段附近，3种苹果同一缺陷与正常区的反射强度的差别表现为最大或最小值，最后通过对3个波段的图像进行简单的减法和阈值处理，即可得到检测的缺陷，下一步应考虑实际应用的实现。(a)(b)图1图像采集布置图与图像合成示意图(a)输送装置及摄像机布置(b) 图像合成示意图图23种苹果同一缺陷在460～1 030 nm范围内与正常区反射强度的差别情况球形水果表面引起光照强度在投影面内呈曲面分布，以及二维图像上的透视区域与水果实际表面存在的畸变，给图像的缺陷检测带来困难和造成误差Tao(1996)［2］提出的球形变换法很好地解决了第一个问题。基本思想如图3所示：带缺陷的原始物体图像（OOI）与该物体反表面无缺陷的图像(IOI)相加得到变换后的物体图像（TOI），此图像具有平面物体图像的性质，而缺陷区低于该平面，然后经过简单阈值处理即可得缺陷区。何东健（1997）［9］提出了缺陷透视图像面积发生畸变的校正方法，但对复杂形状的缺陷区进行校正，还存在一定的困难。Nakano(1997)［7］利用一旋转平台使水果旋转，每旋转18°CCD摄像机采集一幅图像，苹果旋转一周可得20幅图像，为消除苹果球面面积的畸变，每幅图像只保留中间13 cm宽度的幅面，再全部合成一幅苹果整个表面的展开图像，此法非常有效，但在分选生产线上实现比较困难。图3球形变换方法传统的图像处理及模式识别算法的速度不适合实时分选线的要求国外一般采用高速图像处理硬件与简单有效的图像处理软件相结合的途径，来实现水果的实时分级。如Yang(1996)［5］利用的是Transputer系统、结构光法和洪水算法；Growe等(1996)［1］研制的系统，图像的大部分工作由流水线图像处理硬件系统完成；Tao(1996)［2］采用的是专用Merlin图像处理系统和简单有效的球形变换法，研制的苹果分选系统已应用到水果分选生产线上，其分选速度可达3 165个/min。国内研究者（刘禾，1998，徐娟，1997，杨秀坤，1997，何东健，1997）［6，9～11］大多利用一般的微机和图像采集卡，开发了一些图像处理和模式识别的新算法，如把人工神经网络、模糊理论、遗传算法、图像形态学、分形理论、小波理论及人工智能理论用于图像特征的抽取和识别。但由于图像处理的硬件速度太低，故只能限于静态水果图像分选的算法研究。此外，水果分级的算法应具备人工分级的一些优良性能，如学习与记忆功能，因为目前的一些分级算法的训练样本都比较少，而要分级的水果品种多变且量大。水果内部品质无损检测反映水果内部品质的主要指标有硬度、糖含量、酸度、口味及内部缺陷等。目前国内外研究的主要方法和存在的问题如下。水果的硬度检测水果的硬度可间接反映水果的成熟度、运输中的抗损坏性、储藏期等。目前用于水果硬度检测的方法主要有变形法和声学法。变形法就是在一定时间内给水果施加一定的动态力或冲击力，然后根据测得的变形量确定水果的硬度。如Schmilovitch等（1995）［12］研制成功了枣子硬度自动检测系统，其原理是把枣子放在两平板之间，在上面板施加5～8 N的动态力，根据所测变形量的大小把枣子分成4个硬度等级。Delwiche(1991)［13］利用冲击法研制了苹果硬度自动检测系统，发现冲击力会造成苹果表面的轻微损伤。变形法只能测量水果表面的局部硬度，实际上，水果表面硬度变化较大，故限制了变形法的应用。声学法包括声波脉冲响应法和超声波法，声波脉冲响应法（20～1 500 Hz）就是利用一麦克风测量受轻微敲击水果的声波强度，由此确定水果的硬度。Armstrong等（1993）［14］试验研究了所测声波强度与水果硬度的关系，发现二者有很好的相关关系。此法的优点是简单、无损，且能反映水果的整体硬度，缺点是必须注意周围噪声的绝缘及机械振动的消除，此外水果形状也影响测量精度。超声波(＞20 000 Hz)法是根据超声波在水果等介质中传播时，能量衰减系数的大小来确定水果硬度。但由于水果内部含有较多气隙且各向异性，故超声波很难穿透整个水果。糖含量、酸度、口味的自动检测糖含量、酸度比较有潜力的检测方法是近红外法（NIR）和磁共振法（MR）。近红外法又分穿透法、反射法和部分穿透法，部分穿透法原理如图4所示。穿透法对水果不适应，反射法一般用于水果表面特征的检测，因此常用的方法是部分穿透法。由图4可看出，在部分穿透法中，光线经过的路径比穿透法短，且入射光线与接收器有一夹角，此夹角的确定对测量起关键作用，此外二者之间必须加一隔板。884 nm和834 nm测得量的比值已用于桃子、苹果（Slaughter ，1995）［15］糖含量的自动测定。Slaughter等（1996）［16］对西红柿，在400～1 100 nm的光谱范围内进行部分穿透性测量试验，结果表明：800～1 000 nm范围的信息对糖含量的确定最有用，测得的相关系数r＝, 但酸度测量比较困难。Mizrach(1997)［17］利用超声波法试验研究了超声波衰减系数和芒果硬度、糖含量、酸度的关系，但其超声波测量探头必须与果面接触，故限制了在线的应用。因此，利用近红外多光谱技术测定水果内部糖含量及其他成分是很有前途的，为达到实时应用的目的，应进一步确定最合适的一两个波段并与计算机视觉技术结合。磁共振及磁共振成像（MRI）技术也是测定水果内部成分的有效方法，其依据是物质内部的某些原子核（H、C、P等）在外部磁场作用下，可与射频区域的电磁波辐射相互作用。Chen等(1996)［18］利用此法对鳄梨的成熟度和鲜杏梅的糖含量进行了一些研究，得到了较好的结果。此法的主要缺点是设备昂贵。图4部分穿透法与水果的口味相关的化学成分主要是可挥发性芳香化合物，当水果成熟时，就会在周围空气中散发这种挥发性芳香气体。Benady等（1995）［19］研制的电子传感器可以测量这种气体的浓度。水果内部缺陷的检测西瓜的内部空心用超声波检测已比较成熟。其他缺陷的检测，目前国外正研究利用X射线法、磁共振和磁共振成像技术等方法测量，因成本高及安全性等问题，故很难在农业中推广应用。2研究的途径及方向探讨水果实时分级系统的进一步研究应从两方面入手，一方面要加快水果外部品质的计算机视觉实时分选技术的研究；另一方面也要进行水果内部品质的无损检测技术的研究。因为水果分级的主要目的是选出高质量的水果，故水果内外品质的检测技术都十分重要。在水果的外部品质检测方面，应进行多种技术集成的应用研究。（1） 对于水果整个表面机器视觉快速检测的问题，可采用机械与光学技术相结合，设计合理的传送机构，既保证水果在传送带上比较平稳地移动，又可由视觉系统快速检测到水果的全部表面。尽量减小因水果不规则运动造成的分级误差、损伤及图像的模糊。（2） 对于果梗、萼区与缺陷的检测与视觉区分方面，应采用多光谱技术与机器视觉技术相结合，研究水果图像上可疑缺陷区的关键特征参数的抽取方法，得到简单、有效、快速的图像处理和识别方法。（3） 在球形果面造成的光反射强度呈曲面分布及曲面成像面积的畸变问题，可从光照设计、图像合成及软件补偿3方面综合考虑。光照的充分设计可解决第一个问题；多幅图像的有效合成，可解决畸变问题。我们通过试验表明：一个水果至少应采集5幅图像，然后再合成为一幅，可基本保证水果整个表面上缺陷的有效检测，以避免畸变误差。软件补偿的方法必须简单而有效，以适合高速的要求。（4） 在实时系统的图像处理器硬件设计方面，首先应采取先进的并行CPU芯片，如TMS320C80等；其次处理板的设计应与视觉系统结合起来考虑，如采集多路视觉信号的合成问题，机械机构与视觉系统的同步电路设计等。当然，也可引进国外比较成熟的高速图像处理主板，而其他技术可由国内自行开发，这样可以加快国内水果实时分级系统实现自动化的步伐。（5） 在图像处理和识别的软件设计方面，应把传统方法与现代新方法（神经网络，并行算法，遗传算法，模糊技术，人工智能，图像形态学，分形学，小波变换等）结合起来，改变传统图像信息的超数据量表达方式，寻求图像表达与解释的新方法，力求图像处理和识别算法的快速性、有效性及鲁棒性。在水果内部品质检测方面，声学振动法是实现硬度自动检测的有效方法，但应设法消除影响测量精度的因素，并进行在生产线上的应用开发；近红外局部投射法和磁共振法是水果糖含量、酸度等内部成分自动检测的有效方法。在国内，近红外局部投射法更有应用前景，应进一步研究其通用性、稳定性和实用性；内部缺陷的无损检测应进一步研究新原理和新方法，应采取自己开发和从国外引进相结合的方式。此外，应进行多种传感器测量信息集成技术的研究，这是水果内外品质实现实时自动检测与分级的有效途径。3结语利用各种现代技术的高度集成，在水果分选生产线上同时完成水果内外品质的检测与分级是将来进一步研究的方向和目的。随着科学技术的飞速发展，在我国近期有望实现农产品品质的自动化检测与分级。
机器视觉可以用在工业上，如自动化生产线，还可以用在医疗上+智能生活等等
视觉龙VD200配合EPSON机械手玩具定位应用 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘2中，振动盘2作用是把玩偶从反面振动为正面。视觉龙的VD200视觉定位系统通过判断玩偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人，机器人收到坐标后运动抓取产品，当振动盘中有很多玩偶处于反面时，VD200视觉系统需判断反面玩偶数量，当反面玩偶数量过多时，VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。
视觉龙VD200配合HBR机器人视觉引导对位应用
本项目为视觉龙的VD200视觉定位系统配合HBR机械手，识别刀片正反取放定位。
国内机器视觉研究的现状及发展趋势：早前，由于使用机器视觉的行业在我国本身就属于新兴领域，再加之视觉产品技术的普及推广不够，导致机器视觉的应用几乎是空白，即便有也只是低端方面的｡目前，随着我国配套基础建设的完善，以及技术与资金的不断积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大专院校、研究所和企业近年来在图像和机器视觉技术领域进行了积极思索和大胆尝试，逐步开始了工业现场的应用，如制药、印刷、矿泉水瓶盖检测等领域，但真正高端的应用还很少，因此，以上相关行业的应用和发展空间还很大。
随着机器视觉技术的不断发展和推进，近年来，国内很多科研机构在机器视觉方面取得了优异成果｡例如，由北京中泰通科技发展有限公司和上海交通大学联合研制的Super—DⅡ型排爆机器人，是国家“863”计划项目支持开发的具有自主知识产权的最新实用型产品｡该机器人采用四个低光CCD摄像头，分别在机械手、爆炸物销毁器、车体前端和车体顶部的云台上各安装一个，这四个摄像头组成多方位的立体摄像观察系统，通过无线通信或有线通信方式将观察到的画面传输到操作系统的视频显示器上，便于操作人员操控机器人工作｡由于机器人的视频监控系统采用四画面切换技术，既可以单幅画面显示，又可以四幅画面同时显示，从而为操作人员掌握系统信息提供了支持和帮助。
当前，视觉技术在我国应用较多的是车牌识别｡不少科研机构或公司在车牌识别方面都已经逐渐开发出自己的产品，如北京绿睿科技公司、陕西维视公司、昆明利普视觉公司等｡其中，较具代表性的有北京绿睿科技公司研发的车牌识别系统。
ei计算机视觉期刊
推荐《计算机学报》，EI期刊，详情如下：
《计算机学报》被以下数据库收录：
SA 科学文摘(英)(2011)
JST 日本科学技术振兴机构数据库(日)(2013)
EI 工程索引(美)(2016)
CSCD 中国科学引文数据库来源期刊（2017-2018年度）（含扩展版）
北京大学《中文核心期刊要目总览》来源期刊：
1992年(第一版),1996年(第二版),2000年版,2004年版,2008年版,2011年版,2014年版;
期刊荣誉：
百种重点期刊;中科双效期刊;
意思是：公司交易的计算机视觉与应用。词汇解释：transaction 英[trænˈzækʃn] 美[trænˈsækʃən, -ˈzæk-] n. 交易，业务，事务; 办理，处理; （一笔） 交易，（一项）事务; （学会等的） 会议记录，学报; [例句]The new device can also cancel the check after the transaction is complete.交易完成后，这种新设备也能注销支票。vision 英[ˈvɪʒn] 美[ˈvɪʒən] n. 视力，视觉; 美景，绝妙的东西; 幻影; 想像力; vt. 在幻觉中看到; 幻想，想象; 梦见; [例句]I have a vision of a society that is free of exploitation and injustice.我希望建立一个没有剥削和不公的社会。application 英[ˌæplɪˈkeɪʃn] 美[ˌæplɪˈkeʃən] n. 适用，应用，运用; 申请，请求，申请表格; 勤勉，用功; 敷用，敷用药; [例句]His application for membership of the organisation was rejected.他想要加入该组织的申请遭到了拒绝。
计算机视觉检测论文
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
目前，公认的计算机视觉三大会议分别为ICCV,ECCV,CVPR。1、ICCV ICCV的全称是 IEEE International Conference on Computer Vision，国际计算机视觉大会，是计算机视觉方向的三大顶级会议之一，通常每两年召开一次，2005 年 10 月曾经在北京召开。会议收录论文的内容包括：底层视觉与感知，颜色、光照与纹理处理，分割与聚合，运动与跟踪，立体视觉与运动结构重构，基于图像的建模，基于物理的建模，视觉中的统计学习，监控，物体、事件和场景的识别，基于视觉的图形学，图片和的获取，性能评估，具体应用等。ICCV是计算机视觉领域最高级别的会议，会议的论文集代表了计算机视觉领域最新的发展方向和水平。会议的收录率较低，以 2007 年为例，会议共收到论文1200余篇，接受的论文仅为244篇。会议的论文会被 EI 检索。2、ECCVECCV的全称是Europeon Conference on Computer Vision，两年一次，是计算机视觉三大会议（另外两个是ICCV和CVPR）之一。很明显，ECCV是一个欧洲会议，欧洲人一般比较看中理论，但是从最近一次会议来看，似乎大家也开始注重应用了，oral里面的demo非常之多，演示效果很好，让人赏心悦目、叹为观止。不过欧洲的会有一个不好，就是他们的人通常英语口音很重，有些人甚至不太会说英文，所以开会和交流的时候，稍微有些费劲。3、CVPRCVPR的全称是Internaltional Conference on Computer Vision and Pattern Recogintion。这是一个一年一次的会议，举办地从来没有出过美国，因此想去美国旅游的同学不要错过。正如它的名字一样，这个会上除了视觉的文章，还会有不少模式识别的文章，当然两方面的结合自然也是重点。
关于计算机视觉技术的研究论文
觉察到的内容肯定好
沈雨娇写的论文有撵炉胶，春夜喜雨等论文。沈雨娇的很多偏关于社会学的论文，发表在人才杂志上，引起很大反向。
沈雨娇为我院2012级英语专业本科学生，2017年考上上海外国语大学英语语言文学专业研究生，研究方向为跨文化交际，师从上外跨文化中心主任顾力行教授（Steve J. Kulich）和复旦大学人类社会学博士张晓佳老师。2021年1月获得日本早稻田大学的博士录取通知书，6月获得国家留学基金委员会公派奖学金，将于2022年4月赴日进行为期三年的博士学习，专业为国际文化与交流，研究方向为视觉文化，师从早稻田大学国际文化与交流学院主任吉本光弘教授。
CV邻域经典论文有很多。而且CV领域包含的范围也很大。换而言之，你这个问题很大。你可以根据自己的研究方向去找经典论文。比如：边缘检测方向Canny1986年那篇论文就非常经典，还有Lowe2004年发表的关于特征点匹配的文章也同样很经典。这些论文之所以成为经典是因为作者关于某一个问题做了深入而又详细的工作。从经典论文中你能得到很多启发。判断经典论文的一个简单方法是：看文献引用次数。一般引用次数越多说明，说明这个领域内的研究人员越认可论文作者的工作。