计算机论文：基于全局二值模式的特征提取方法及其应用

    摘 要 提出一种全局二值模式( GBP) 的纹理分析方法，解决局部二值模式( LBP) 易受噪声影响的问题． GBP 中采用一个大邻域模板的平均值代替 LBP 中的中心像素，弱化了噪声的影响，但 GBP 对光照不均的抵抗能力不如LBP． 在钢板表面缺陷识别中，由于钢板表面图像既有较大的噪声，又存在着严重的光照不均现象，因此提出 GBP与 LBP 二维直方图结合的方法，该方法结合 GBP 和 LBP 的特性． 将该方法应用于中厚板和连铸坯表面缺陷的识别，实验结果表明 GBP 与 LBP 的结合方法同时具有光照不变性和对噪声不敏感的特性，对裂纹缺陷的识别率达到96% 以上．
      关键词 局部二值模式，全局二值模式，特征提取，缺陷识别
   1 引 言局部二值模式( Local Binary Pattern，LBP) 是Ojala 等提出的一种有效的纹理描述算子，它具有旋转不变性和光照不变性等显着优点，同时，由于其计算复杂度小，纹理识别能力强，近年来在纹理分类、图像检索、人脸识别、视觉检测等领域得到广泛应用．LBP 方法虽然有较强的分类能力，但是在应用中存在以下问题: 1) LBP 算法仅仅将分块中心像素灰度值作为阈值，忽略邻域像素之间的联系; 2) 过分关注图像局部结构，忽略整幅图像的全局信息，易受噪声影响，尤其是对于近似统一的图像区域( 如黑点，边缘等) ． 针对这些问题，文献中提出一种在 Gabor 变换幅值域内提取 LBP 直方图序列的方法( Local Gabor Binary Pattern Histogram Sequence，LGBPHS) ，利用 Gabor 变换的多尺度滤波特性，提取图像多方向、多分辨率幅值域图谱，利用 LBP 算子建立特征直方图． 文献中提出局部三值模式( Local Ternary Pattern，LTP) ，该方法在 LBP 像素比较过程中引入阈值参数，利用正负 LBP 来计算三值模式． 但是这两种改进方法有赖于图像预处理过程，且依然忽略图像全局信息的重要性．在钢板表面缺陷识别过程中，生产现场采集的钢板图像会受到光照不均和噪声的同时影响，使用LBP 提取图像特征进行分类识别时，难以抑制噪声对缺陷识别的影响． 图像噪声主要来源于图像的获取( 数字化) 和传输过程中，在线监测系统采集的钢板表面图像由于 CCD 器件自身的性能及检测装置与钢板在辊道上的震动等现场环境的影响，致使图像存在干扰噪声，进而影响到缺陷识别的准确率． 针对以上问题，本文提出全局二值模式( Global BinaryPattern，GBP) ． GBP 是在图像进行局部差值变换后，将整幅图像或将图像分块后的像素平均值作为阈值，进而提取全局特征． 相对于 LBP 方法而言，GBP 所提取的特征具有抗噪能力． 在钢板表面缺陷识别应用中，单纯使用 GBP 方法，又难以克服光照不均现象，因此本文提出 LBP 与 GBP 方法的二维直方图结合，同时提取图像的局部信息与全局信息，得到较理想的分类识别效果．
      2 局部二值模式局部二值模式( LBP) 的原理是在局部结构内比较邻域像素和中心像素大小，所以不受线性变化如光照、位移等影响．为图像局部结构，gc为中心像素，周围有P个像素均匀分布在半径为R的圆形邻域内，记作gp，p = 0，1，…，P － 1，则 LBP 可以通过中心像素与邻域像素比较得LBPP，R=∑P －1p = 0s( gp－ gc) 2p，s( x) =1， x ≥ 00， x ＜ 0{( 1)图 1 图像局部结构Fig． 1 Local structure of the image通过LBP模式计算图像中每个像素后，可得出代表图像纹理分布的直方图，假设图像大小为 I !J，则H( k) =∑Ii = 1∑Jj = 1f( LBPP，R( i，j) ，k) ，k ∈［0，K］，f( x，y) =1， x = y0， otherwise{( 2)其中，K 是 LBP 模式的最大值．为减少特征数目并有效描述纹理特征，提出一种 LBP 算子的扩展，称为统一化模式 ( UniformPattern) ． 这些统一化模式有着共同的特点，即可代表图像的大部分纹理模式． LBPriu2P，R( 上标"riu2"表示具有旋转不变性的统一模式 U ≤ 2) 具有旋转不变性，可得到 P + 2 种不同的模式值．LBP 模式对于纹理图像分类有着很强的区别能力，同时，因为它是在邻域范围内进行像素大小比较，不受线性灰度变换的影响，所以 LBP 模式不易受到光照的干扰． 然而，LBP 算法是在较小范围的模板内以中心像素作为阈值，并与邻域像素比较大小，如果受到噪声影响，像素之间大小会受到不同程度的改变，导致所提取的特征失真．
      3 全局二值模式针对 LBP 模式对于噪声敏感的问题，本文提出9 期 徐 科 等: 基于全局二值模式的特征提取方法及其应用873全局二值模式( GBP) ，GBP 是在更大范围的模板内进行计算，并利用模板内像素均值来替代模板中心像素，然后与邻域像素比较大小提取特征． 在计算过程中，更为关注图像整体结构和全局信息，以整幅图像或较大范围模板的像素均值作为阈值，均值能降低高频成分幅度而减弱噪声，起到一定的滤波效果，相对于 LBP 而言，GBP 对于图像中噪声的鲁棒性更强．类似于 LBP，先用式( 1) 对图像进行中心像素gc与邻域像素 gp的大小比较，在图1 中计算 gc与 gp的差值得到 dp= gp－ gc，dp可进一步分解为dp= sp× mp，sp= sign( dp) ，mp= dp， ( 3)其中，sp=1， dp≥ 0－ 1， dp＜ 0{是 dp的符号，mp是 dp的幅值． 依据式( 3) ，可将序列［d0，d1，…，dP －1］转换为符号序列［s0，s1，…，sP －1］和幅值序列［m0，m1，…，mP －1］，这种变换称作局部差值变换． 易知，［s0，s1，…，sP －1］ 和［m0，m1，…，mP －1］互为补充，且可重建出［d0，d1，…，dP －1］． 举例说明，图2 是中心像素为35 的3 × 3 局部结，图2( b)为差值序列［1，5，－ 27，－ 28，－ 34，45，36，16］． 经过局部差值变换后，图 2( c) 为符号序列［1，1，－ 1，－ 1，－ 1，1，1，1，］，图 2( d) 为幅值序列 ［1，5，27，28，34，45，36，16］．( a) 图像 3* 3 结构 ( b) 差值序列( a) 3* 3 structure of the image ( b) Differential sequence( c) 符号序列 ( d) 幅值序列( c) Sign sequence ( d) Amplitude sequence图 2 局部差值变换过程Fig． 2 Local differential transformation事实上，传统 LBP 仅应用符号序列作为局部模式"11000111"( －1 记为 0) ．GBP 的计算方法如下:
　　GBP =∑P = 1p = 0s( mp，mc) 2p，s( x，c) =1， x ≥ c0， x ＜ 0{( 4)其中，阈值 mc定义为图像中邻域像素平均值，邻域是以 gc为中心的尺度更大的全局结构，如 32 × 32，64 × 64，64 × 32 大小的区域． GBP 中用邻域像素的平均灰度值mc代替LBP 中的阈值gc，这种处理减小了图像灰度的"尖锐"变化． 由于典型的随机噪声由灰度级的尖锐变化组成，利用 GBP 提取特征的同时可以起到线性平滑滤波的作用，去除图像中不相干细节． 与 LBP 相同，具有旋转不变性的 GBP 记为GBPriu2．与LBP 提取方法不同的是，GBP 中mc由全局结构像素值所确定，根据图像具体情况，采用不同大小的全局结构，这一算法思想是将图像全局像素引入到特征提取过程中，同时平均值作为阈值可在提取特征的同时达到滤波效果．
       4 LBP 与 GBP 的结合LBP 对光照变化具有不敏感性，但导致其对噪声的敏感性，为同时解决光照和噪声两个问题，提高缺陷识别准确率，需将 LBP 与 GBP 结合应用，在融合过程中使得两种信息互为补充且相互独立，本文应用二维直方图将两种方法结合，模式识别与人工智能 26 卷图像分块后大小为 32 × 32 区域幅值均值作为阈值) ，然后，将这两种直方图进行二维直方图统计，得到 LBP+GBP 融合特征．二维直方图方法是通过式( 2) 得到 LBP 直方图和GBP 直方图，将其分别作为三维直方图的两个坐标轴，将每一方格中的数据作为输出直方图的一个值，统计出坐标中每个方格中数据的出现次数，统计值作为LBP +GBP 直方图，并绘制直方图，如图 4 所示．图 4 二维直方图方法Fig． 4 2D histogram method( a) 受光照不均和噪声同时影响的图像( a) Images with uneven illumination and noises( b) LBP + GBP 处理后的图像( b) Images after processing with LBP+GBP图 5 LBP + GBP 算法处理前后图像Fig． 5 Images before and after processing with LBP+GBP图 5( a) 中两幅图像为钢板生产现场采集到的受光照变化和噪声同时影响的原始图像，( b) 图像为( a) 中图像经过LBP+GBP 处理后的图像，从中可发现，处理后的图像已较大程度上去除光照和噪声的影响，更为重要的是，处理后的图像仍保持原始图像的特有纹理信息．
       5 实验与结果分析5． 1 缺陷识别表面缺陷是影响钢板质量的一个重要因素，如何在生产过程中在线检测钢板产品表面质量，从而控制和提高产品表面质量一直是钢铁企业非常关注的问题． 表示表面缺陷通常采用的缺陷检测和识别步骤，其中，图像分割目的是找出缺陷所在区域，通过图像分割，既可判断图像是否存在缺陷，还能减少需要处理的数据． 确定缺陷区域后，提取缺陷特征，然后将缺陷特征输入分类器中进行分类，可得到缺陷的类别．缺陷特征的提取方法是关键，关系着能否将缺陷与背景区分开，识别出缺陷并得到正确分类结果．
       5． 2 钢板缺陷图像钢板表面缺陷往往具有复杂性、多样性等特点，如图7和图8所示，因此要达到高的缺陷识别率是很困难的． 概括起来，钢板表面缺陷识别的难度主要表现在: 1) 图像受光照、噪声影响严重，如缺陷图像在反光或曝光过度条件下，特征不明显，难以识别; 2)图像背景复杂，没有规律，如图像中氧化铁皮形状各异，分布不均，相互间差别很大，难将其与真正缺陷图像区分开来．通过比较两个样本库图像，容易发现，连铸坯表面图像背景十分复杂，氧化铁皮形状各异，噪声影响较为严重，而中厚板表面图像背景较为简单，表面较为平整光滑，但易受光照不均的影响，亮度变化较为强烈．由于在现场生产中，钢板表面图像中大量受到噪声和光照变化等因素影响，影响检测系统对于钢板缺陷的自动识别( 主要是纵向裂纹) ． 事实上，氧化铁皮和光照变化不是表面缺陷，但又常常被检测系统误识为缺陷，也就是"伪缺陷"，因此，将这两类"伪缺陷"与裂纹区别开来显得尤为重要．
       5． 3 缺陷图像分类实验及结果对于中厚板图像，本文将裂纹缺陷图像作为正样本，大小128 × 128共210幅，将光照不均图像和氧化铁皮图像作为负样本，大小128 × 128共194幅; 对于连铸坯图像，本文将裂纹缺陷图像作为正样本，大小128 × 128 共181 幅，将光照不均图像和氧化铁皮图像作为负样本，大小128 !128 共271 幅． 由于支持向量机( Support Vector Machine，SVM) 作为分类器有着适于小样本分类和多类分类的优点，本文中采用支持向量机作为分类器，选取径向基核函数作为分类器核函数，训练集与测试集中每类特征并未进行降维，而直接送入 SVM 进行训练与测试．表 1 列出不同特征提取方法应用于中厚板和连铸坯样本库的分类准确率． 其中，GBP32，16表示 GBP中的阈值是 32 × 16 大小的模板内像素均值． 为比较，实验中也采用常用的纹理分析方法灰度共生矩阵和 Gabor 小波变换． 灰度共生矩阵是一种基于二阶统计的纹理分析方法，本文提取角二阶矩、对比度、相关和熵这 4 个重要特征． Gabor 小波系数可反映沿一定方向分布的形状缺陷，且小波变换可分离噪声．
　　均值滤波 + LBP 单独用 LBP 效果差不多，甚至降低，说明只用滤波去噪的方法在降低噪声的同时会减少图像的有效信息;LBP + GBP 方法比单独用 LBP 和 GBP 的效果好，说明 LBP + GBP 方法达到去除光照不均和噪声的影响效果.对比两种样本库分类结果，中厚板样本和连铸坯样本的最高分类准确率出现在 LBP + GBP32，32，且速度较快． 对于较大结构如 64 × 64，由于提取平均值区域较大，导致平均值无法正确代表原图像信息，产生失真． 采用不同的 GBP 模板达到的效果不一样，要根据实际的应用对象选择合适的模板．8 76模式识别与人工智能 26 卷灰度共生矩阵和 Gabor 小波变换方法的分类准确率均低于LBP +GBP 的结合方法，说明LBP +GBP方法处理光照和噪声问题要比单独使用一种纹理分析方法效果好．中厚板表面图像背景较为清晰，而连铸坯表面图像背景较为复杂，但两种图像都具有其独特的纹理信息，如果钢板表面出现缺陷( 如裂纹) ，就破坏了原图像的纹理特点，因此，全局模式和局部模式结合的纹理分析方法应用于特征提取中是十分可行的． 光照不均图像可发现，光照变化出现的位置较为随机，明暗变化较大，因此，需在小范围内计算 LBP，即 3×3 像素范围内，从而保证所提取到的特征的光照不变性和位移不变性; 同样，分析现场图像可知，钢板表面噪声复杂多变，多为高斯白噪声，提取模板内像素滤波值可解决这一问题，通过表 1 中的实验可发现，模板大小为 32×32 时，可达到较为理想的分类准确率，因此，32×32 大小的模板适用于处理钢板表面缺陷图像的噪声问题．目前，算法在 Matlab 中实现，在钢板运行较慢情况时，可满足实时监测的要求; 若在运行速度较快的情况下，仍需对本算法进行优化．6 结 束 语本文针对 LBP 方法易受噪声影响的问题，提出基于图像全局信息的特征提取方法 GBP，并将其与LBP 方法进行二维直方图结合，得到 LBP +GBP 方法框架． 将 LBP+GBP 方法应用于中厚板缺陷图像和连铸坯缺陷图像的识别，通过实验得到以下结论:1) 采用 LBP +GBP 方法所提取的特征同时具有光照不变性和抗噪能力，有效提高了缺陷的分类识别率;2) 对裂纹缺陷的识别率较高，可达到 97． 53%和 96． 15%，有效地将伪缺陷( 氧化铁皮) 与缺陷区分开来;3) 该方法计算简便，经过算法优化可提高算法的执行效率．