王巧玉，陈锻生――彩色视频图像卡通风格化技术研究与实现修改.doc

彩色视频图像卡通风格化技术研究与实现 1 王巧玉，陈锻生，吴扬扬 （华侨大学计算机科学与技术学院，福建 厦门 361021） 摘要：本文提出一种彩色视频图像卡通风格化的新方法。该方法将均值漂移滤波与高斯图像金字塔结合起 来使用，在对彩色视频图像进行颜色聚类和噪声消除的同时提高了处理的速度；然后运用 DoG 算子对均值 漂移滤波后的图像进行边缘检测；再对均值漂移滤波后的图像进行色彩量化；最后将量化后的图像与边缘 图像进行融合，融合时根据边缘处梯度的大小设置边缘颜色的深度，使得最终得到的卡通化图像不仅在高 对比度区域得到加强而且减少了噪声，边缘更加自然,可以作为卡通化的一种新选择。实验结果表明，本算 法与传统的双边滤波和 DoG 算子相比获得了更好的卡通风格化效果和更快的运行速度，并且可以直接将输 入的视频文件转换为卡通化的视频文件输出。 关键字：图像卡通化；均值漂移滤波; 高斯金字塔;色彩量化 中图法分类号：TP391 文献标志码：A The Research and Implementation of Cartoon-like Stylization for Color Video Image WANG Qiao-yu, CHEN Duan-sheng，WU Yang-yang (College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China) Abstract: A new approach for cartoon-like stylization of color video image is proposed. The mean-shift filter and Gaussian pyramid are combined in this approach to cluster the color and eliminate the noise of the color video image and improve the speed of processing at the same time; Then, the DoG is used to detect edges of the image which has been filtered by mean-shift filter; After that, the soft quantization is applied to the image which has been filtered by mean-shift filter; Finally, the edge curves and the quantitative image are fused to generate a personalized cartoon image. In this step, the color of edges in the cartoon image is based on the edge gradient. This makes the cartoon image not only be enhanced in the regions of high contrast, but also have less noise and seems more natural. In comparison with the approach for cartoon-like stylization of image based on the bilateral filter and DoG, the experimental results show that our approach can produce a better cartoon effect in shorter time, and can directly convert an input video to a cartoonish video as an output file. Keywords: cartoon-like stylization of image; mean-shift filter; Gaussian pyramid; color quantization 1收稿日期：2014 年 2 月 8 日 作者简介：王巧玉，女，1990 年生，硕士，主要研究方向为数字图像处理与模式识别；通讯作者:陈锻生， 男，1959 年生，博士，教授，CCF 高级会员,主要研究方向为计算机视觉与多媒体技术，通信 方式：dschen@hqu.edu.cn；吴扬扬，女，1957 年生，教授，CCF 高级会员，主要研究方向为 多媒体数据管理． 基金项目：国家自然科学基金项目(61370006)，福建省科技计划重大项目(2011H6016)，福建省科技计划 重点项目(2011H0028)． 1 引言 1.1 相关技术概述 传统的卡通制作需要花费动画师大量的时间和精力，为了提高动画的制作效率，1963 年，贝尔实验室的 K.Knowlon 开发了一个名为 BEFLIX 的二维动画制作系统，首次采用计 算机技术来解决上述问题[1]。2000 年于金辉使用计算机模拟出了卡通烟雾效果,采用简单的 正弦波模拟出了卡通流水效果[2]。 2001 年于金辉又引入了一个用于立体动画的卡通水模型[3]。 2002 年 DeCarlo 等人提出了采用图像区域分割及着色技术来对二维图像进行卡通风格化渲 染[4]。后来 Wang[5]和 Collomosse[6]等人将 Mean-shift 图像分割用到了视频抽象化中。国内 也有人对这种基于图像分割的抽象化方法进行了一些研究[7~9],但是这种方法通常在区域分 割时存在分割不准确，分割线不平滑，算法花费时间长等缺点。 2006 年 Winnemöller [10] 等人首次提出了一个全自动的基于视频和图像的卡通风格化渲 染框架，他们采用双边滤波[11]来平滑图像的低对比度区域同时保留高对比度的边界，采用 高斯差分算子提取图像的边缘，对高对比度区域进行额外的增强，同时还提出了色彩量化的 方法，得到了一个比较好的卡通化效果。后来的一些卡通化处理方法也大都是基于该框架进 行改进的[12,13]。双边滤波是保边去噪的滤波器，它在去除图像的噪声的同时能够很好的保 留其边缘。 常见的保边去噪滤波器[14]还有均值漂移滤波[15]、桑原滤波[16]以及广义的桑原滤波[17]等， 其卡通化效果如图 1。可以看出桑原滤波后的图像具有比较明显的块效应，虽然对其检测到 的边缘更多但是同时也具有更多的噪声；广义的桑原滤波虽然可以取得不错的效果但是对于 那些需要保留一些很小的区域的颜色值的图像并不是特别合适（如图 1 最后一张图片人物 的牙齿部分）。另外两种滤波器都可以取得较好的卡通化效果。图 2 为这几种保边去噪滤波 器对十幅不同尺寸的彩色图像进行卡通风格化渲染所用的时间，其中横轴的数字表示图像的 大小，如 100 表示一幅 100*100 的图像。可以看出，四种滤波器所花费的时间： 广义的桑 原滤波>桑原滤波>均值漂移滤波>=双边滤波。 原图 双边滤波 均值漂移滤波 桑原滤波 广义的桑原滤波 图 1 几种保边去噪滤波器的卡通化效果 图 2 几种保边去噪滤波器处理时间比较 Fig 1 Cartoon-like stylization results of Fig 2 The comparison of the processing time the edge-preserving smoothing filters of the edge-preserving smoothing filters 1.2 本文技术特色 对彩色视频图像卡通风格化的渲染是图像抽象化的一种，它的风格活泼、表现形式灵活， 它主要有以下特点：（1）颜色种类少且区域内颜色均一，没有太多细节；（2）边缘比较 明显。 为了实现卡通图像的这些特点，本文采用均值漂移滤波来去除图像的噪声同时保留其边 缘；用高斯差分算子检测其边缘；并对其进行色彩量化以减少不同颜色的数量；最后将色彩 量化后的图像与边缘图像融合以使其边缘看上去比较明显。 本文主要的创新点在于将均值漂移滤波与高斯金字塔结合起来使用，大大缩短了处理时 间；在边缘融合时不再采用单一的黑色线条而是根据边缘的梯度大小设置边缘线条颜色的深 浅，使得最终得到的图像在梯度大的地方的边缘颜色深，这与传统卡通画的素描边缘接近， 在梯度较小的地方的边缘颜色相对较浅，从而在增强图像的高对比度区域的同时有效的抑制 噪声现象，为卡通化提供了一种新的选择。 2 相关技术与流程设计 2. 1 均值漂移滤波 均值漂移(Mean-shift)是一种无参统计滤波算法,主要是找个种子点，然后开始在该种子 点邻域内寻找其目标点的密度中心，那么种子点到密度中心点的向量方向就是密度上升方向， 更新密度中心点为种子点，迭代，直到收敛或者达到最大迭代次数。该方法在图像分割、几 何处理、目标跟踪、图像平滑等领域有着重要应用，是一种适应性很好的算法。 n x- x i )w(xi ) åi xg i ( h Mean-shift 算法的基本原理如公式（1）： Mh(x) =mh(x) - x = n =1 x- x åi g( h i )w(xi ) - x =1 （1） ( ) 表示 Mean-shift 向量， wx ( i ) >=0 表示赋给采样点 xi 的权重， x 表示被平滑的像 其中 Mhx 素值， g(x) 为核函数，具体见公式(2)。若允许误差为 a，则 Mean-shift 算法循环的执行下 面的步骤，直到达到结束条件。 Step 1:计算 mh(x) Step 2:将 mh(x) 的值赋给 x Step 3:若 |mh(x) - x|