iOS 关于CVPixelBufferRef的滤镜处理

在iOS音视频开发中，经常会看到 CVPixelBufferRef 这个数据结构，和 ffmpeg 中的 AVFrame 类似，里面保存着原始的图像数据。

站在用户的角度思考问题，与客户深入沟通，找到江华网站设计与江华网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站设计、成都做网站、企业官网、英文网站、手机端网站、网站推广、域名与空间、虚拟主机、企业邮箱。业务覆盖江华地区。

我们发现，在有些场景中将 CVPixelBufferRef 送入滤镜sdk处理后，并不需要返回sdk处理后 CVPixelBufferRef ，就能实现滤镜效果显示的改变，如下图场景。

1.滤镜sdk处理 CVPixelBufferRef 的操作为同步操作。

2.滤镜sdk外部和内部的 CVPixelBufferRef 共享同一块内存。

1.使用 CVPixelBufferRef 创建纹理对象的两种方法：

CoreVideo 框架的方法：使用此方法可以创建 CVOpenGLESTextureRef 纹理，并通过 CVOpenGLESTextureGetName(texture) 获取纹理id。

OpenGL 的方法：

创建纹理对象，使用 glTexImage2D 方法上传 CVPixelBufferRef 中图像数据data到纹理对象中。

2.demo中使用 GPUImageRawDataInput 作为滤镜链起点，输入 CVPixelBufferRef 的图像数据，使用 GPUImageTextureOutput 作为滤镜链终点，输出滤镜处理后的纹理id。

3.使用原始 CVPixelBufferRef 创建纹理，将此纹理作为附件挂载到 frame buffer object 的纹理附件上。绘制滤镜处理后的纹理到帧缓冲对象中。

激活并绑定滤镜纹理，上传顶点坐标，纹理坐标到顶点着色器，开始绘制：

了解了 CVPiexlBufferRef 以上特性后，在短视频sdk架构中，就可以设计出模块化，可插拔的滤镜组件。在视频采集，编辑，转码等场景中均可快速集成。

demo中也提供了两个简单的场景：

1.视频采集过程中添加滤镜：从 GPUImageVideoCamera 的代理方法中取出 CVPixelBufferRef 进行滤镜处理。

2.视频播放过程中添加滤镜：在 AVPlayer 播放时，从实现了 AVVideoCompositing 协议的方法中取出 CVPixelBufferRef 进行滤镜处理。

Github:Demo地址

欢迎留言或私信探讨问题及Star，谢谢~

参考文章：

在 iOS 中给视频添加滤镜

深入理解 CVPixelBufferRef

【iOS】（一）GPUImage的结构，滤镜链的实现原理

学了OpenGL，OpenGLES后，去阅读了GPUImage的源码，使用了一段时间，接下来，记录一下我对GPUImage使用和源码阅读的一些分析吧。

相关引用

从0打造一个GPUImage(6)-GPUImage的多滤镜处理逻辑

对于GPUImage，可以分为

上面也提了，所谓的GPUImage滤镜链就是

GPUImageOutput - filter - filter - GPUImageInput

GPUImageOutput 通过target数组（里面都是实现 GPUImageInput 组件），组成了滤镜链的关系，我们需要牢牢的记住这个滤镜链的关系，这样开发的时候，我们就知道如何Debug，如何实现我们需要的效果。那么问题来了，为什么GPUImage可以实现这样的滤镜链呢？

这里我们先抛开GPUImage，用OpenGL ES去实现一个具有滤镜叠加效果的Demo，这里的Demo我是参考叶孤城的这篇文章， 从0打造一个GPUImage(6)-GPUImage的多滤镜处理逻辑

Demo需要实现的效果，是将一张图片，先后通过叠加 亮度滤镜 ， 饱和度滤镜 最后显示在屏幕上。

那么对应的OpenGLES，我们会怎么做呢？首先我们需要以下东西

从以上的步骤，我们可以总结以下结论

对于这个Demo的一个流程图，可以参考 从0打造一个GPUImage(6)-GPUImage的多滤镜处理逻辑 的一幅图，Demo的详细实现请看原文吧。

以上就是GPUImage对于滤镜链的实现原理，只有你懂了OpenGL ES的渲染流程，才能彻底的明白GPUImage的滤镜链的原理。所以时时刻刻记住以下关系

GPUImageOutput - filter - filter - GPUImageInput

当然也可以存在多个Source，多个Input的情况，例如要给一个视频添加水印，用 GPUImageMovie 用于输出视频纹理，用 GPUImageUIElement 输出UI空间的纹理，通过一个filter进行Blend，最后用一个 GPUImageView 进行预览，用 GPUImageMovieWriter 进行输出，滤镜链关系如下

苹果手机滤镜怎么调出来

很多用户拍照不专业，通过手机自带的滤镜可以让用户不用调参数也不用修图就能得到很好的拍摄效果，那苹果手机滤镜怎么调出来？

苹果手机滤镜怎么调出来？

1、打开相机，在拍照界面点击屏幕顶部中心的上拉三角图标。

2、点击拍摄按钮上方右下角的滤镜图标。

3、选择喜欢的滤镜风格即可。

本文以iphone12为例适用于ios14系统

iOS图片滤镜开发，GPUImage 图像处理

对于iOS开发者而言，想要打造一款美图App，最佳首选的开源框架莫过于GPUImage。它内嵌了上百种图像滤镜，能够满足市面上的一切美颜开发方案。同时也具备了实时美颜的功能。通过这样强大的开源框架，我们可以在其上层开发属于我们自己的美图应用。SnapseedImitation 是以Snapseed为原型，利用GPUImage框架开发的图像处理软件。

SnapseedImitation

Github地址：

主要依赖GPUImage Github:

1.安装Cocoapods

2.pod 'GPUImage'

3. improt 导入GPUImage.h后编译即可。

通过GPUImagePicture获取待编辑图像，再经过GPUImageFilter渲染后产出一帧frame，经由消息管道通知后，便可在GPUImageView显示编辑后的图片，或者我们可以通过GPUImageFilter直接导出渲染后的UIImage。

GPUImageInputGPUImageFilterGPUImageOutput

以拉升变形滤镜为例：

//@拉升变形镜滤镜

//创造输入源

GPUImagePicture* gpupicture = [[GPUImagePicturealloc]initWithImage:[UIImageimageNamed:@"Duck.jpg"]];

//创建滤镜

PUImageStretchDistortionFilter* stretchDistortionFilter = [GPUImageStretchDistortionFilternew];

//为滤镜赋值

stretchDistortionFilter.center=CGPointMake(0.2,0.2);

//将输入源和滤镜绑定

[gpupicture addTarget:stretchDistortionFilter];

//为原图附上滤镜效果[gpupicture processImage];

//滤镜收到原图产生的一个frame，并将它作为自己的当前图像缓存

[stretchDistortionFilter useNextFrameForImageCapture];

//通过滤镜，获取当前的图像。

UIImage*image = [stretchDistortionFilter imageFromCurrentFramebuffer];

图像拉升变形前后对比 :

开发过程中，必然会有多种滤镜复合的需求，例如一个可以变化亮度、对比度、曝光的图像调节程序。但是依照上一个示例，我们每添加一种滤镜，便会代替之前的滤镜效果。如果每次处理的都是上一次的filter导出的UIImage图片的话，又会导致无法恢复到原图样子，导致失真。（可参考在绘画板中，把图片缩小到最小，再放大，图片变成为了一个像素块。）

这时候，我们需要一个很好用的类：GPUImageFilterPipeline

GPUImageFilterPipeline可以将多个滤镜进行复合，并且在多次处理后，仍然能够恢复成为原图不失真。

仍然以拉升变形和卡通描边效果为例 ：

//获取原图

GPUImagePicture* gpupicture = [[GPUImagePicturealloc]initWithImage:[UIImageimageNamed:@"Duck.jpg"]];

//输出图像的

ViewGPUImageView* gpuimageView = [[GPUImageViewalloc]initWithFrame:CGRectMake(0,60,320,320)];[self.viewaddSubview:gpuimageView];

//卡通描边滤镜

GPUImageToonFilter* toonFilter = [GPUImageToonFilternew];toonFilter.threshold=0.1;

//拉升变形滤镜

GPUImageStretchDistortionFilter* stretchDistortionFilter = [GPUImageStretchDistortionFilternew];

stretchDistortionFilter.center=CGPointMake(0.5,0.5);

//将滤镜组成数组

NSArray* filters = @[toonFilter,stretchDistortionFilter];

//通过pipline，将输入源，输出，滤镜，三方绑定

GPUImageFilterPipeline* pipLine = [[GPUImageFilterPipelinealloc]initWithOrderedFilters:filters input:self.gpupictureoutput:self.gpuimageView];

//绘制产出最终带有复合滤镜的图像。

[self.gpupictureprocessImage];

//获取产出的UIImage图像

//此时调用useNextFrameForImageCapture的可以是任一在数组中的Filter。

[stretchDistortionFilter useNextFrameForImageCapture];

UIImage* image = [self.pipLinecurrentFilteredFrame];

基于GPUImage框架，我为其添加了一套了Snapseed的UI，通过手势识别方案对图像滤镜进行调节拖控。

更多内容：

GPUImage 进阶学习，实时视频录制，人脸检测

当前标题：ios滤镜开发,ios滤镜怎么调
文章路径：http://chengdu.cdxwcx.cn/article/dsihicd.html