甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
你主要用来做什么？？用在视频监控上面，可以下载物盟视讯的IOS版本的，播放实时RTSP流，延迟小，播放清晰，还有android，pc,ocx版本的
创新互联建站是专业的宁阳网站建设公司，宁阳接单;提供成都做网站、成都网站建设、成都外贸网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行宁阳网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
笔者iOS开发工程师，现在很多应用场景下都会用到视频播放技术，当然iOS APP也不例外，这是写这篇文章的背景。
最近我一个同样做iOS工程师的同学说他最近面试了一个人，简历里写着做过视频播放，就问他基本的视频播放原理是什么，结果此人一脸懵逼状什么也没答上来，只是说会用iOS SDK下调用视频播放的几个API。我同学跟我说他就是想问问此人计算机基础怎么样，其实只要应聘者能说出“解码”两个字都会让他满意的，可惜他却什么也没说出来。这又让笔者想起几年前临近大学毕业时同寝室友校招面试时也遇到了同样的问题，他也做过视频播放，人家就问他其中有两个问题，一是如果现在有一种非常奇怪的格式的视频让你播放你该怎么办，他也是懵逼了。二是如果现在有一个1G的超大视频让你播放，你又该怎么办，他直接就傻了，面试自然折戟沉沙了。
事实上仅就iOS APP来讲，要想做出视频播放的功能来，的确是调用 AVFoundation 框架下几个常用的API就可以了，iOS 9 之前常用的是 MPMoviePlayerController ,ios 9 之后推荐使用流播放技术的 AVPlayer ，可是就像常说的API普通的程序员都会调，可是真正有专业基础和想进阶就要知其然还要知其所以然，有专业基础的和半路出家的程序员的最大区别也正在于此，这也就成了本片文章写作的契机，下面这些内容也是笔者整合了一些自己的一些积累，主要来源于我们有合作关系的一家叫保利威视的视频解决方案提供商，希望对大家有帮助，水平有限，有不足之处还请大家不吝赐教。
视音频技术主要包含以下几点：** 封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术。**
视频播放器播放网上的视频文件，需要经过以下几个步骤：** 解协议，解封装，解码视音频，视音频同步**。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。过程如图所示。
解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。
解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。
解码的作用，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频 数据输出成为非压缩的音频抽样数据，例如PCM数据。
视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。
我想在IOS设备（iphone/ipad）上实现远程访问音视频文件，用ffmpeg来实现流媒体，服务器端包括（window,LINUX）测试成功
流媒体又叫流式媒体，它是指商家用一个视频传送服务器把节目当成数据包发出，传送到网络上。用户通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来。也就是你在苹果的网站上看电影听音乐等等。
网易云信播放器 Flutter 封装
事情是这样的 我们公司的业务是有 视频播放这一块业务 而且 是基于网易云信的 视频服务的 做的开发 。公司的App开发框架是使用 Flutter , 那么问题来了 Flutter 怎么 实现视频播放嘞 , 官方给出的解决方案 是 ### video_player 这个库的 实现 是 原生端做视频解码 然后通过 Texture 的方式 映射到 Flutter 中 但是解码器 IOS 使用的是 官方的 AVPlayer (苹果官方提供的播放器 啥都好 就是不支持流媒体播放 ) Android 解码器则是 exoplayer 很好很nice
但是
网易云信的视频 是加密的 只有自己的 播放器sdk 在能解码播放 android 和 ios 都支持流媒体 so 只能自己封装
Android 使用 SurfaceTexture 衔接 视频流 正常 但是 ios emmm 网易云信 播放器 返回 的 编码格式 是 NELP_YUV420 就是 YUV420 直接映射到 Flutter 黑屏 但是有声音
因为Skia 引擎底层只支持了 BGRA 格式的视频数据 所以 和黑屏了
首先我们吧 YUV420 转换成 CVPixelBufferRef 方法如下
该方法依赖 libyuv 请自行导入
然后是 pixelBuffer To SampleBuffer
最后吧 SmapleBuffer 转换 BGRA
方法如何使用
开源免费播放器 VLC Media Player(VideoLAN) 可以播放 RTSP协议 的视频流。VLC Media Player(VideoLAN Client)可以播放 MPEG-1、MPEG-2、MPEG-4、DivX、DVD/VCD、数字卫星频道、数字地球电视频道(digital terrestial television channels)、在许多操作系统下通过宽带IPv4、IPv6网络播放网络影片；此软件开发项目是由法国学生所发起的，参与者来自于世界各地，设计了多平台的支持，可以用于播放网络流媒体及本机多媒体文件，特别值得一提的是它能直接播放未下载完整的多媒体文件，值得一试。