本文转载自Android 视频直播 ( 从快播到直播,从高清到无码 )十年视频开发项目,截取其中技术概念比较相关的部分,并做了重新的排版。

视频和直播的准备:
  • android-java层:camera相关(视频)、AudioRecord(音频)相关、MediaCodec相关(音视频编码)
  • android-native层(c++):h264、h265等编码库的调用;各种音频编码库的使用(aac、amr、mp3、g711等);容器封装技术(音视频封装ts、ps等);媒体协议(hls、rtsp、rtmp等)
  • socket编程;android-ndk编译so技术;jni技术
难点:

大概就这么多,如果细说还有许多细节,比如音视频同步,传输过程中的QOS等等问题。
android系统版本太多,直接用android 系统接口的话,会有很多坑,例如mediacodec有的支持编码264,有的不支持,所以要配合第三方库一起使用,如果只是单纯的会java,那么android直播这里是玩不转的。

主流的视频和音频的解码
  • vitamio:美拍
    Vitamio这个是功能很强大,但是企业收费版的,个人用户免费。
    流媒体支持
    Vitamio支持各种常见的流媒体协议,可以点播或者直播音频和视频,Vitamio使用了 FFmpeg 做为媒体解析器和最主要的解码器,同时开发了针对不同移动平台的硬解码方案,能够完美支持 H.264/AVC、H.263、MPEG4 等常见的视频编码,覆盖上百种多媒体格式。
    MMS
    RTSP (RTP,SDP),RTMP
    HTTP progressive streaming
    HLS - HTTP live streaming (M3U8)
    知名使用者:新浪微博(安卓客户端),搜狐视频(安卓客户端),风行网(安卓客户端),歌华有线,熊猫影音(91网龙),视讯中国(央视),法国航空。

  • ffmpeg:主流
    ffmpeg是一个非常强大的音视频编解码开源库,目前市场上流行的播放器,大部分都是基于此开发的,包括暴风,腾讯,等等以及上面提到的vitamio,vlc,ijkplayer。

  • ijkplayer:斗鱼,网易音乐,哔哩哔哩的ijkplayer

  • vlc:YY

  • webRTC:网页端的
    目前WebRtc只适合小范围(8人以内)音视频会议,不适合做直播。

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐