实时互动与会议视频技术的浅见
这两年在小公司做视频会议,全都是非主流技术,不过还是有点积累。
1. 视频编码svc技术:
720p30 svc-L3T3 1.2mbps~1.5mbpsi7-1270 cpu机器单线程跑320fps。
vp9_spatial_svc_encoder --width=1280 --height=720 --timebase=1/30 --kf-dist=-1 --speed=9 --lag-in-frames=0 --threads=1 --aqmode=1 --spatial-layers=3 --temporal-layers=3 --temporal-layering-mode=3 --inter-layer-pred=0 --rc-end-usage=1 --target-bitrate=1200 124_FourPeople_1280x720p30_300.yuv -o 124_FourPeople_1280x720p30.ivf
生成9个子流:124_FourPeople_1280x720p30_LnxTm.ivf n,m=0~2
最小的子层320x180p7.5 码率50~70kbps.
2. 视频超帧技术
AI超分,全平台vulkan工程化落地移动端支持640x360p7.5fps往上超到15fps
3. 视频超分技术
AI超分2x,cpu全平台支持,全平台vulkan工程化支持
i7-1270 cpu机器 1920x1080p > 3840x2160p单线程单帧耗时10ms左右。
640x360p > 1280x720p单帧耗时1.2ms左右
4. 视频前处理,去噪磨皮,增白、颜色增强,去抖动,暗光增强。
其中去噪磨皮,增白、颜色增强性能
i7-1270 cpu机器 3840x2160p单线程单帧耗时15ms左右。
5. 视频后处理,画质增强
i7-1270 cpu机器 3840x2160p单线程单帧耗时16ms左右。
6. 音频3A优化,AI技术工程落地
1) agc
2) aec增强版
3) AINS AI降噪,增强舜态噪声抑制能力
实时测试性能横向对比:AI降噪与视频360p30 > 720p30超分的cpu占用略高80%
传统的视频大小流,大流VQC技术不再继续精进。公司经营不善,拖欠半年工资,接下来会陆续把各功能的demo,性能测试,视频处理效果进行展示。供感兴趣同行评测
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)