这两年在小公司做视频会议,全都是非主流技术,不过还是有点积累。

1. 视频编码svc技术:

720p30  svc-L3T3 1.2mbps~1.5mbpsi7-1270 cpu机器单线程跑320fps。

vp9_spatial_svc_encoder --width=1280 --height=720 --timebase=1/30 --kf-dist=-1 --speed=9 --lag-in-frames=0 --threads=1 --aqmode=1 --spatial-layers=3 --temporal-layers=3 --temporal-layering-mode=3 --inter-layer-pred=0 --rc-end-usage=1 --target-bitrate=1200 124_FourPeople_1280x720p30_300.yuv -o 124_FourPeople_1280x720p30.ivf

生成9个子流:124_FourPeople_1280x720p30_LnxTm.ivf    n,m=0~2

最小的子层320x180p7.5 码率50~70kbps.

2. 视频超帧技术

AI超分,全平台vulkan工程化落地移动端支持640x360p7.5fps往上超到15fps 

3. 视频超分技术

AI超分2x,cpu全平台支持,全平台vulkan工程化支持

i7-1270 cpu机器 1920x1080p > 3840x2160p单线程单帧耗时10ms左右。

                           640x360p > 1280x720p单帧耗时1.2ms左右

4. 视频前处理,去噪磨皮,增白、颜色增强,去抖动,暗光增强。

其中去噪磨皮,增白、颜色增强性能

i7-1270 cpu机器 3840x2160p单线程单帧耗时15ms左右。

5. 视频后处理,画质增强

i7-1270 cpu机器 3840x2160p单线程单帧耗时16ms左右。

6. 音频3A优化,AI技术工程落地

1) agc

2) aec增强版

3) AINS AI降噪,增强舜态噪声抑制能力

实时测试性能横向对比:AI降噪与视频360p30 > 720p30超分的cpu占用略高80%

传统的视频大小流,大流VQC技术不再继续精进。公司经营不善,拖欠半年工资,接下来会陆续把各功能的demo,性能测试,视频处理效果进行展示。供感兴趣同行评测

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐