cvmachine.com - 申博开户网

搜索: 您的位置主页 > 手机频道 > 阅读资讯:音视频调研总结

音视频调研总结

2019-04-18 08:33:10 来源:www.cvmachine.com 【

1、贴纸分类

1、静态贴纸

一般会用来模拟相框,就相当于2005年前后的中学流行拍大头贴那样,在照片上加一些特色的元素,此种实现比较简单,我们不借助第三方sdk的情况能够实现,但是体验没有新意,用户可能感觉不太好玩。

2、动态贴纸(2D)(参照https://www.jianshu.com/p/122bedf3a17e

由于动态贴纸是基于人脸识别构建的功能,那么动态贴纸又会涉及到人脸的各个器官。对此,我们需要对动态贴纸进行分析归纳:头顶、耳朵、眼睛、脸颊、鼻子、下巴、脖子等相关的人脸属性

头顶 —— 一般是指头顶中心,头顶中心有可能会放一些云彩、帽子之类的贴纸
耳朵 —— 耳朵也放在额头上方,就跟动漫中娘化动物的耳朵一样比如今年是猪年,猪的装饰就很多
眼睛 —— 一般用于眨眼等总眼角等地方喷出花朵、贴合眼泪或者动物头像也会进行眨眼睛等功能的实现,或者眼睛上加镜框的实现
脸颊 —— 一般会用来处理贴纸的腮红等功能
鼻子 —— 通常会贴合胡须等
脖子 —— 用来处理围脖之类的装饰

这些是动态贴纸的常用的器官, 这样用户在录制视频的时候感觉有新意,第三者在观看录制的视频的时候感觉也是非常好玩的,但是实现的这样的功能难度是比较大,原因是需要对人脸的识别以及器官的识别,这需要一定的人脸模型的基础才能构建。

3、动态AR贴纸(3D)

这个玩法特别新意, 但是实现比较难,效果有

表情投射 —— 人脸表情投射到动物头像上

3D道具 —— 在视频录制的时候,录制视频有3d宠物,3d宠物的跟随录制视频人的表情变化而变化

手势控制 —— 手势去抓视频内飘雪动效之类的

通过调研分析得到:
动态AR贴纸(3D)资源较少实现较难,除非借助第三方的SDK才能达到一定的效果。原因:对动作表情识别精读较高,需要3D建模制造动效素材。

动态贴纸(2D)现在比较普遍,主要难点在人脸、表情、器官的识别,以及自定义相机的处理,和音视频的拼接与剪辑的处理。

静态贴纸 这个实现起来相对与比较容易一些,因为只需要考虑自定义的相机的处理和音视频的处理。没有人脸识别那样的动效。

2、第三方SDK分析

1、相芯科技

相芯科技不单单提供识别和美颜功能,相芯还为开发者提供了一款高效便捷的AR人脸道具编辑器——FU Editor。功能强大,第三方合作企业较多,比如百度的全民小视频就是采用该SDK。

2、旷视科技(face++)

主要以识别起家的公司,识别率较高,识别的灵敏性好,以及SDK拆分较细,可以根据不同的需要集成不同SDK,这样导致包内不会有无用的SDK。OPPO VIVO手机的人脸识别就是集成face++的SDK进行的,依据(http://www.tmtpost.com/3413202.html

3、三大云厂商小视频SDK对比分析

主要对腾讯云小视频,阿里云小视频,金山云小视频(金山魔方)进行的对比分析,详细请参照(https://t.cj.sina.com.cn/articles/view/5612756111/14e8bdc8f0010020yk

最后得到的三大厂商的综合排名是:1.阿里云小视频,2.腾讯云小视频,3.金山云小视频

4、其他不出名公司(宝宝特效)

宝宝特效(http://www.lansear.cn/product/bbtx)推广挺广泛的,但是功能一般,体验一般,没有贴纸自己的编辑生成等相关功能,合作接入方都是一些一般的公司(深圳新闻网,深圳保利剧院等都是一些本土公司)

3、开发方案

通过调研分析,如果只实现静态的贴纸话,需要的技术储备有开发自定义的相机,以及进行音视频的处理,所以应该只能实现到静态贴纸的功能,但是现在大部分小视频都是动效结合,如果需要实现2D贴纸以及3D或者AR贴纸实现方案简单整理一下三种可以参照

1、完全自研

如果只需要考虑人脸识别(不考虑器官识别以及表情相关问题)功能,可以参考OpenCV的人脸识别案例,或者是git上的开源(https://github.com/RedApparat/FaceDetector),进行人脸识别后进行贴纸的绘制,自定义相机的开发音视频的处理等,如果考虑器官识别和表情的识别,暂时自研开发感觉不可实现,因为需要器官样本的训练,图像处理各个阈值的处理。

2、半自研

所谓的半自研就是,人脸识别以及器官表情识别这样识别性的问题,交给第三方SDK,根据第三方的SDK返回识别的结果值,进行贴纸的绘制,这样的优点是集成SDK较少,识别效果好,比如只集成旷视科技人脸识别,根据人脸识别返回的结果进行添加绘制贴纸。可以参照开源项目git(https://github.com/CainKernel/CainCamera

3、完全第三方

这样开发周期短,稳定性有保证,但是这样需要完全集成第三方的SDK,比如百度旗下的全民小视频集成相芯科技这个案例,集成的SDK较大,可能会有一些冗余的集成。

 
 

本文地址:http://www.cvmachine.com/a/luyou/100407.html
Tags: 总结 调研 音视频
编辑:申博开户网
  • 上一篇:android音视频介绍(一)
  • 下一篇:没有了
  • 关于我们 | 联系我们 | 友情链接 | 网站地图 | Sitemap | App | 返回顶部