音视频技术开发周刊 66期

『音视频技术开发周刊』由团队出品,专注在音视频技术领域,纵览相关技术领域的干货和新闻投稿,每周一期 。点击『阅读原文』,浏览第66期内容,祝您阅读愉快 。
架构
使用和WebVR进行VR视频通话
本文来自的开发专家Dan ,他喜欢将最新的Web API与RTC应用程序混合在一起 。他还在 Ape经营自己的咨询和开发公司 。本文中,他给出了一个代码实现——通过使用WebVR将 Verto 视频会议转换为虚拟现实会议的 。对原文进行了摘译 。
吉长江:基于学习的视频植入技术是未来趋势
本文来自影谱科技创新研发中心负责人吉长江在8月举行的 Meet武汉站的分享,并由整理而成 。吉长江详细介绍了视频植入的流程、典型方法、难点及技术趋势,他认为,基于学习的视频植入将是未来的发展趋势 。
从CV到ML 直播场景下新技术的应用
本文来自花椒直播海外技术负责人唐赓在 2017上的分享,并由整理而成,在分享中唐赓详细介绍了直播的基本组成部分以及ARKit、3D引擎、深度学习等技术在直播场景下的应用 。
邓滨:信号处理+深度学习才能实现语音交互
本文来自小鱼在家首席音频科学家邓滨在 2018讲师热身分享,并由整理而成 。邓滨认为,传统的信号处理与前沿的深度学习技术结合,才能实现准确的语音交互,缺一不可 。
见良:学习多媒体主要靠实践
邮件采访了北京美摄网络科技有限公司CTO 见良,作为十多年的多媒体老兵,他认为学习多媒体技术主要通过实践,必须在实际的项目中锻炼自己 。对于未来,机器学习结合计算机图形学可以实现智能剪辑,制作出更有趣的视频 。
音视频 —— RTSP协议
RTSP(Real-Time)是一种基于文本的应用层协议,在语法及一些消息参数等方面,RTSP协议与HTTP协议类似 。是TCP/IP协议体系中的一个应用层协议,由哥伦比亚大学, 网景和公司提交的IETF RFC标准.
网关服务器单端口方案实现
标准连接建立流程这里描述的是 ICE过程,并且省略了通话发起与接受的信令部分 。流程如下: 1)A通过 转发SDP OFFER到 B 。B做完本地处理以后,通过转发...
2017图灵奖得主:通用芯片每年仅提升3%,神经专用架构才是未来

音视频技术开发周刊 66期

文章插图
2017 年图灵奖获得者、《计算机体系结构:量化研究方法》一书的作者、谷歌杰出工程师 David等人近日在 ACM上撰文介绍了对于计算芯片架构未来的展望 。作者认为深度神经网络加速的特定领域架构将成为未来主流,而随着制程提升的困难,通用计算芯片现在每年的提升仅有 3%,或许在 2038 年以前性能都无法翻倍 。
音频/视频技术
RTMP直播应用与延时分析
直播应用中,RTMP和HLS基本上可以覆盖所有客户端观看,HLS主要是延时比较大,RTMP主要优势在于延时低 。一、应用场景 低延时应用场景包括:互动式直播:譬如2013年大行其道的美女主播,游戏直播等等各种主播,流媒体分发给用户观看 。用户可以文字聊天和主播互动...
5G时代的媒体远程生产
媒体应用需要巨大的网络容量来实现高带宽的流传输,对资源要求苛刻 。5G的出现激发了新的解决方案和工具的研究和开发,可以满足媒体行业对网络链路的需求,随时随地提供特定的质量和安全性的服务 。本文介绍5G时代媒体远程生产与分发的应用场景,并结合H2020 5G PPP第2阶段项目5G-MEDIA 介绍相关系统需求与架构 。
【音视频技术开发周刊 66期】音频采集:基于 ES的实现
ES全称为Open Soundfor,即嵌入式音频加速标准 。ES是无授权费、跨平台、针对嵌入式系统精心优化的硬件音频加速 API 。它为嵌入式移动多媒体设备上的本地 应用程序开发者提供了标准化、高性能、低响应时间的音频功能实现方法,同时还实现了软/硬件音频性能的直接跨平台部署,不仅降低了执行难度,而且促进了高级音频市场的发展 。