深入探究:AV1 背后的技术细节

AV1 是一款下一代免版税 来自开放媒体联盟的视频编解码器,正在广播行业掀起波澜。

Firefox, Coney & Mozilla's AV1 team at IBC 2018

AOMedia 在今年早些时候正式确定了 AV1 v1.0.0 规范以来,我们看到了广播行业日益浓厚的兴趣。从今年早些时候在拉斯维加斯举行的 NAB 展览(美国国家广播商协会)开始,通过在阿姆斯特丹举行的 IBC(国际广播大会)以及最近在纽约举行的 NAB East 展览,AV1 持续升温。这些行业活动每次都吸引了超过 10 万名媒体专业人士。Mozilla 参加了这些展会,展示了 Firefox 中的 AV1 播放,并表明 AV1 正走在广泛应用于 Web 浏览器的道路上。

为了继续倡导 AV1 在广播领域的应用,Mozilla 的 Nathan Egge 深入探讨了 Comcast 赞助的丹佛 Mile High Video 研讨会上的 AV1 深层内容。

AV1 的性能超越了 VP9 和 HEVC,使其成为下一代编解码器。AV1 格式是并且将永远是免版税的,拥有 开放源代码许可证

关于 Nathan Egge

Nathan Egge 是 Mozilla 的高级研究工程师,也是非营利组织 Xiph.Org 基金会的成员。Nathan 从事视频压缩研究,目标是为互联网上的媒体提供一流的、免版税的开放标准。他是开放媒体联盟推出的 AV1 视频格式的合著者,此前还为 Daala 项目做出了贡献。

Nathan Egge 的更多文章…

关于 Michael Bebenita

Michael Bebenita 的更多文章…


6 条评论

  1. Olivier de B.

    在压缩方面,AV1 听起来不错,但当我看到有关编码性能的描述时,我感到非常担心:“……在我们的 AV1 首次亮相中,我们使用 cpu-used=0 进行编码,AV1 编码时间大约是 VP9 的 1000 倍。” http://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=127956&PageNum=2
    是否有最新的 AV1、HEVC、H.264 和 VP9 的性能比较数据?AV1 目前处于什么水平?

    2018 年 11 月 8 日 下午 08:38

    1. Nathan Egge

      这是一个好问题,Olivier,也是我在 Mile High Video 研讨会上想要涵盖的主题之一。我的演示文稿,https://xiph.org/~negge/MHV2018.pdf,甚至在结尾处包含了图表来解决这个问题,但我没有时间了。

      幻灯片 40 和 41 显示了 libaom 在其开发历史中的性能(以 2016 年 7 月 15 日为基准),包括压缩和复杂性。如您所见,我们的重点一直是添加功能来提高压缩率,即使这会增加复杂性。一旦比特流被冻结,我们就将重点转向降低复杂性,同时对压缩率的影响最小。这在这些幻灯片中更新的版本中更加明显,https://xiph.org/~negge/AV1perf.pdf。请注意,这项工作的大部分是在 –cpu-used=1 下完成的(为了将 –cpu-used=0 作为 上限 用于比较压缩率),从 2018 年 7 月 15 日开始,这些图表中显示的就是这些工作。

      2018 年 11 月 8 日 下午 09:30

  2. Olivier

    感谢您分享这些幻灯片,Nathan。看起来很复杂!我希望有一个简单的基准测试,这样每个人都能理解比较结果,例如,使用不同的视频编解码器编码一个 4K 视频需要多长时间?我们都能理解的另一个基准测试是,编码一个原始的 1 小时 4K 视频时,每个编解码器的文件大小如何比较?我认为,将这些基准测试包含在内,对于更广泛的公众来说将是最有帮助的。再次感谢您的贡献。

    2018 年 11 月 8 日 下午 12:51

    1. Nathan Egge

      确实,你说得对。测试视频和图像编码非常复杂,可能适合另一个演讲的主题。

      让我尝试回答您关于为什么没有“一个简单的基准测试,这样每个人都能理解比较结果”的非常合理的问题。简而言之,没有人能就一个基准测试达成一致,而且有充分的理由。

      您提到了“文件大小”,即码率,但隐含的假设是“在相同质量下的码率”。我们如何衡量质量?至少有十多种不同的客观(确定性)质量指标,但即使是专家也一致认为,这些指标往往存在偏差,彼此不一致,而且与人类感知的相关性不强。例如,最受欢迎的客观指标之一,即均方误差(也称为 PSNR),通常很有用,但您可以通过模糊图像来“改善”PSNR。然后是关于如何为单个测试片段获得单个客观“质量”值的问题。您组合客观指标的方式很重要,例如,基于:感兴趣区域(跨帧)、人类感知(跨色彩平面)、编码单元(跨帧类型)、平均流大小(跨速率控制场景)等等。

      您提到了“编码需要多长时间”,即复杂性,这里的问题是,现代视频编解码器旨在用于各种操作点。用于点播视频(高延迟)、直播流(一定延迟)和交互式视频会议(低延迟)的算法通常不同,因此您真正想要比较的是“在给定的码率和复杂性预算下的质量”。您可以做到这一点,但这需要时间,只有在您真正确保它是苹果对苹果的比较时才是公平的,也就是说,您需要很好地定义测试条件,还要确保编码器配置正确。

      这指出了另一个大问题,即您想要比较视频格式,例如“AV1、HEVC、H.264 和 VP9”,但您实际上是在比较编码器,例如 libaom、HM、OpenH264 和 libvpx。这些软件混合了参考(验证模型)和生产(企业级质量)软件,成熟度、可用性和功能完备程度不同。加上隐含的偏差以及配置您熟悉的软件和替代软件所需的工作量,您就会明白为什么很难对视频和图像格式进行一致的评估。

      2018 年 11 月 8 日 下午 15:00

  3. DD

    感谢您对此的解释。我觉得很有趣,即使我不是程序员,也不从事大量与 A/V 技术相关的工作。

    顺便说一下,我只想提一下:对于我们这些追踪 AV1 解码/播放在浏览器中进展如何的人来说

    – 您可以在最新的稳定版 Chrome 中使用它(不再需要任何标志!)
    – 您可以在最新的稳定版 Firefox 中使用它,只需在 about:config 中将“media.av1.enabled”设置为 true
    – Safari 或 Edge 还没有?(截至 2018 年 11 月初)

    现在也有很多使用 AV1 编码的 YouTube 视频。您可以访问 youtube.com/testtube,在 YouTube 上启用 AV1 测试版。

    在浏览器之外,您也可以使用 VLC 和许多其他软件播放 AV1 文件。您可以在 AV1 维基百科页面上查看 AV1 可以使用的其他领域:https://en.m.wikipedia.org/wiki/AV1#Adoption

    2018 年 11 月 8 日 下午 13:58

  4. DD

    Egge 先生,

    我在展望 AV2(尽管现在看起来还为时过早!但我知道,在 AV2 甚至开始工作之前,会有一段相当早期的推测或规划阶段)。

    也许可以安全地假设 AV2 将包含 AV1 开发周期中到那时最好的优化,并且比特流规范不再被冻结,这将提供额外的自由。

    本着这种精神,我想知道:您认为,到目前为止,从 AV1 开发周期中学到了哪些“经验教训”?(例如,应该添加哪些技术?AV1 中哪些东西可能过于复杂或使用不足,应该移除?哪些先前的假设需要调整?)

    无论如何,感谢您让我们了解了这些细节!当我能很好地理解一项技术时,我总是更兴奋。

    2018 年 11 月 9 日 上午 05:40

本文评论已关闭。