为 Opus 辩护

1 月 18 日,法国电信提交了一份针对 OpusIPR 公开披露,引用了一项非免版税条款下的专利。这引发了一个关键问题——这会对 Opus 产生什么影响?仔细评估表明,这不会对 Opus 规范 产生任何影响。

摘要

仔细阅读 FT 专利揭示了

  1. FT 专利不涵盖 Opus 参考实现,因为索赔的关键限制不存在;
  2. 该专利针对编码器,因此它不会影响 Opus 规范,Opus 规范只包含解码器的符合性测试,
  3. 通过一个简单的更改,我们可以使非侵权变得更加明显。

让我们进一步扩展这些要点。如果你不想听关于专利索赔的内容,你应该现在停止阅读这篇文章。

细节

IETF IPR 公开披露是专利持有者采取的一种安全措施:它们可以防止不洁之手论据或默示许可授权。但是,由于 IETF 在这些披露中需要具体专利号,因此我们可以分析索赔。相关专利是 EP0743634B1,以及相应的美国和其他相关的外国专利:“在采用短期感知加权滤波器的分析合成语音编码器中自适应噪声掩蔽电平的方法”。它只有一个独立的索赔,索赔 1。所有其他索赔都是基于索赔 1 的“从属索赔”。如果 Opus 没有侵犯索赔 1,它就不能侵犯任何其他索赔。

FT 专利不涵盖 Opus

要确定侵权,必须在一个实现中存在索赔的所有要素。索赔 1 的关键要素在 Opus 参考实现中不存在,包括但不限于

  • 带宽扩展 系数的使用方式。在索赔 1 中,两个参数 γ1 和 γ2 用于通过“最小化由语音信号和合成信号之差的滤波产生的误差信号的能量”来塑造有损压缩添加的量化噪声。Opus 不会这样做。相反,Opus 编码器使用单个参数 BWExp2 来塑造噪声,并使用不同的参数 BWExp1 来塑造输入信号,还对滤波后的输入应用额外的增益以匹配原始信号的音量。
  • 优化标准。Opus 不计算“语音信号和合成信号之间的差异”。我们想要编码与原始语音不同的信号,因此我们不将编码的信号与原始语音进行比较。这实际上是 Opus 的主要创新之一:这是 SILK 层不需要像许多其他编解码器那样进行后滤波的原因。

因此,Opus 不执行索赔中的步骤,根据定义无法侵犯 FT 专利。当然,这不是法律意见,但并不需要律师才能弄清楚这一点。虽然我们不知道 FT 为何披露了这项专利,但我们欢迎有机会评估这些披露,并消除任何真实或感知到的障碍。这是 IETF 过程的好处之一。

FT 专利无法威胁规范

FT 专利涵盖感知噪声加权,它是特定于编码器的。索赔是关于“语音信号和合成信号之间的差异”,而解码器 - 根据定义 - 无法访问输入语音信号。

Opus 规范只要求解码器具有特定的行为,而编码器在很大程度上没有规定。即使法国电信继续对 Opus 宣称其专利,我们也可以在编码器中进行任何更改以避免他们提出的任何理论。没有任何已部署的系统出现故障。Opus 标准没有受到威胁。我们可以有把握地说,仅凭这一点,FT 专利就不会妨碍 Opus。

如果需要,我们始终可以使事情更安全

虽然我们认为 Opus 编码器从未侵犯过这项专利,但我们很快意识到,即使不分析复杂的 DSP 滤波器,也有一种简单的方法可以让非侵权变得显而易见。

这可以通过对 silk/float/noise_shape_analysis_FLP.c 中的代码进行简单更改 (补丁文件) 来实现(可以在定点版本中进行等效更改)。

原始代码

strength = FIND_PITCH_WHITE_NOISE_FRACTION * psEncCtrl->predGain;
BWExp1 = BWExp2 = BANDWIDTH_EXPANSION / ( 1.0f + strength * strength );
delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA
       * ( 1.0f - 0.75f * psEncCtrl->coding_quality );
BWExp1 -= delta;
BWExp2 += delta;

新代码

BWExp1 = BWExp2 = BANDWIDTH_EXPANSION;
delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA
       * ( 1.0f - 0.75f * psEncCtrl->coding_quality );
BWExp1 -= delta;
BWExp2 += delta;

是的,只有两行代码改变了。这使得滤波器参数仅取决于编码器的比特率,这显然不是索赔 1 所要求的“在线性预测分析步骤中获得的频谱参数”。以下是原始编码器和修改后的编码器(使用 PESQ)之间的质量比较。正如您所见,差异非常小,不足为虑。

关于 Jean-Marc Valin

Jean-Marc Valin 拥有舍布鲁克大学的电气工程学士、硕士和博士学位。他是 Speex 编解码器的主要作者,也是 Opus 编解码器的主要作者之一。他的专业领域包括语音和音频编码、语音识别、回声消除和其他音频相关主题。他现在受雇于 Mozilla,致力于下一代多媒体编解码器。

更多由 Jean-Marc Valin 撰写的文章…

关于 Timothy B. Terriberry

Timothy B. Terriberry 是 Xiph.Org 基金会的长期志愿者,致力于 Theora、Vorbis、CELT 和 Opus 等编解码器。自 2008 年以来,他一直为 Mozilla 的媒体支持做出贡献,并自 2010 年以来一直从事 WebRTC 的开发工作。

更多由 Timothy B. Terriberry 撰写的文章…

关于 Greg Maxwell

自 1999 年以来,Greg 一直与 Xiph.Org 基金会合作开发不受限制的多媒体编解码器,目前正在 Mozilla 工作,致力于下一代免版税视频编码标准。

更多由 Greg Maxwell 撰写的文章…

关于 Robert Nyman [荣誉编辑]

Mozilla Hacks 的技术布道者和编辑。发表有关 HTML5、JavaScript 和开放网络的演讲和博客文章。Robert 是 HTML5 和开放网络的坚定支持者,自 1999 年以来一直在瑞典和纽约市从事网络前端开发工作。他还在 http://robertnyman.com 上定期发布博客文章,喜欢旅行和结识新朋友。

更多由 Robert Nyman [荣誉编辑] 撰写的文章…


7 条评论

  1. ?

    那么,为了清楚起见:此补丁是否默认包含在 Opus 中,是或否?

    2013 年 2 月 6 日 下午 07:34

    1. Timothy B. Terriberry

      此补丁目前未默认包含在 Opus 中。

      2013 年 2 月 6 日 下午 07:38

  2. Omega X

    这听起来像是那些惯于恐吓其他开放媒体格式的专利流氓,因为这些格式威胁到了他们的利益。

    2013 年 2 月 6 日 下午 13:21

  3. Dynamic

    虽然这可能是恐吓行为,而且在当今的专利环境中,这往往是我们的第一个假设,但请记住,参与 IETF 小组的公司有义务披露可能相关的 IP。

    我想,对于某些人来说,在某种程度上体现了已披露的 IP 中至少一项索赔,同时仍然与 RFC 兼容,实现 Opus 参考编码器的替代方案是可能的。

    无论如何,感谢 Mozilla 投入大量精力和法律资源来设计一个出色的编解码器和参考实现,该实现利用了长期以来一直属于公共领域的技术,也感谢其他自由许可其 IP 以支持 Opus 的贡献公司。

    同样令人欣慰的是,能够及时并充满信心地对这种发展做出回应,并提供有用的 PESQ 数据,以证明任何可能被任何想要规避这种 IP 的人需要的补丁的影响微不足道。

    2013 年 2 月 6 日 下午 14:23

  4. Sam Watkins

    我认为,在这种情况下,最好采取进攻性防御——鼓励每个人抵制并普遍反对法国电信。虽然这只是一次无害的浪费时间的行为,但他们确实是可恶的专利流氓,应该为此付出代价。

    2013 年 2 月 8 日 上午 10:18

    1. gnuzer

      法国电信既是电话运营商,也是互联网服务提供商,不幸的是,并非所有人都能抵制其电话服务,因为法国电信在法国拥有垄断地位。只有在特定情况下才能抵制这项服务(例如,如果您使用光纤而不是传统的铜线来接入ADSL)。

      法国电信在良心消费者中已经声名狼藉(由于各种针对网络中立性的攻击、针对公平竞争的攻击、密集的游说……),并且一直受到法国政府的大力支持(并且是法国最大的 ISP 和移动运营商)。

      但无论如何,他们是在自掘坟墓,不是吗?据我所知,Opus 使用了 Google 为 VP8 所使用的所谓的“版权许可专利”,因此,如果法国电信对 Opus 发起专利诉讼,这意味着他们将不再被允许使用 Opus 编解码器,对吧?

      2013 年 2 月 14 日 下午 5:00

      1. Omega X

        “据我所知,Opus 使用了 Google 为 VP8 所使用的所谓的“版权许可专利”,因此,如果法国电信对 Opus 发起专利诉讼,这意味着他们将不再被允许使用 Opus 编解码器,对吧?”

        我听说它被称为“报复条款”,即你在使用它时不能对标准提起诉讼,或者类似的东西。但目前还没有任何案件进入法庭,所以我怀疑它是否会排除他们。除非 IETF 中的 IPR 合格。我不确定。

        2013 年 2 月 17 日 上午 4:25

本文的评论已关闭。