网页测试深入探讨:MDN 网页测试报告

在过去的几年里,我们一直运行着 MDN 网页开发者需求评估 (DNA) 报告,旨在突出显示构建网站和应用程序的开发者面临的关键问题。这证明了浏览器供应商和其他组织为改进网页平台而优先考虑改进的宝贵数据来源。今年,我们对网页测试进行了深入研究,我们很高兴地宣布,这项后续研究已在我们的 insights.developer.mozilla.org 网站以及我们其他网页 DNA 出版物中发布。

为什么是网页测试?

2019 年2020 年 的网页 DNA 研究中,开发者将“需要支持特定浏览器(例如 IE11)”评为网页开发中最令人沮丧的方面,在 28 个需求中排名第一。排名第二和第三的需求也与浏览器兼容性有关:

  1. 避免或删除跨浏览器无法正常工作的功能
  2. 使设计在不同浏览器中看起来和工作方式一致

2020 年,我们发布了我们的 浏览器兼容性研究结果 - 深入研究以识别浏览器兼容性方面的特定问题,并找出可以采取哪些措施来缓解这些问题。

今年,我们决定继续进行另一项深入研究,重点关注网页开发中最令人沮丧的第四个方面,“跨浏览器测试”。它紧随其后之前深入研究的步骤,并且也与人们非常需要的的信息相关。

你可以直接下载这份报告 - 查看 网页测试报告 (PDF, 0.6MB).

2020 年的新问题

基于 2019 年“跨浏览器测试”的排名,我们在 2020 年的 DNA 调查中引入了一个新问题:“在网页测试方面,你最大的痛点是什么?” 我们希望更多地了解这个需求,以及一些潜在的问题。

受访者可以选择以下一个或多个答案:

  • 花在手动测试上的时间(例如,由于缺乏自动化)。
  • 运行缓慢的测试。
  • 在多个浏览器中运行测试。
  • 测试失败难以调试或重现。
  • 缺乏调试工具支持(浏览器开发者工具或 IDE 集成)。
  • 难以诊断性能问题。
  • 测试难以编写。
  • 难以建立足够的测试环境。
  • 没有痛点。
  • 其他。

结果摘要

7.5% 的受访者(6,645 人中)表示他们在网页测试方面没有痛点。对于那些有痛点的人来说,最大的痛点是花在手动测试上的时间。

为了更好地理解这些结果背后的细微差别,我们对网页测试进行了定性研究。该研究包括对 20 位参加 2020 年 DNA 调查并同意参与后续研究的网页开发者的 20 次为期一小时的访谈。

这些结果将帮助浏览器供应商了解是否应加速对 WebDriver 双向协议 (BiDi) 的开发,或者未满足的需求是否在其他地方。我们对 WebDriver BiDi 的分析是基于这样的假设:单浏览器测试工具和跨浏览器测试工具之间的功能差距是一个痛点来源。未来对开发者遇到的困难的研究将能够将该规范的优先级和技术设计集中在解决痛点上。

主要结论

  • 在 2020 年的网页 DNA 报告中,我们包含了细分研究的结果。出现的七个细分市场之一是“测试技术员”。这个名字暗示了这个细分市场做测试,因此在做测试时会感到沮丧。这是正确的,但同样真实的是,开发者通常认为测试的进入门槛很高,这加剧了他们的沮丧。
  • 定义测试流程、选择工具、编写测试和运行测试都需要时间。许多开发者面临着在紧张的期限内开发和发布产品的压力。测试与否是在测试带来的感知价值与实施测试所需时间之间进行权衡。
  • 一些开发者了解测试,但受到他们缺乏该领域知识的限制。这种知识的缺乏是成功实施测试策略的障碍。其他开发者了解测试是什么以及如何做,但他们仍然认为它令人沮丧。这第二组不是缺乏知识,而是缺乏时间和资源来运行他们理想情况下想要的程度的测试。
  • 对于一些开发者来说,什么是测试类型尚不清楚。此外,编码和测试之间的界限可能很模糊。
  • 对于那些已经建立了测试流程的开发者来说,描述其形成的最佳方式是 *演化* 的。演化的流程通常正在不断改进。
  • 浏览器供应商认为单元测试是一种常见的测试类型,并且它是一个发展良好的领域,没有太多痛点。然而,我们了解到,在浏览器中运行的单元测试代码比预期面临更多挑战,而且存在与其他地方相同的时间压力,这意味着单元测试并不像预期那样频繁地进行。
  • 概括地说,可以得出结论,测试应该比现在花费更少的时间。
  • 利益相关者一直认为,开发者希望在尽可能多的浏览器中测试他们的代码,而他们仅仅受到工具支持的浏览器的限制。我们了解到,他们支持哪些浏览器并不取决于他们使用的工具。相反,他们支持哪些浏览器决定了他们使用哪些工具。8

关于 Chris Mills

Chris Mills 是 Mozilla 的高级技术作家,他在那里撰写有关开放式网页应用程序、HTML/CSS/JavaScript、A11y、WebAssembly 等等的文档和演示。他喜欢摆弄网页技术,并在会议和大学偶尔做技术演讲。他曾为 Opera 和 W3C 工作,喜欢演奏重金属鼓和喝好啤酒。他住在英国曼彻斯特附近,和他的爱人和三个漂亮的孩子住在一起。

更多 Chris Mills 的文章……