编写优秀Bug报告的艺术及案例分析_436套软件开发需求文档_VD516-软件开发需求文档_09BUG描述报告书（22份）

编写优秀 Bug 报告的艺术 及案例分析 前言 在99年的Quality week上的一次演讲中，微软的一个测试经理， Roger Sherman指出了由于“不可重现”导致bug关闭的主要原因。 这是一个非常可惜的情况，因为这样的bug report浪费了紧张的开 发计划中的宝贵时间，增加了对产品质量完全是无关紧要的事情，同 时导致了在开发人员和测试之间的挫败感和差的感觉。有时，bug report是由于短暂的或随机的事件，测试和开发之间不一致的工具 和配置，或者在测试的环境下对正确的行为的模糊定义而产生的，但 是许多的由于不可重现而被关闭的测试报告是因为描述不清晰，被误 解，或者只是文字的错误。 幸运的是，我学习到一些能够引起管理层注意，更清楚的和开发人员 沟通并得到修复的编写优秀bug report的诀窍。这些技巧不仅仅提 供了是在被修复的问题的比例方面得到了可靠的回报，而且在同开发 人员和管理层的通过中也得到了回报。在我管理的项目中使用这种方 法编写bug report，8份bug report中大约只有一个没有被修复。 这篇文章的思想只有当你的报告针对的测试执行过程是专业的质量 工作才可以发挥作用。聪明地执行完整的测试包是产生可靠的测试状 况信息的基础的其中一个因素。在许多的测试文献中广泛地介绍了多 种多样的关于如何构建这样的测试包的方法。选择和你质量风险管理 需求相一致的技术并且使之适应你的具体情况，敏捷地监督已计划的 测试的执行过程，这样你就可以拥有可靠的测试执行过程。 另外一个关键的因素－bug report，却没有得到太多的关注。这是非 常令人遗憾的，因为优秀的bug report对反映测试小组真实的和可 理解的工作质量同测试本身一样都是非常重要的。试想一下：如果你 不能用开发人员能够理解的术语和能够用于调试的方法给开发人员 解释一个错误，他怎么能够修复问题呢？如果你不能够在bug report中提出象“保险杆标签”（bumper sticker）一样的错误总结 来引起管理层的注意，你又如何让他们关心你们发现的问题呢？ Bug report的核心是对错误的描述。表格1中是一个关于好和差的 错误描述的例子。编写好的bug report是一种好的艺术形式。采用以 下的10条技巧可以帮助你的小组提高编写bug report的质量： 1. 组织Structure：测试人员应该采用深思熟虑的，小心谨慎的方 法执行测试，并且做详尽的记录。这样可以促使他们对测试下的系统有很好的认识。当错误发生的时候，一个有组织的测试 人员能够知道最早出现问题的地方。 2. 重现Reproduce：测试人员在编写bug report之前必须在检查 问题是否可重现。如果错误不可再重现，仍然应该写下来，但是 必须说明问题的偶然性。一个好的处理原则就是在编写bug report之前反复尝试3次。 3. 隔离Isolate：在尝试编写bug report之前，必须试着隔离错 误。可以采用改变一些变量的方法，如系统的配置，它可能可以 改变错误的症状。这些信息可以为开发人员着手调试提供思路。 4. 归纳Generalize：在测试人员发现了一个已隔离的，可重现的 问题后，应该对问题进行归纳。同一个问题是否出现在其他的 模块或其他的地方？同一个故障是否有更加严重的问题？ 5. 对比Compare：如果测试人员以前曾经验证过现在出错的测试 用例，那么他就应该检查以前的测试结果以检查相同的条件是 否通过以前的测试。如果是的话，那么这个问题就象是一个回 归的错误。注意由于同一测试条件有可能出现在多个测试用例 中，这个步骤就不仅仅只是检查一个测试用例在以前的多个结 果。 6. 总结Summarize：在bug report的第一行写上错误的总结是非 常关键的。测试人员要花些时间思考已发现的错误对客户有何 影响。这不仅仅要求测试人员编写的报告要能够吸引读者，使 和管理层的沟通清晰，还要能够帮助设置错误修复的优先级别。 7. 精简Condense：在bug report的初稿完成后，测试人员应该反 复阅读它，集中剔除那些没有关系的步骤或词语。隐含的或模 糊的说明和那些由于对没有任何关系的细节或者那些在重现错 误过程中不需要的步骤而消磨报告欢迎程度的无穷唠叨都不是 bug report的目标。 8. 消除歧义Disambiguate：测试人员在精简空话的同时或其之后 随即应该再仔细检查报告是否有会产生误解的地方。测试人员 应该尽量避免使用模糊的，会产生歧义的和主观的词语。目标 是使用能够表述事实，清楚的，不会产生争执的词语 。 9. 中立Neutralize：如文中所述，作为坏消息的传递人，和善地提 交消息是一个挑战。如同所有的错误总结一样，独立的bug report在措辞方面应该保持公正。攻击开发人员，指责潜在的 错误，企图诙谐或使用挖苦将引起开发人员的憎恶，并且使注 意力从“提高产品质量”这个大的目标上转移开了。谨慎的测 试人员只用Bug report来描述事实。 10.检查Review：一旦测试人员感觉bug report是他能够编写的 最好版本，他应该将报告再给一个或多个同行进行检查。他的 同事们也应该给出一些建议，为了澄清问题不断地提问，如果 适当的话，甚至可以挑战“错误成灾”的结论。在允许的时间 里，测试小组应该尽可能提交最好的bug report。以上10条技巧可以帮助你和你的小组提交准确简洁的，彻底校订的， 精心构思的，高质量的技术文档。测试小组应该集中编写bug report 的任务，测试组长和经理应该让测试组成员清楚地认识到编写优秀的 bug report是一项首要的工作任务。衡量优秀的bug report的质量 指标应该包括如下： o 对管理层来说，是清晰明了的，特别是在概要这一级； o 对于开发部门是有用的，主要是给出能够让开发人员高效 地调试问题的相关信息 o 可以很快的将bug从“Opened”状态转变成“Closed”状 态，减少为得到更多的信息从开发人员打回的差的bug report并导 致测试人员返工的时间。 改进bug报告的流程是需要花费一些时间的，但是也给予了效果显著 的回报。首先，简单的流程改进了测试小组和高层、平行管理层之间 的沟通，增强小组的信任度，名望和鼓励管理层给测试投资更多的资 源。第二，平稳地递交报告给开发人员促进了测试和开发人员之间积 极的关系。第三，更短的bug生命周期是更加有效的，在时间上之前花 费在编写优秀bug report上的时间和后期由于返工差的bug report 花费的时间相抵消。这些回报帮助开发流程通过有效的沟通和高效率 的流程获得更好的产品质量。 Good Bad 概要（ Summar y ） 在格式一些文字成Arial字体时， Arial, Wingdings和 Symbol字体破我创建的新文件中所有的内容被 坏了新文件。 毁坏了。 重现问题的步骤（ Step s t o Reproduc e ） ： 1. 启动SpeedyWriter编辑器, 接着 创建了一个文件. 2. 输入4行文字, 每次重复输入 “The quick fox jumps over the lazy brown dog”, 3. 选中4行文字，点击字体的下拉菜 单，选择Arial. 4. 所有的文字转变成了控制字符， 数字和其他一些二进制的数据. 5. 尝试了3次，每次都可以重现这个 问题。 隔离（ Isolatio n ） 这个问题是新出现在build 1.1.018;相同的测试用例是在 builds 1.1.007 (System Test entry) 和 1.1.017中通过测试的. 使用Wingdings和Symbol字体也可 以重现这个问题，但Times-Roman,Courier New和Webdings字体都没 有这个问题。 基于模糊的猜测，这个可能只是一个 关于格式化的问题。保存此文件再关 闭它，然后再打开文件，这个错误还 是存在。 在转换字体之前保存文件，将不会产 生这个错误。 在已经存在的文件里，不会产生这个 错误。 这个错误只出现在Windows98平台 下，在Solaris, Mac或其它地 Windows平台下不出现这个问题。 Table1 案例分析：SpeedyWriter SpeedyWriter －－ · 用Java开发的字处理器（word processor） · 支持常见的字处理器功能 · 在案例分析中，用“italics”字体突出显示内容的描述 上有差异 步骤1、组织Structure · 采用深思熟虑的，仔细的方法进行测试 · 遵循编写好的或者运行由编写好的和标准化的流程自动 化的测试用例 · 做仔细的记录 步骤2、重现Reproduce Good Bad · 重现问题的步骤： 在格式一些文字成Arial字体时， 1. 我打开 SpeedyWriter编辑器, 讨厌的bug捣毁了我创建的新文 接着创建了一个文件。 件中所有的内容，浪费了我的时 2. 然后我输入了4行文字, 每次 间。 重复输入“The quick fox jumps over the lazy brown dog”, 每 次采用bold, italic, strikethrough, 和underline不 同的效果。 3. 我选中了文字，点击字体的下 拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字 变成了毫无意义的垃圾，浪费了用 户的时间。5. 我尝试了3次，每次都能够重现 这个问题。 步骤3、隔离Isolate Better Good · 重现问题的步骤： · 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 接着创建了一个文件。 2.然后我输入了4行文字, 每次 2. 然后我输入了4行文字, 每次 重复输入“The quick fox jumps 重复输入“The quick fox jumps over the lazy brown dog”, 每 over the lazy brown dog”, 每 次采用bold, italic, 次采用bold, italic, strikethrough, 和underline不 strikethrough, 和underline不 同的效果。 同的效果。 3. 我选中了文字，点击字体的下 3. 我选中了文字，点击字体的下 拉菜单，选择Arial。 拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字 4. 这个讨厌的bug把所有的文字 变成了毫无意义的垃圾，浪费了用变成了毫无意义的垃圾，浪费了用 户的时间。 户的时间。 5. 我尝试了3次，每次都能够重 5. 我尝试了3次，每次都能够重 现这个问题。 现这个问题。 隔离 隔离 基于模糊的猜测，这个可能只是一这个问题在Solaris下没有出现。 个关于格式化的问题。我保存此文 件再关闭它，然后再重新打开，这 个错误还是存在。 如果在未将文字变成“Arial”之 前保存文件，将不会产生这个错 误。 在已经存在的文件里，是不会产生 这个错误。 这个错误只出现在Windows98平 台下。 步骤4、归纳Generalize Better Good · 重现问题的步骤： · 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 接着创建了一个文件。 2.然后我输入了4行文字, 每次 2.然后我输入了4行文字, 每次 重复输入“The quick fox jumps 重复输入“The quick fox jumps over the lazy brown dog”, 每 over the lazy brown dog”, 每 次采用bold, italic, 次采用bold, italic, strikethrough, 和underline不 strikethrough, 和underline不同的效果。 同的效果。 3. 我选中了文字，点击字体的下 3. 我选中了文字，点击字体的下 拉菜单，选择Arial。 拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字 4. 这个讨厌的bug把所有的文字 变成了毫无意义的垃圾，浪费了用变成了毫无意义的垃圾，浪费了用 户的时间。 户的时间。 5. 我尝试了3次，每次都能够重 5. 我尝试了3次，每次都能够重 现这个问题。 现这个问题。 隔离 隔离 Wingdings和Symbol字体同样也 基于模糊的猜测，这个可能只是一 有这个问题。 个关于格式化的问题。我保存此文 基于模糊的猜测，这个可能只是一件再关闭它，然后再重新打开，这 个关于格式化的问题。我保存此文个错误还是存在。 件再关闭它，然后再重新打开，这如果在未将文字变成“Arial”之 个错误还是存在。 前保存文件，将不会产生这个错 如果在未将文字变成“Arial”之 误。 前保存文件，将不会产生这个错 在已经存在的文件里，是不会产生 误。 这个错误。 在已经存在的文件里，不会产生这这个错误只出现在Windows98平 个错误。 台下。 这个错误只出现在Windows98平 台下。 步骤5、对比Compare Better Good · 重现问题的步骤： · 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 接着创建了一个文件。 2.然后我输入了4行文字, 每次 2.然后我输入了4行文字, 每次 重复输入“The quick fox jumps 重复输入“The quick fox jumps over the lazy brown dog”, 每 over the lazy brown dog”, 每 次采用bold, italic, 次采用bold, italic, strikethrough, 和underline不 strikethrough, 和underline不 同的效果。 同的效果。 3. 我选中了文字，点击字体的下 3. 我选中了文字，点击字体的下 拉菜单，选择Arial。 拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字 4. 这个讨厌的bug把所有的文字 变成了毫无意义的垃圾，浪费了用变成了毫无意义的垃圾，浪费了用 户的时间。 户的时间。 5. 我尝试了3次，每次都能够重 5. 我尝试了3次，每次都能够重 现这个问题。 现这个问题。 隔离 隔离 这个问题是新出现在build Wingdings和Symbol字体同样也 1.1.018的；相同的测试用例在 有这个问题。 builds 1.1.007 (System Test 基于模糊的猜测，这个可能只是一 entry) 和 1.1.017中通过了测 个关于格式化的问题。我保存此文 试. 件再关闭它，然后再重新打开，这Wingdings和Symbol字体同样也 个错误还是存在。 有这个问题。 如果在未将文字变成“Arial”之 基于模糊的猜测，这个可能只是一前保存文件，将不会产生这个错 个关于格式化的问题。我保存此文误。 件再关闭它，然后再重新打开，这在已经存在的文件里，不会产生这 个错误还是存在。 个错误。 如果在未将文字变成“Arial”之 这个错误只出现在Windows98平 前保存文件，将不会产生这个错 台下。 误。 在已经存在的文件里，不会产生这 个错误。 这个错误只出现在Windows98平 台下。 步骤6、总结Summarize Better Good 概要 · 重现问题的步骤： Arial, Wingdings和 Symbol字 1. 我打开 SpeedyWriter编辑器, 体破坏了新文件 接着创建了一个文件。 · 重现问题的步骤： 2.然后我输入了4行文字, 每次 1. 我打开 SpeedyWriter编辑器, 重复输入“The quick fox jumps 接着创建了一个文件。 over the lazy brown dog”, 每 2.然后我输入了4行文字, 每次 次采用bold, italic, 重复输入“The quick fox jumps strikethrough, 和underline不 over the lazy brown dog”, 每 同的效果。 次采用bold, italic, 3. 我选中了文字，点击字体的下 strikethrough, 和underline不 拉菜单，选择Arial。 同的效果。 4. 这个讨厌的bug把所有的文字 3. 我选中了文字，点击字体的下 变成了毫无意义的垃圾，浪费了用 拉菜单，选择Arial。 户的时间。 4. 这个讨厌的bug把所有的文字 5. 我尝试了3次，每次都能够重 变成了毫无意义的垃圾，浪费了用现这个问题。 户的时间。 隔离 5. 我尝试了3次，每次都能够重 这个问题是新出现在build 现这个问题。 1.1.018的；相同的测试用例在 隔离 builds 1.1.007 (System Test 这个问题是新出现在build entry) 和 1.1.017中通过了测 1.1.018的；相同的测试用例在 试。 builds 1.1.007 (System Test Wingdings和Symbol字体同样也 entry) 和 1.1.017中通过了测 有这个问题。 试。 基于模糊的猜测，这个可能只是一 Wingdings和Symbol字体同样也 个关于格式化的问题。我保存此文 有这个问题。 件再关闭它，然后再重新打开，这 基于模糊的猜测，这个可能只是一个错误还是存在。 个关于格式化的问题。我保存此文如果在未将文字变成“Arial”之 件再关闭它，然后再重新打开，这前保存文件，将不会产生这个错 个错误还是存在。 误。如果在未将文字变成“Arial”之 在已经存在的文件里，不会产生这 前保存文件，将不会产生这个错 个错误。 误。 这个错误只出现在Windows98平 在已经存在的文件里，不会产生这台下。 个错误。 这个错误只出现在Windows98平 台下。 步骤7、精简Condense Better Good 概要 概要 Arial, Wingdings和 Symbol字 Arial, Wingdings和 Symbol字体 体破坏了新文件 破坏了新文件 · 重现问题的步骤： · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件. 接着创建了一个文件。 2. 输入了4行文字, 每次重复输 2.然后我输入了4行文字, 每次重 入“The quick fox jumps over 复输入“The quick fox jumps the lazy brown dog”, over the lazy brown dog”, 每 3. 选中文字，点击字体的下拉菜 次采用bold, italic, 单，选择Arial. strikethrough, 和underline不 4. 这个讨厌的bug捣毁了所有的 同的效果。 文字，变成了一些毫无意义的垃 3. 我选中了文字，点击字体的下 圾，浪费了用户的时间. 拉菜单，选择Arial。 5. 尝试了3次，每次都可以重现 4. 这个讨厌的bug把所有的文字 这个问题。 变成了毫无意义的垃圾，浪费了用 隔离 户的时间。 这个问题是新出现在build 5. 我尝试了3次，每次都能够重 1.1.018的；相同的测试用例在 现这个问题。 builds 1.1.007 (System Test 隔离 entry) 和 1.1.017中通过了测 这个问题是新出现在build 试。 1.1.018的；相同的测试用例在 Wingdings和Symbol字体同样也 builds 1.1.007 (System Test 有这个问题。 entry) 和 1.1.017中通过了测 基于模糊的猜测，这个可能只是一试。 个关于格式化的问题。保存此文件Wingdings和Symbol字体同样也 再关闭它，然后再打开文件，这个有这个问题。 错误还是存在。 基于模糊的猜测，这个可能只是一 在转换字体之前保存文件，将不会个关于格式化的问题。我保存此文 产生这个错误。 件再关闭它，然后再重新打开，这 在已经存在的文件里，是不会产生个错误还是存在。 这个错误。 如果在未将文字变成“Arial”之 这个错误只出现在Windows98平 前保存文件，将不会产生这个错 台下。 误。 在已经存在的文件里，不会产生这 个错误。 这个错误只出现在Windows98平台下。 步骤8、消除歧义Disambiguate Better Good 概要 概要 Arial, Wingdings和 Symbol字 Arial, Wingdings和 Symbol字 体破坏了新文件 体破坏了新文件 · 重现问题的步骤： · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 接着创建了一个文件. 2. 输入了4行文字, 每次重复输 2. 输入了4行文字, 每次重复输 入“The quick fox jumps over 入“The quick fox jumps over the lazy brown dog”, the lazy brown dog”, 3. 选中4行文字，点击字体的下 3. 选中文字，点击字体的下拉菜 拉菜单，选择Arial. 单，选择Arial. 4. 这个讨厌的bug捣毁了所有的 4. 这个讨厌的bug捣毁了所有的 文字，变成了一些毫无意义的垃 文字，变成了一些毫无意义的垃 圾，包括控制字符，数字和其他一圾，浪费了用户的时间. 些二进制的垃圾数据，浪费了用户5. 尝试了3次，每次都可以重现 的时间. 这个问题。 5. 尝试了3次，每次都可以重现 隔离 这个问题。 这个问题是新出现在build 隔离 1.1.018的；相同的测试用例在 这个问题是新出现在build builds 1.1.007 (System Test 1.1.018的；相同的测试用例在 entry) 和 1.1.017中通过了测 builds 1.1.007 (System Test 试。 entry) 和 1.1.017中通过了测 Wingdings和Symbol字体同样也 试。 有这个问题。 相同地步骤下，Wingdings和 基于模糊的猜测，这个可能只是一 Symbol字体同样也有这个问题。 个关于格式化的问题。保存此文件 基于模糊的猜测，这个可能只是一再关闭它，然后再打开文件，这个 个关于格式化的问题。保存此文件错误还是存在。 再关闭它，然后再打开文件，这个在转换字体之前保存文件，将不会 错误还是存在。 产生这个错误。 在转换字体之前保存文件，将不会在已经存在的文件里，是不会产生 产生这个错误。 这个错误。 在已经存在的文件里，是不会产生这个错误只出现在Windows98平 这个错误。 台下。 这个错误只出现在Windows98平 台下，在Solaris, Mac或其它地 Windows平台下不出现这个问题。 步骤9、中立Neutralize Better Good 概要 概要Arial, Wingdings和 Symbol字 Arial, Wingdings和 Symbol字 体破坏了新文件 体破坏了新文件 · 重现问题的步骤： · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 接着创建了一个文件. 2. 输入了4行文字, 每次重复输 2. 输入了4行文字, 每次重复输 入“The quick fox jumps over 入“The quick fox jumps over the lazy brown dog”, the lazy brown dog”, 3. 选中4行文字，点击字体的下 3. 选中4行文字，点击字体的下 拉菜单，选择Arial. 拉菜单，选择Arial. 4. 所有的文字转变成控制字符， 4. 这个讨厌的bug捣毁了所有的 数字和其他一些二进制的数据. 文字，变成了一些毫无意义的垃 5. 尝试了3次，每次都可以重现 圾，包括控制字符，数字和其他一 这个问题。 些二进制的垃圾数据，浪费了用户 隔离 的时间. 这个问题是新出现在build 5. 尝试了3次，每次都可以重现 1.1.018的；相同的测试用例在 这个问题。 builds 1.1.007 (System Test 隔离 entry) 和 1.1.017中通过了测 这个问题是新出现在build 试。 1.1.018的；相同的测试用例在 相同地步骤下，Wingdings和 builds 1.1.007 (System Test Symbol字体同样也有这个问题。 entry) 和 1.1.017中通过了测 基于模糊的猜测，这个可能只是一试。 个关于格式化的问题。保存此文件相同地步骤下，Wingdings和 再关闭它，然后再打开文件，这个Symbol字体同样也有这个问题。 错误还是存在。 基于模糊的猜测，这个可能只是一 在转换字体之前保存文件，将不会个关于格式化的问题。保存此文件 产生这个错误。 再关闭它，然后再打开文件，这个 在已经存在的文件里，不会产生这错误还是存在。 个错误。 在转换字体之前保存文件，将不会 这个错误只出现在Windows98平 产生这个错误。 台下，在Solaris, Mac或其它地 在已经存在的文件里，是不会产生 Windows平台下不出现这个问题。这个错误。 这个错误只出现在Windows98平 台下，在Solaris, Mac或其它地 Windows平台下不出现这个问题。 步骤10、检查Review