私が所属していたQAチームでは、過去にDDP(Defect Detection Percentage:欠陥摘出率)を観測して欠陥検出力(テストによって欠陥を検出する力)をモニタリングしていました。しかしながら、ある時DDPの観測をやめてしまいました。 本記事では、DDPの観測をやめた経緯について私が想像した内容*1を記載したいと思います。
DDPについては、こちらの記事がわかりやすいのでご参照ください。 www.kzsuzuki.com
また、上記の記事や以下の記事のようにDDPを上手く活用しようとしている事例もあります。
そのため、私が所属していたQAチームでは単にDDPの活用方法を誤っていただけの可能性もあります。
上記を踏まえた上で本記事を読んでいただければと思います。
目次
- 本記事の前提
- 過去のDDPの利用方法
- DDPをやめた理由
- DDPの数値を見ても正確な欠陥検出力はわからない
- DDPの数値に影響を与えるのは欠陥検出力以外のことが多い
- 欠陥の埋め込み削減を目指すとDDPの数値が悪化する可能性がある
- DDPの観測の代わりにやったこと
- 本番障害の件数とビジネス上の影響度を観測
- 本番障害について検出漏れの原因分析
- 解決できていない課題
- 欠陥検出力をリリース前にチェックできない
- 本番障害がない場合に欠陥検出力がわかりづらい
- 複数の開発チームで欠陥検出力を比較しにくい
- まとめ
*1:私は当時の意思決定に関与していなかったため、本当の経緯はわかりません