NPO法人ソフトウェアテスト技術振興協会 事業内容-テスト設計コンテスト-テスト設計コンテスト'16 決勝戦レポート

◆マレーシア賞について

マレーシアでは、日本と同様にテスト設計コンテストを行っています。
http://www.qportal.com.my/Softec/SoftecAsia2015/CompetitionInfo.aspx
30チーム弱が予選参加するなど、日本と同様に盛り上がっています。
今年は審査技術の交流で、マレーシアの来年度の審査委員長のHerman Md Tahir氏と審査委員のMohd Izzuddin Mat Zain氏が日本の決勝戦とその審査の様子の見学に訪れました。Herman Md Tahir氏はTMMi レベル5のテスト組織のコンサルタントを務めており、マレーシアのQS制度（SQuaREを基にしたソフトウェア製品認証制度）やISO/IEC/IEEE 29119・33063・20246のマレーシア代表チームの一員として活躍しています。

日本の決勝戦の審査は日本の審査委員のみで行われましたが、その一方で技術交流の一環としてマレーシアの審査委員が別途独立して決勝戦の審査を行いました。本年度はその結果に基づき、“マレーシア賞”として選ばれたチームに授与することと致しました。

今年はJaSST東京のクロージングの時間帯に全体講評の時間が取れなかったため、Webサイトに全体講評を掲載したいと思います。

テストに正解はありません。またテスト設計コンテストの応募チームは通常リソースに制約があるため、完全な作品もありません。実際にバグを含んだテスト対象をリリースしてお客様に使って頂くということもできません。
そのため、スポーツでの計時競技のように結果が単一の指標で測定され減点を行うような審査形式でも、スポーツでの審査競技のように技ごとに点数がありその組み合わせと完成度で評価するという審査形式でもなく、芸術のコンテストのように審査員それぞれが異なる評価基準を持ちながら合議で最も素晴らしいものを相対的に決めていくという審査形式にならざるを得ません。
とても複雑であり、また審査員としての評価眼や矜持が強く求められます。

一方、テスト開発は発展途上の技術分野です。確立された方法論や技術もまだ少ないのが現状です。テスト設計コンテストそのものの目的も、コンテストによって新たな技術が提案されることでテスト開発の技術を高めていくという点が含まれています。実際に、応募作品のレベルは毎年上がっており、それに応じて審査そのもののレベルも毎年上がっています。

したがってテスト設計コンテストの審査は、年ごとに審査方針を柔軟に変えるべきだということになります。さもないと、審査委員会があらかじめ設定した審査方針よりも優れた作品が複数応募された時に、審査不能になるからです。このことは、ある年の審査を不公平にするということではありません。単一年度の特定の予選や審査における方針は同じであり、平等です。しかし異なる年の審査においては、ある年に最も優れていると評価された作品であっても、異なる年に最も優れていると評価されるかどうかは保証されません。応募作品も異なりますし、応募作品のレベルも審査そのもののレベルも上がっているからです。審査員の構成によっても影響されます。他の作品よりも十分優れている場合には、それらに影響されず優れた応募作品が優勝するでしょう。しかしコンテストの性質上、甲乙つけがたい作品群については、順位の決定は審査委員をとても悩ませるものになります。

文章で全体講評を行うのは初めてのため、前置きが長くなりました。本題に入りましょう。
応募作品（と審査）のレベルは、毎年確実に成長してきています。特に今年の応募作の審査で悩ましかったのは、テストアーキテクチャ設計の質、テスト開発方法論のインテグリティ、テスト開発の質、のどの観点を優先するかという審査方針に関してでした。

テスト設計コンテストの初期は、テストアーキテクチャ設計についての応募チームの理解度が全体として低かったため、テスト要求モデルの質のみで優劣が決まっていました。しかしここのところ理解度が高まってきたのか、テストアーキテクチャ設計の質の優劣が審査で重要視されるようになってきています。具体的には、俯瞰性や一貫性だけでなく、テストアーキテクチャの設計方針の検討内容の質です。例えば以前は、テストアーキテクチャの設計方針を決めずにテストタイプやテストレベル、テストサイクルを単に並べただけの（考慮事項ゼロの）応募作や、リスクベースドテストのように優先度のみを考慮した（考慮事項1の）応募作が多くありました。ところが最近は、優先度と保守性など複数の考慮事項を反映し設計案を複数構築した上で選択するという応募作が出てきています。
こうした応募作は、相対的に高く評価されるべきでしょう。

テスト開発方法論のインテグリティ、というのは難しい表現ですね。
テスト設計コンテストの初期には、テスト開発方法論などは意識せずに、仕様書をコピペしてテストケースを増殖させトレーサビリティの確保に時間をかけるという、きっと普段の仕事ぶりをそのまま作品として応募してきたのかな、と思われるチームもありました（私の偏見かもしれません）。しかし最近は、テスト要求分析やテストアーキテクチャ設計、テスト詳細設計、テスト実装といったテスト開発のフェーズや各フェーズで用いられるモデルや記法をきちんと検討して、自分たちなりのテスト開発方法論を確立してきているチームが出てきています。テスト開発方法論が確立されている応募作は、相対的に高く評価されるべきだと思います。

またテスト開発方法論のインテグリティが高まるにつれ、テスト開発の質そのものを審査の際に議論するようになってきています。
コンテストの性質として仕方がない側面なのですが、どうしても見栄えこそ整っているがなんとなく実質が伴っていないのではないか、と思われる応募作が出てくるようになってきました。こうした方法論はテスト開発方法論としてのインテグリティは高く評価されるのですが、現場でこのようにテストを開発して実行した際にバグが出たりテストが効率化されたりするのか、と改めて問うて見ると答えに窮する、ということになります。やはり、テスト開発方法論としての本質的な質の高い応募作は、高く評価されるべきです。結果が出せるテスト開発方法論なのか、というように解釈しても構いません。

今年の決勝の審査は困難を極めました。接戦だったからです。まぁ毎年接戦で悩まされている気もしますが、とにかく今年も接戦でした。
上位の応募作がそれぞれ前述の3つの審査観点について突出していたからです。
我々決勝の審査委員は、とても長い時間議論を行いました。結局のところ議論の本質は、3つの審査観点のどれを優先するか、です。3つをフラットに評価した場合、優勝チームが3つ出てきてしまいますが、それはあまり好ましいことではありません。なぜなら、審査委員会としての矜持を放棄するからです。

悩みに悩み議論を重ねた上で我々が出した結論は、今年はテスト開発方法論の質を優先しよう、という方針でした。もう少し詳しく説明しましょう。
マレーシア賞を獲得したFSTWG（敬称略、以下も）は、テストアーキテクチャ設計の質が高かったと言えます。2位のしなてすは、テスト開発方法論のインテグリティが高かったと評価されました。1位のSASADAN Goは、テスト開発方法論の質が高かったと評価されました。点数上は、どこが勝っても誤差の範囲内です。ではなぜ我々は、SASADAN Goを優勝としたのでしょうか。

テストアーキテクチャ設計の質としても、テスト開発方法論のインテグリティとしても、SASADAN Goはそれほど高いとは言えません（同様に、他チームは優れている観点以外はそれほど高いとは言えません）。むしろプレゼンテーションを聴いた皆さんや、公開資料を読み込んだ皆さん、さらにはSASADAN Goの皆さん自身も、なぜ自分たちが優勝したのか不思議かもしれません。私自身、とても勇気のいる決断でした。

各チームがテスト開発方法論を構築する際に参考にするのは、テスト設計コンテストのチュートリアル資料、もしくはいくつかの確立されたテスト開発方法論、およびソフトウェア開発方法論だと思います。開発方法論の説明というのはなかなか難しく、順序立てて説明するとどうしてもウォーターフォール的な構成になりがちです。そうすると、読者の理解もウォーターフォール的になります。しかし実際のテストの現場では、必ずしもウォーターフォールで進むわけではありません。別にウォーターフォール的な進め方を全否定しているわけではありませんが、反復的な進め方の方が“結果が出せる”と今年の決勝の審査員は判断しました。

その視点でSASADAN Goのプレゼンテーションを聴いたり、公開資料を読み込んだりすると、反復的なテスト開発方法論を採用していることが分かります。
いや言い過ぎました。分からないと思います。多分、SASADAN Go自身も分かっていません。SASADAN Goのテスト開発方法論のインテグリティはあまり高くありません。開発方法論が従うべき原則に段階的詳細化というものがありますが、SASADAN Goのテスト開発方法論はその原則に反しています。すなわち、テスト要求分析の時点で詳細な事項を検討し過ぎているのです。

しかし成果物をよく読み込むと、その検討事項が反復的に作り込まれていることが分かります。もしかしたら、公開資料だけでは読み取りにくいかもしれません。確かにインテグリティの高いテスト開発方法論ではないのですが、我々審査委員はSASADAN Goのテスト開発方法論を反復型だと認識しました。
もしかしたら深読みしすぎなのかもしれませんがね。

テスト設計コンテストの応募作品の採用する技術は、テスト詳細設計技術、テスト要求分析技術、（ウォーターフォール型）テスト開発方法論、テストアーキテクチャ設計技術というように進化してきています。今年の決勝の審査において、その次に反復型テスト開発方法論という技術進化の方向性が提示されました。チュートリアルなどでコンテスト運営側が提示してきた方向性以外のものが応募チームから提示されたというのは、（運営側としては悔しくもあり）嬉しいことです。優勝したSASADAN Goも、2位のしなてすもマレーシア賞のFSTWGも、また今年の全出場チームも出場しなかったチームも、自分たちに欠けていた審査観点を反映するだけでなく、さらに優れた審査観点を我々に提示して頂けるよう 来年の参加をお待ちしております。

ちなみに、3位のFSTWGがマレーシア賞を授与されたのは偶然です。団子の3位だから何か賞を、という意図ではありません。これもまた最初に述べたように、審査委員の構成が異なれば審査方針が変わるという好例だと思います。
ですので、いわゆる「テスト設計コンテスト振り返り会」などを開催して頂き、また異なる審査方針で審査し優劣を議論する、というのも大歓迎ですし、技術の発展に寄与すると思います。繰り返しになりますが、どのチームも優れており、2位だから負けた3位だから及ばなかった、ということではありません。胸を張って頂いて構わないと思います。逆に言えば、どのチームも他を圧倒する出来ではなかったという意味で、さらに頑張って頂きたいと思います。来年もまた、我々をとことん悩ませる質の高い作品が多数応募されることを待っています。

• 指定のテストベースに対するテスト設計を行い、その優劣を競います。
• コンテストは各地域予選を行い、優秀と認められたチームが決勝戦へ出場する権利を得ます。
• 決勝戦では予選を通過したチームが集い、その腕を競います。予選で作成したテスト設計資料をさらにブラッシュアップすることで、技術を進化させる楽しみを味わってください。
• 予選前に各地域でチュートリアルを行います。チュートリアルではテスト設計に関する講義を行います。このチュートリアルは一般の方も参加可能です。参加予定チームはもちろん、一般の方もぜひご聴講ください。

「カラオケシステム(ASTERオリジナル)」

テストベースについては下記よりダウンロードしてください。

【テストベースのダウンロード】
https://aster.or.jp/business/contest/doc/2016-tdc_V1_1.zip

• ASTERカラオケシステム要件定義書_V1_1.pdf
• ASTERカラオケシステム用語集_V1_1.pdf
• ASTERカラオケシステム補足資料_V1_1.pdf

※本テストベースを作成するにあたり、第一興商様にご協力いただきました。

事前の成果物審査と予選・決勝戦当日のプレゼンテーション審査を行います。

◆地域予選、書類選考予選および決勝戦の成果物審査

予選（書類選考予選を含む）および決勝戦とも審査基準は共通

■テスト要求分析・テストアーキテクチャ設計点(40点)

■テスト詳細設計・実装点(30点)

■工程間一貫性点(10点)

■文書点(20点)

■総合点(20点)

以上、合計120点満点とする。

◆地域予選、および決勝戦のプレゼンテーション審査

■プレゼンテーション技術点(15点)

※書類選考予選ではプレゼンテーション審査は行いません。

各予選に参加したチームの内、惜しくも予選通過できなかったチームの中から「審査委員推薦枠」を設け、決勝戦にもう1チーム進めることを決定しました。その結果、関西予選に参加した「てすにゃん」を審査委員推薦チームとして選出しました。決勝戦での奮闘に期待します。

審査委員推薦枠の選考は、下記の内容に基づいて行いました。

テスト設計コンテスト応募作の評価は、審査委員の経験上、概ね思考力と表現力の2つに左右されます。
思考力とは、テスト対象やテスト要求、テストアーキテクチャ設計、テスト詳細設計、各工程間の関係などをどの程度考え抜いているか、です。表現力とは、考え抜いた結果を成果物としてどの程度存分に表現しているか、を表します。成果物の完成度が高い応募作は、当然高い評価を受けます。しかし今回の予選ではテストベースが新しくなったことも影響したのか、アプローチや着眼点などの思考力は高いものの、残念ながら詳細設計までその思考が到達していないチームが散見されました。

そのため今回は、完成度は今一つなものの、思考力が高く、完成した成果物に期待できると推測する応募作を厳選し、審査委員推薦枠として決勝への道を開くことにしました。地区予選通過チームは思考力も表現力も高め、決勝に臨むことを期待しています。
もちろん審査委員推薦枠チームは思考力、表現力を大幅に向上させ、さらに審査委員を説得できるだけの完成度を追求しなければ決勝では苦戦するでしょう。

今回の措置の趣旨を決勝戦進出全チームが理解し、さらにブラッシュアップした応募作が出そろうことを審査委員一同、強く期待しています。

◆北海道予選

◆東京予選

◆東海予選

中止になりました

◆関西予選

◆書類選考予選

◆予選結果一覧