NPO法人ソフトウェアテスト技術振興協会 ICST2015勉強会

NPO法人ASTERが後援したICST2015勉強会に発表者および実行委員として参加しましたので報告します。ICST2015勉強会とは、ソフトウェアテストの国際会議 ICST 2015 (8th IEEE International Conference on Software Testing, Verification and Validation)について勉強したい方が集まって、Keynoteスピーチ3本・Research Trackの論文32本の輪講のような形で情報共有を行う会です。それぞれ発表担当を割り振り、1本5分程度で説明することにより、ICST2015本会議では3日間かかったものを半日に凝縮して実施します。

ソフトウェアテスト技術振興のため、ICST2015の内容を日本にも紹介すべきと考え、ICST2015に参加されていた早稲田大学の鷲崎先生やASTER理事長の西らに相談したところ、ぜひやりましょうということになりました。開催にあたっては、"ソフトウェアテストに関連する論文を輪読する有志によるコミュニティ" SIGST-J(代表：川西 俊之さん)に相談したところ、SIGST-Jでも同様のことを考えており開催が決まりました。主催はSIGST-Jで、情報処理学会ソフトウェア工学研究会からも後援いただけることとなりました。

準備および発表作業として、発表者は論文1本当たり10ページの英語論文を読み、その内容を理解するために参考文献等も参照し、5分程度の日本語での説明にまとめます。この作業を通じた期待効果や勉強会の意義は、

• 発表者は論文を精読することにより最先端の技術知識を得ることができ、また自身の論文作成能力も向上する
• 発表者は論文を要約して説明することにより伝える技術を磨くことができる
• 聴講者は短時間で多くの情報を得ることができる

などが挙げられます。

勉強会は2015年7月4日(土)に会場は早稲田大学西早稲田キャンパスの教室をお借りして、参加者は約40名を集めて開催されました。当日のタイムテーブルは以下のとおりです。

[時間]

[内容]

13:00

受付開始

13:30-13:35

オープニング

13:35-13:45

ICST 2015 参加報告

13:45-15:15

論文紹介セッション (1)

15:15-15:30

休憩

15:30-17:00

論文紹介セッション (2)

17:00-17:15

ICST 2017 in Tokyo 開催に向けて

17:15-17:30

クロージング

[写真1] 受付の様子

[写真2] オープニングの様子

私は、ASTERを代表してICST2015参加報告を行いました。現地の本会議の様子がわかるよう、主に写真を用いた紹介となりました。勉強会では、参加費用など具体的な質問が出ました。参加報告の資料は発表資料のリンク先をご覧ください。
各論文の内容は、チームや個人あわせて11チームの方が発表を行いました。Research Trackのカテゴリとタイトルは下記のとおりです。それぞれ論文の担当者は各論文発表者/チームのリンク先をご覧ください。
発表者からは、論文が対象としている課題、その解決方法と評価、そして発表者からの所感を述べるといった形で進んでいきました。ときには、解決方法を分かりやすく説明するために発表自身で設定した例を用いて説明するなど工夫を凝らした発表もありました。
まず、この勉強会は論文の詳細を伝えるものではなく、ライトニングトーク形式で概要を伝えることが目的です。論文の主張はそのタイトルに集約されています。タイトルが理解できれば、論文のおおよそのことは推測がつくはずです。しかしながら、自分の専門エリア外の用語が使われている場合や集約されすぎている場合などは、論文を深く読み進める必要があります。
私が発表を担当したTest Analysisのカテゴリの論文を例に発表の様子を紹介します。

Test Analysisの論文で「Generating Complex and Faulty Test Data Through Model-Based Mutation Analysis」という論文があります。直訳すると「モデルベースのミューテーション解析による複雑で不完全なテストデータの生成」。「モデルベースのミューテーション解析」とは何か、「複雑で不完全なテストデータ」とは何か、疑問に思うはずです。この論文では、「複雑」はテストデータ間の制約が複雑ということで、「不完全」は例外条件をテストするための不完全なテストデータという意味です。この論文では、こういう複雑で不完全なテストデータを作成するのは困難であるという課題を設定しています。この課題に対して、OCL(Object Constraint Language)という言語でデータ間の制約をモデルベースで記述し、データをわざと変えるデータミューテーションを利用してテストデータを作成するという解決アプローチを採っています。

[図1] 論文紹介の例

以上のように、論文で対象としている課題と解決方法を大まかに発表していきます。参加者には、いくつか理解できても、分からない詳細な部分または興味がある部分が出てくるかもしれません、そのときは参加者自身で進められるような題材を提供することが、この勉強会の目的でもあります。
参加者の興味という観点から、最も興味のある論文の投票も行いました。結果は「Detection and Localization of HTML Presentation Failures Using Computer Vision-Based Techniques」が選ばれました。これは参加者のWeb系テストへの興味の高さが関係していると思われます。

* ICST2015のKeynoteとResearch Trackのカテゴリとタイトル

(http://icst2015.ist.tu-graz.ac.at/より)

Keynote 1 - Mark Harman

• Achievements, Open Problems and Challenges for Search Based Software Testing

Keynote 2 - Helmut Veith

• Perspectives on White-Box Testing: Coverage, Concurrency, and Concolic Execution

Keynote 3 - Nicholas (Nick) Green

• Testing in a large service based architecture, from unit testing to acceptance testing

Test Generation 1

• Reformulating Branch Coverage as a Many-Objective Optimization Problem
• JSEFT: Automated JavaScript Unit Test Generation
• Re-using Generators of Complex Test Data

Static Analysis

• A Lightweight, Static Approach to Detecting Unbounded Thread-Instantiation Loops
• QuickChecking Static Analysis Properties
• Sound and Quasi-Complete Detection of Infeasible Test Requirements

Web and App Testing

• Behind an Application Firewall, Are We Safe from SQL Injection Attacks?
• Using Multi-Locators to Increase the Robustness of Web Test Cases
• Understanding the Test Automation Culture of App Developers
• Detecting Display Energy Hotspots in Android Apps

Test Selection and Prioritisation

• Exploring Test Suite Diversification and Code Coverage in Multi-Objective Test Case Selection
• Prioritizing Manual Test Cases in Traditional and Rapid Release Environments
• Using Fuzzy Logic & Symbolic Execution to Prioritize UML-RT Test Cases
• If A Fails, Can B Still Succeed? Inferring Dependencies between Test Results in Automotive System Testing

Model-based Testing

• Test Generation from Business Rules
• On the Industrial Applicability of TextTest: An Empirical Case Study
• Generating Tests for Detecting Faults in Feature Models

Model Checking and SAT Solving

• Yes! You Can Use Your Model Checker to Verify OSEK/VDX Applications
• Show Me New Counterexamples: A Path-Based Approach
• Optimization of Combinatorial Testing by Incremental SAT Solving

Test Analysis

• Generating Complex and Faulty Test Data Through Model-Based Mutation Analysis
• Iterative Instrumentation for Code Coverage in Time-Sensitive Systems
• Navigating Information Overload Caused by Automated Testing - A Clustering Approach in Multi-Branch Development

Test Generation 2

• NUMFL: Localizing Faults in Numerical Software Using a Value-Based Causal Model
• Combining Algebraic and Domain Testing to Design Adequate Test Cases for Signal Processing Algorithms
• Guided Test Generation for Finding Worst-Case Stack Usage in Embedded Systems

GUI Testing

• Classifying and Qualifying GUI Defects
• Conceptualization and Evaluation of Component-based Testing Unified with Visual GUI Testing: an Empirical Study
• Detection and Localization of HTML Presentation Failures Using Computer Vision-Based Techniques

Symbolic Execution

• Evaluating Symbolic Execution-based Test Tools
• Postconditioned Symbolic Execution
• Generating Succinct Test Cases using Don't Care Analysis

[写真3] ICST2017の概要説明

[写真4] テスト技術向上への期待

論文紹介後のセッションでは、早稲田大学の鷲崎先生とASTER理事長の西から、2017年に日本で開催予定のICST2017の概要紹介および日本のテスト技術者への技術向上の期待が、紹介されました。今回は企業からの参加者がほとんどでしたが、仕事の結果を論文の形で技術としてまとめること、さらに英語で国際学会に発表することで世界をリードすることなど、力強いメッセージが印象的でした。

今回の勉強会ではICST2015のKeynoteとResearch Trackの全論文を紹介することができました。このことを通して、勉強会の意義にも挙げた技術やスキルの向上につながったことと思います。今後も機会があれば、こういった勉強会を主催・後援を行い、ソフトウェアテストの技術振興に貢献していきたいと考えています。