NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST'23 Shikoku

はじめに

オープニングセッションでは、JaSST'23 Shikoku 実行委員長の高木先生より、JaSST Shikoku の歴史や概要、特色(学生教育の一環のため初心者を念頭に置いた構成)などについて説明があった。今後の学習や業務利用のきっかけに役立ててほしいという内容で、オープニングセッションは締めくくられた。

S1)講演1
「今から追いつく、AI品質の基本と最新動向」
　石川 冬樹 氏（国立情報学研究所）

概要は以下の通りである。

セッション概要

講演1では、最近のAIシステム(機械学習技術を利用したシステム)の説明、深層ニューラルネットワークなどを利用した学習モデルの説明や学習モデルの評価、従来ソフトウェアとAIシステムの違い、機械学習プロジェクトにおけるシステム開発や評価、機械学習システムに関するガイドライン、対話型生成系AIについての内容であった。

従来システムではユーザ等からの仕様に基づき設計や評価を行なっており、入力に対する出力が決定可能であった。しかし、AIシステムでは学習データにより入力に対する出力を学習することで、出力結果ロジックを決定するという違いがある。このため、すべてのケースで要求を満たせるとは限らないため、開発時から評価に関するメトリクス(正解率や適合率など)や、メトリクス間のトレードオフに関してステークホルダーで合意を取ることが重要という説明があった。

また、AIシステムに関するガイドラインでは、産業総合研究所が中心になってまとめた「機械学習品質マネジメントガイドライン(AIQMガイドライン)」、QA4AIが中心になってまとめている「AIプロダクト品質保証ガイドライン」の2つのガイドラインが説明された。

さらに、データドリフト(学習時の入力データと運用時の入力データの違いがあり期待した出力にならない現象)や、機械学習に関する技術的限界(微小なノイズで誤判定が発生)や社会的に望ましくない差別的バイアス(人種や性別によるバイアス)の説明や事例の紹介があった。

最後に、最近急速に利用が広まっている、ChatGPTなどの対話型生成AIシステムやLLM(大規模言語モデル)に関する概要説明や利用事例に対する説明があった。

筆者感想

今後、AIシステムの開発や評価が増えると思っているので、いずれの内容も役に立つと思っている。
AIシステムに関する概要や評価などに関しての概要、開発や評価の方針について幅広い内容であった。

この講演で紹介のあったAIシステム開発や評価に関するガイドラインは有益だと考えている。ガイドラインで評価軸を合わせることで関係者間の合意・納得が得やすい。また、AIシステムは従来のような開発プロセスがすべて適用できるとは限らないため、開発やテストプロセスをどのように作成・変更するための検討時に参考になると考えている。ガイドラインの内容については、変更・更新が随時実施されると考えられるので、継続的に確認していきたいと思う。
対話型生成AIについては、システム開発や評価、ビジネスの問題解決など、大きな生産性向上が見込めると思っているため、トレンドを注視するとともに、使いこなせるように学習していこうと思う。

S2)講演2
「新たなテスト技術の導入が上手く進まないのは何故か？」
　熊川 一平 氏（ican.lab）

概要は以下の通りである。

セッション概要

講演2では、熊川氏が今まで開発者などに対する支援してきた事例と、支援に伴う組織的な課題や問題、対策についての講演だった。

熊川氏は、今まで、テストプロセスの改善やテスト自動化やアジャイルテストの導入支援などを行なってきた。プロセス改善において新しい技術や考え方が重要である一方で、変化を受け入れることによる損失を防ぎたい、改善することにより長期的視点で改善の評価がしにくい、といった理由が、プロセス改善の障壁になっていることが説明された。

プロセス改善が上手くいかない例として、手段が先に決まっている、目的が誤っている、標準化の名前のもと手段や方法だけが手順化される、などのケースが示された。こうした問題に対して、誰の何のための対策なのかを考える、手順や方法を押し付けるのではなく、それらの背景にある思想や哲学を共有することが重要である。そしてそれらをベースに、新たな技術を自律的に学習し、変化に対して失敗を厭わず積極的に挑戦しやすいような組織文化に変えていく必要があると説明された。また、組織文化を変えるためには日頃の行動やふるまいが重要であり、これを行なうために、小さい単位でもメンバ全員で合意できる MVV(Mission, Vision, Value)を決めて行動し積み重ねることなどが示された。

筆者感想

プロセス改善をタスクとする人たちにとって、非常に有益な講演であったと思っている。

プロセス改善の失敗する事例や原因については非常に共感した。また、プロセス改善において、組織文化や心理的安全性が重要であることも再確認できた。プロセス改善のヒントが多かったので、試行や実践が可能なものが多いと思う。いきなり組織の全体の文化を変えることは難しいが、自分たちの文化であればベクトルを合わせやすいので、グループの MVV ということは実践してみようと思う。

筆者感想（全体）

オープニングセッションで説明があったように、エントリレベル～ミドルレベルの人にとって非常に有益な内容であった。どちらも、業務や学習に生かせる内容が多いためである。私自身、本講演内容を明日からの活動に生かすとともに、参加者の多くがこの講演内容から業務を実践的に実施し、その結果がどこかのカンファレンスや勉強会などで聴けることを楽しみにしている。