NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST'24 Tokai

オープニング

JaSST’24 Tokai は、実行委員長の挨拶で始まり、ChatGPTを用いた挨拶の試みが行われた。ChatGPT の回答は「ソフトウェアテストの多様性と未来について議論され、AI や自動化の進化により明るい未来が期待されている。」というものだった。
次に、アンケート結果の共有が行われた。オンライン化により関東からの参加者が増加し、ソフトハウスが44%と最多であった。また、参加者の従事している分野は、Webサービス分野が33%で最も多く、品質担当者が32%と役割で最多であった。一方で、参加者の65%が10年以上の経験を持つベテランであり、若手の参加が課題であることが示された。
最後に、次の JaSST のイベント開催の紹介が行われた。次回の JaSST'25 Tokyo は2025年3月27日から28日に開催予定である。

筆者感想

筆者の期待しているセッションの1つであった。毎回ユニークな内容でテーマを紹介してくれるからである。
今回も、実行委員長の矢野氏がテーマ背景の説明を、他のJaSSTにはないユニークな内容で紹介いただいた。
ベテランエンジニアの参加が多いというのは筆者にとって意外であった。若手のエンジニアのコミュニティ参加を促すことがベテランエンジニアの役割の1つと感じたオープニングセッションであった。

S1) 基調講演
「組織にテストを書く文化を根付かせる戦略」
和田 卓人 氏（タワーズ・クエスト）

概要は以下の通りである

セッション概要

ソフトウェアは、かつては付属的おまけ的であった立ち位置から、現代ではビジネスの中核を担い、その開発手法も大きく変化している。PMBOKの改定により、誰も答えがわからないものを作る必要性が強調され、プロトタイプを通じたフィードバック重視の開発が求められている。
しかし、日本企業は無謬主義の影響により、変化に対応することが難しいことがある。つまり、「答えが正しいかわからないにもかかわらず成果物は正しい」と考え、考え方を改め変化するべき時に変化できないために、うまくソフトウェア開発ができない場合がある。 リーンスタートアップやソフトウェアのモジュール化などの手法が重要視され、特に、生成系AI技術をソフトウェア開発に適用したり、自動テストを導入することが開発のアジリティを高める鍵となっている。自動テストは信頼性を高め、開発者に自信を与えるためのものであり、教育や人事評価を通じてその文化を定着させることが求められる。
技術が文化に影響を与え、良いツールや考え方が普及することで、企業の業績向上に寄与する。

筆者感想

和田氏の講演は過去たびたび拝聴している。和田氏は、いろいろな文献などから「品質とスピードはトレードオフ関係ではない」「アジリティの高さが企業業績の向上と相関している」という趣旨の発表をされていると思っている。
今回は、それらに生成系AIが含まれていた。「生成系AIはアジリティの向上に必要である。生成系AIの出力結果を鵜吞みにせずエンジニアが評価できるようにするために、これまで以上にいろいろなことを学習する必要がある」といったことが含まれていたことが非常に印象的であった。
自分自身が何をできるか、どう貢献できるか、などをもっと考えなければと思った。

S3) ライトニングトーク

ライトニングトークでは以下の4名が発表を行なわれた。行なった順に概要と感想を記す。

「テスト業務におけるペアワークの実例と効果について」
橋本一輝 氏（株式会社bubo）

セッション概要

10年以上のQAエンジニア経験を持つ発表者は、ペアワークの利点を紹介した。
ペアワークは2人1組で協力し、ペアプログラミングのようにドライバーとナビゲーターの役割を持つ。
期待される効果として、スキル向上、知識共有、リアルタイムフィードバックによる質の向上、生産性向上が挙げられた。
実例として、ベテランとビギナーのQAがペアでテスト計画を行い、教育と作業を同時に進めることでコスト削減や心理的安全性の向上が実現されたという報告であった。

「EUサーバーレジリエンス法が求めるテストを考えてみる」
喜田 由伎於 氏

セッション概要

CRA（サイバーレジリエンス法）は、EU全域でデジタル要素を含む製品のサイバーセキュリティを規定する法律で、2027年12月から完全適用される。すべてのEU加盟国に適用され、デバイスやネットワーク接続製品、IoT関連のSaaSシステムも対象である。
セキュリティ要件を満たすためには、第三者審査員の関与や適合性評価が必要で、静的・動的テストを含むライフサイクル全体でのテストが求められる。

「盆栽の育て方からテストスクリプト作成のコツが見つかるカモ」
はやし ひろまさ 氏（組込みCI研究WG）

セッション概要

自己紹介では、盆栽にハマっていることを述べ、盆栽の育て方をアナグラムにしてテストケースのメンテナンスを説明された。
勉強会やJaSST東海のふりかえりの説明があり、そのなかで1人では気づけない学びが多いかったことが挙げられた。
次に、テスト自動化とテストスクリプトの説明があり、テストスクリプトは手動操作を自動化するもので、長く使うと保守性が悪化することが説明された。
テストスクリプトの保守を、盆栽の手入れから学ぶことが説明された。定期的なメンテナンスや見直しを行い、みんなが見える場所に置くことなどで、長く使えるテストスクリプトを目指す、という内容であった。

「社外コミュニティ活動のススメ」
JaSST Tokai実行委員会

セッション概要

エンジニアとして成長し、外部の世界を知るためにはコミュニティ活動が有効である。
コミュニティは企業の枠を超えた交流の場で、スキルアップやモチベーション向上に役立つ。コミュニティにはTEF、JaSST、WACATEなどがいくつかある。
また、JaSST Tokai実行委員も募集していることが説明された。

筆者感想

4名のトーカーが、自身の悩みや経験、意見を共有していただいた。 どのトークも新しい知見が含まれていて、かつ今回の趣旨(「テストの今日から明日、そして未来へ、一緒に考え、探っていこう！」)に合致し、興味深く感じながら拝聴した。

S4) 特別講演
「大規模言語モデル・対話型生成AIによるテスト支援の広さと深さ」
石川 冬樹 先生（国立情報学研究所）

概要は以下の通りである。

セッション概要

AIは万能ではなく、特に大規模言語モデル（LLM）は単語の出現確率を計算するアルゴリズムに基づいている。これにより、Zero-shotやFew-shot学習を通じて、その場で自分用の機能を得ることが可能であるが、ハルシネーション問題も存在する。基盤モデルのプロンプトやファインチューニング、関連情報の検索（RAG）を活用することで、ソフトウェア開発において効果を発揮することが可能である。AIをテスト活動に適用することで、適材適所の自動化が可能となり、テストドリブン開発を促進することが可能になる。例えば、LLMの支援により探索テストを自動化する、バグレポートの中にある再現ステップを形式化させ、その結果を開発で活用する、画像認識でテスト結果の画像が正しいことを確認する、といったことが考えられる。
一方で、AIを利用した評価やAIの活用方法の確立は今後の課題であり、LLMを評価者として利用することや、LLMOpsの導入が検討されている。AI技術の進化に追いつくためには、継続的な学習が必要であり、一人での対応は難しい状況である。多くの開発者が協力して積極的に学習していくことが求められる。

筆者感想

そ大規模言語モデルの現状と将来にわたる課題についての講演であったと思っている。講演では、「現状のLLMを使ったAIは、ひととおり何でもできるため、使いこなす側の努力や評価が重要」ということが説明された。LLMを含む技術は変化が大きく、学習していくのも大変であるが、興味深い分野でもあるので、自分も学習していこうと思えるセッションであった。

S5はSIG／パネルディスカッション／ワークショップの並列セッションであった。
S5-1) SIG:アジャイル井戸端会議
S5-2) SIG:お悩み相談 ～組込み開発のテスト自動化やCI/CTについて相談しよう～
S5-3) パネルディスカッション:品質文化を語ろう ～知識と経験のタペストリー～
S5-4) ワークショップ:【テスト設計初心者向け】テスト観点からテストケースを作ってみよう！
筆者は以下を選択した。

「品質文化を語ろう ～知識と経験のタペストリー～」
大平 祐介 氏（ログラス）
Mark Ward 氏（@Mark Ward）（Markin' Quality / グロービス）
鈴木 順仁 氏（Sansan）
miisan 氏（令和トラベル）
KEN-san 氏（JaSST Tokai 実行委員会 / GO）

セッション概要

このパネルディスカッションは、Web系アジャイル風味のTech企業で働くQAスペシャリストたちが、居酒屋の雑談のようなリラックスした雰囲気で、組織におけるQAの役割や配置について語り合う場であった。
パネリストには、上記の5名が参加し、それぞれの組織でのQAの立ち位置や責務についての事例を共有した。
次に、ディスカッションでは、QAが組織内でどのように認知され、どのように価値を提供しているかが中心に議論された。特に、QAが単なるテスト担当者としてではなく、開発者と協力してプロダクトの品質向上に貢献するための方法が重要視された。QAの役割が多岐にわたるため、組織内での認知度を高めることや、開発者との協業を通じて信頼を築くことが求められている。また、QAがプロダクト全体を俯瞰し、仕様に詳しい立場から全体像を把握する役割を果たすことも強調された。

筆者感想

興味深い議論が展開されていたと思っている。近年ソフトウェアQAのタスクや役割、これらに伴う責任範囲は広範囲にわたっている。組織・チームやプロダクトによっても様々な側面があり、QAの役割や責務が組織やチームによってバラバラであり、難しいと日頃の業務で感じており、同時に自分が果たすべき役割や責任にも戸惑いや迷いがあった。
そういったことに対して、QA組織がない中で組織を立ち上げたり、QAとして新たなバリューを作り出してきたようなパネリストたちから、ヒントをもらえるようなパネルティスカッションであったと思っている。
筆者も「品質文化」とは何か？組織やチームで醸成するためには何が必要かを考えたいと思うセッションであった。

筆者感想（全体）

非常に内容の濃い1日だったと感じた。まさに、今日までのテストをふりかえり、明日からのテストを考えるためのコンテンツが多かったと思う。

なお、このレポートもChatGPTを利用しながら作成した。「生成系AIの利用の練度が生産性に大きくかかわる」という本講演の趣旨を身を持って実感しているところである。