NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST'19 Kansai
HOME > 活動報告 > イベント報告 > JaSST'21 Kansai
2021年6月26日（土） 於 オンライン開催
司会の河内氏から実行委員長の堀川氏が紹介され、開会の挨拶があった。内容は以下の通り。
本年度は15年目の節目の開催である。この15年は、ソフトウェアテスト・QA活動における技術・プロセス・マインドが発展してきたが、近年の変化は更に激しいと感じている。その変化への対応が迫られるテストエンジニアの技術格差・意識格差に大きな危機感を覚えた。技術者がソフトウェアテストなどの技術を学ぶ理由を模索する中で、DX(デジタルトランスフォーメーション)という言葉に繋がった。変革を意味するDXの推進は、ビジネスの在り方、開発技術、プロセスの変化・進化であり、ソフトウェアテスト・QA活動も例外なくそれらの渦中であり、追従していかなくてはならない。これは、進化論を唱えたダーウィンの概念「適者生存」にも通じる。
上記から、今年のテーマは「テストエンジニアのサバイバル術～After DXの世界に生き残るには」とした。私たちは今回のプログラムを通して、何を想定し、何を備えるのか、学び、気付くきっかけを作りたいと考えている。DX時代を逞しく生きる強いテストエンジニアを共に目指そう。
本城氏が設立したAIQVEONE社のAIQA事業について、本城氏からスライドと動画で説明があった後、本題である「AIによる自動プレイ研究事例」が紹介された。講演概要は以下の通りである。
ゲーム開発時に通しプレイで障害を検知したいが、変更が頻繁に発生することが課題である。ビルドのたびに人間の手でデバッグをするのは手間だが、自動プレイAIをルールベースで作成する場合も、仕様変更のたびに修正する必要があり、手間である。この研究では、２つの方法を試した。模倣学習AI（人間のデモプレイを学習する）と、模倣なし強化学習AI（ランダムな行動で学習する）である。
対象のゲームはUnity付属の3Dアクションゲームで、ゲームを学習する仕組みとしてUnity ML-Agentsというプラグインを利用した。学習させる準備として、AIに与える情報と報酬を決め、レイキャスト（プレイヤーからレイを飛ばす）を用いた敵オブジェクトを検出した。
模倣なし学習で3日間学習させてみたが、最初の報酬（武器）にすらたどりつけない結果となった。自由に3Dフィールドを歩き回れるゲームに対しては、完全ランダムは現実的ではないことがわかった。
次に模倣学習を試した。Deep Q-Learning from Demonstrations(DQfD) という手法を用いた。使用したマシンは、常識の範囲内でのマシンスペックに収めた。結果は、広大なマップでも攻略できた。人間によるテストプレイの動きをある程度再現できた。ちょっとした地形の変化に対しては、ランダムでジャンプするなどの工夫を加えた。ボス戦は戦術が必要で、とても時間がかかった。なんとかボスを倒してステージを攻略することができた。しかし次のステージは、横に足場が移動する部分でタイミング良くジャンプすることが難しく、攻略できなかった。
模倣学習の研究成果としては、広大なマップでも現実的な学習コストである程度攻略できることがわかった。報酬の設定と特徴量に対するエンジニアリングが必要であること、仕様変更のたびにデモを作成しなければならない可能性があることが課題である。
２年前からゲーム業界のQAコストが上がりすぎ、バグを取りきれない状況が続いている。それを解決するためにAIテストの研究を開始した。業界でも注目が高く、浸透してきている。業界全体として研究開発していこう。
まず、3Dフィールドを自由に動けるアクションゲームでも、AIがフィールドを進み、アイテムを集め、ボスを倒してステージ攻略できることに驚いた。ゲームのデバッグだけでなく、様々な分野での応用が考えられると思った。
講演概要は以下の通りである。
不確実な時代だからこそアジャイル開発が求められており、実践も増えているが、顧客から品質確保の説明を求められて困っているなど、品質面での悩みが多く、テストエンジニアが活躍する時である。
ソフトウェア品質保証の原則は、プロセス品質とプロダクト品質の両面から保証することであり、この２つは相互に関連している。アジャイル開発でも基本的な考え方は同じである。品質保証は、顧客が「品質要求事項が満たされている」という確信を与えることが重要であり、証拠をもって示す必要がある。
アジャイル開発の品質確保の難しさは「短期間」というところにある。ウォーターフォールモデルやスパイラルなどの繰り返し開発と異なり、分析・設計・実装・テストをブレンドして実施することを理解し、品質保証を考える際に発想の転換が必要である。アジャイル開発の課題を挙げる。アジャイル開発宣言から２０年経ち、標準的なプラクティスは、ほぼ決まっているが、知られていない。問題解決法として「自己組織化」を重視するが、時間がかかるし、客観的に判断できない。日本の品質レベルを支えてきた技術（レビュー、なぜなぜ分析と水平展開、品質ゲート、など）の利用が不十分である。アジャイル開発の主要なメトリクス（ストーリーポイントなど）が相対値であり、客観性を担保しにくい。
この状況をブレークスルーするための提言は以下の通り。ポイントは、アジャイル開発の品質保証を難しくしている「短期間」への対応である。プロセス品質：初めから品質を作り込むために、技術系プラクティスの実践と開発チーム編成を重視する。テスト系プラクティスとバグにこだわる日本の技術は、テストエンジニアの領域である。推奨する開発チーム編成は、優秀な技術リーダを置き、開発チーム員は「適用する技法を使って自由裁量部分を遂行できる」レベル以上の人材とする。プロダクト品質：品質が作り込まれていることを常に確認するDoneの定義と定量化分析し、過去や他のチームと比較分析する。推奨するDoneの定義（出荷OKの基準）を決め、客観的に審査する。
アジャイル開発はDX時代の主流になるので、品質重視のアジャイル開発で基本を学び、そこから変化させる。従来以上に技術力が求められる。テスト系プラクティスは品質保証の要であり、バグにこだわる日本の技術を活用してほしい。定量化による客観的な分析と比較は、ソフトウェア開発の基本中の基本であり、顧客の納得性を高める。テストエンジニアの生き残りの鍵は技術力と定量化である。著書「品質重視のアジャイル開発」を活用いただきたい。
メーカーで長年品質活動に関わっていた誉田氏によるアジャイル開発の講演では、ウォーターフォール開発が主流だった日本企業について納得のいく内容だったと思う。アジャイル開発の特徴である「短期間での開発・品質確保」に対応するためには基本を踏まえた上で発想の転換が必要であること、日本企業が築き上げてきた「品質の作り込み」の考え方がアジャイル開発でも有効なことを学んだ。
講演概要は以下の通りである。
DXが推進されている現状として、身の回りのDXでは生活スタイルが変わり、仕事でのDXでは仕事のスタイルが変わってきている。多くのソフトウェアが開発される中、ソフトウェアの特性に合わせて様々な開発手法が適用されている。中でもアジャイル開発手法の導入が更に進んでいく。今後は、ビジネス環境への変化に対応し加速させるために、データドリブンでの運営と継続的な改善が行なわれる。DevOpsのような会社全体でコラボレーションしてサービスを提供することが必要である。
上記を支えるためのQAチームの活動も変化する。継続的にリリースする中で、全ての開発フェーズでQA活動を行えるよう体制を構築する。プロジェクトの規模に合わせて柔軟に変化できるチーム作り、同時並行で運用と新規開発プロジェクトでQA活動を行なう。このように、QAチームの活動はDevOpsにより範囲が広がっている。
QAエンジニアに求められるスキルも広がっている。基本的なソフトウェアテストスキルだけでなく、アジャイル／DevOpsの知識、コミュニケーションの能力、自己解決の能力、テスト自動化、ツール利用、プログラミングスキルも必要である。このように、開発プロセス全てでQA活動を行なえるQAエンジニアスキルが求められている。
メルペイのQAチームでは以下の活動をしている。
QAエンジニアが不足している。AIや自動化に置き換わってきているが、優れたQAエンジニアを採用していくかが課題。
QAチームは、変化に対応しながらテクノロジーを用いてお客様に選ばれる品質のサービスを継続的に提供する活動を全員で行なう。メルペイでは「全員品質」と呼んでいる。QAエンジニアは、技術や知識が変化する中、「誰かに価値のあるサービスを届けるという熱い思いが一番大切な点は変わらない。そして、経営側もDevOpsに深く入り込み、サービスを使ってみることなどが経営層／マネジメント層に求められている。
変革の真っ只中にいる企業において、基幹となるサービスの成功を支えるQAエンジニアの活動領域や動機付けを日々考えているマネジメント層のリアルな活動と悩みを聞くことができた。今後多くの日本企業が同じ課題を抱えることになると思うので、先行する方々からの貴重なヒントを活かしたい。
モデレータの宿口氏がリードし、各パネリストが下記の項目についてそれぞれの思いを語り、討論が行なわれた。その概要を筆者が下記の通りまとめた。
あらゆることがソフトウェアによりデジタル化され、ビジネスを継続かつ加速的に変革する一方、ソフトウェア開発自体に革新的な変化を求めている。既に変わり始めているし、これからも変わり続けるだろう。テーマのひとつは、ソフトウェアによるビジネスへの貢献である。次に、プライバシー、公平性、その判断の透明性など、倫理に関わるところもテーマである。そしてこれらは解答がない世界である。
産業が変わっていくので様々なチャンスが生まれる。QAエンジニアにとってもビジネスチャンスが来た。不確実性の時代だから要求も不確実であることを受入れ、その中で仮説検証（トライ＆エラー）を繰り返して、アーキテクチャや要求を探索する必要がある。あいまいな中で様々なことを決めながら進んでいかないといけないが、エンジニアのスキル不足などにより、これまで避けてきたことである。ここに向き合うためには、マネジメント層の強化が不可欠である。
QAエンジニアのマインドを高めることが大切である。QAエンジニアの役割を限定して幅を狭めてはいけない。例えば、QAエンジニアとして良いサービスを提供することに貢献しようと伝えるなど、マネジメントの活動が必要である。もし、エンジニアの活動が限定されているのであれば、転職して新しい活動の場を探すことも選択肢のひとつになってきたのではないか。このような循環は、エンジニアも、そして企業にとっても変化すべきと気づくきっかけになる。また、エンジニアに対して技術力だけではなくビジネス視点も求められている。この循環の中でエンジニアが生き残るには、自分の武器を見つけて磨くなど、学び続けないといけない。その領域については、QAなどに限定せず、幅広いエンジニアを目指すべき。
変化の中で、変わらないものとそうでないものがある。例えば品質の分野では、プロセス品質とプロダクト品質の考え方については変わらない。そこを見極めて、どこに重点を置くかを自分で考えることが大切である。定年も延長になり、シニアエンジニアも、好奇心を持ち続け、新しい技術を触ってみることをする。品質活動は、これからますます自動化が進む中で、QAチームだけの活動ではなく、プロダクト／サービスに関わる全ての人の活動になるだろう。日本のソフトウェア業界構造が大きく変わろうとしており、自分の技術力を磨いて自分の強みを持ち、自分の意見を言えるプロフェッショナルだけが生き残る時代になる。
DXというキーワードをきっかけとして、ソフトウェア業界が大きく変わろうとしていると痛感した。変革の必要性と、メルペイなどの新興企業を中心に進んでいた変革事例がこのような場で共有されることで、これから真剣に変革に取り組む企業のヒントになってほしいと思う。
実行委員長の堀川氏から閉会の挨拶があった。内容は以下の通り。
今日得ることができた多くの学びを実践に活かしてほしい。それを発表して議論の場に乗せてほしい。全国のJaSSTではLTを募集しており、発表のハードルを下げた JaSST nano も始まった。JaSSTでの活動を、テスト業界全体の発展につなげていこう。また、JaSST関西では実行委員を大募集中であり、SNSなどで実行委員を検索して気軽に問い合わせていただきたい。
最後に、司会の河内氏から「本日のJaSSTがみなさまのエンジニアライフの一助となれば幸いです」という言葉で締めくくられた。
JaSSTは、ソフトウェアテストというテーマから、ソフトウェアに関する品質活動全般に拡大していることを実感した。３つの講演＋パネルディスカッションを通して、社会の中でソフトウェア産業が担う役割がどんどん変化している実感と、今後もエンジニアとして活躍するための心構えを学んだ。これらは以前から大きなテーマだったが、DXというキーワードで顕在化した。これらのテーマに真剣に向き合わなければならないという危機感を持った。
記：和田 憲明（ASTER）