NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST'12 Kansai
HOME > 活動報告 > イベント報告 > JaSST'17 Kansai
2017年6月23日（金） 於 いたみホール(伊丹市立文化会館)
JaSST'17 Kansaiは梅雨の合間の晴れの日に、兵庫県伊丹市にある、いたみホールで開催された。１２０名を超える参加者が集まり、会場は満席となった。終日活気あふれるシンポジウムであった。
オープニングセッションはJaSST'17 Kansai実行委員長の野中 成夫氏がおこなった。野中氏は、テーマについて説明した。
本日のテーマは"アイ、テスト"である。"アイ"には二つの意味を持たせている。
１つ目は「AI（人工知能）」である。本来はエーアイと読むが、ローマ字でアイと読める。 人工知能のテストはホットトピックで、参加者も興味があるテーマだと考えた。人工知能や機械学習とはどのようなものなのか、人工知能をソフトウェアにどのように適用するのか、新たな知見が得られるのではないかと考えた。
２つ目は「I（人間・自分自身）」である。私たちは人工知能のテストや人工知能を使ったテストをおこなう場合にどのように向き合うとよいのか、どのような知識や技術や考えを持てばよいのだろうか。
本シンポジウムでは、人工知能についてのベースとなる考え方や、つながる技術、ソフトウェアの価値の元となるビジネスデザインについて紹介してもらうようにコンテンツを用意した。参加者には講演を聴き、意見交換をして、多くの知見を持ち帰ってほしい。
基調講演は２つ用意されていた。初めに細川 宣啓氏が講演した。
最初に、参加者に『パラメータを設定することで、最適なプレゼン資料を人工知能が作ってくれるシステム』の紹介があった。実は、細川氏のいたずらで、架空のシステムであったが、多くの参加者は実際のシステムと信じた。
人は人工知能と言われると過度に期待し、簡単に信じてしまい、騙されてしまう。
ある実験で人工知能ロボットに女性名をつけたところ、人工知能がセクハラをうけるような事案が発生した。人工知能に人権の基準を設定することはおそらく不可能ではないか。
人工知能で楽しいものを作ることはできるかもしれないが、良心を持ったものができるかどうかは今後の課題かもしれない。
レイシストのように、多くの人とは違う結果（残虐な結果）を求めるような要求がある場合、人工知能のテストは何をもって正しいと言えるのだろうか。
また、人工知能に機械学習させようとしたときに、学習データが偏っていたり、学習データが足りなかったりした場合に学習データが正しいかどうかをどのように判断すればよいのだろうか。人工知能をテストしたときの正当性は証明できるのだろうか。
人工知能の良し悪しや、人工知能は人間を超えるの？といった本や議論は多くあるが、どのようなものを人工知能化すればいいの？という本はあまりない。大事なのは「人工知能で何がしたいか」であり、「どうやって人工知能を使うか」にならないようにしてほしい。参加者は色々な情報を交換したり議論したりしてほしい。
細川氏の講演は何度も拝聴しているが、今回も初めから引き込まれる内容だった。筆者自身が、人工知能という言葉にいかに期待し、不安になっているか気づかされた。また、人工知能とどのように向き合っていくかを真剣に考えなければならないと思った。
二つ目の基調講演は、日本IBMの増田 聡氏であった。増田氏はJaSST'05 Kansaiで登壇経験がある。日本IBMではテストに関する技術についての研究もおこなっている。
今回の講演は増田氏個人の見解であり、所属企業の見解ではないと説明した。
本セッションでは、人工知能技術を利用したアプリケーションの開発とテストについて、事例をもちいて具体的に説明されていた。
音声による質問応答システムを例に、どのようにしてアプリケーションに人工知能技術を応用しているかについて説明した。
このアプリケーションは遊園地に設置した音声質問応答システムである。例えば「ゴーカートはどこにありますか？」という質問に対し、人工知能技術によって「XXの近くにあります。」と回答する。
音声質問応答アプリケーションは以下の処理をおこなっている。
このうち、１．周辺環境に対応した音声入力、３．テキスト分類について詳しく説明する。
音声入力は周辺環境に影響を受けやすい。例えば雑音や、音声の高低や大小により問題が発生する可能性がある。例えば、
「ゴーカートはここにありますか？」という質問が、雑音などの影響により「豪華はここにありますか？」と聞き取れてしまうことがある。そうすると、「豪華プレゼントはやっていますか？」と、まったく違う質問に変わってしまい、その結果、質問と違う回答が返ってきてしまう。
テキスト分類にはクラシフィケーションを使用している。クラシフィケーションというのは、人工知能に学習させ、分類を増やしていくものである。今回の事例の場合、データとラベルというセットを人工知能に学習させていく。例えば、データに「ゴーカートはどこですか？」と登録し、ラベルに「ゴーカート、場所」とつける。
音声入力後、質問の内容を解析し、計算式で求める。音声入力した結果を形態素解析する。文章の類似度を測るのにコサイン類似度を使う。形態素解析とコサイン類似度を使ってマトリクスを作る。さらに特徴的な言葉に対して重みづけをすることで、一番有力である質問内容を判断し、回答を導き出すことができる。
ルールベースのテストの場合、仕様テストの最適化などに適応できるのではないか。学習ベースのテストの場合、バグ予測や回帰テストケースの最適化に活かせるのではないか。学習ベースのテストでは、コグニティブ・エキスパートとして、どのエリアでテストを実施すればよいかということに適応できるのではないか。
事例を丁寧に説明されたため、人工知能を用いたアプリケーションの基本的な仕組みや考え方が理解できたと思う。
細川氏の講演で「人によって相反する要求をどのように学習させるべきか」と話しており、増田氏は「突き詰めて考えていくと、"人工知能をテストすること"と"人工知能の技術をテストに利用すること"はそんなに違わない気がする。」と話しており、二つの言葉が繋がった。
午後のセッションは選択制のセッションであった。筆者はJaSST Hokkaido 実行委員会の水野 昇幸氏のセッションを選択した。このセッションでは"アイ、テスト"の"I"をテーマにしたセッションである。水野氏は、ワークショップを取り入れながら、納得できるテストについて説明した。
例えばBtoBのシステムをリリースするとしたときに、納得できるテストとは、二つの事象がある。
1つ目は、顧客やマネージャーといった"相手が納得すること"である。言い換えると、相手が納得できるような説明ができることである。
2つ目は、"自分が納得すること"である。自分が自信を持ってテストができることで自分の納得感が高まる。
自信が持てるテストや、説明できる（納得できる）テストはどうすればよいかを考えるために、入園の券売機を例にしたワークをおこなった。
このワークで納得できる説明をすることの難しさを体験してもらいたかった。
説得力があり、納得できる説明は、以下の3点が重要になる。（MBAクリティカルシンキングより）
さらに納得できるテストをつくるため、テストケースの構造を意識する。構造的に考えることで、繋がりが明確になったり、根拠が明確になったりする。また、全体的に考えやすくなり抜けがなくなりやすくなる。
2つ目のワークは、1つ目と同じく券売機をテーマにした。今度は用意されているテストケースに対して、目的を考えるワークである。目的－テストケースというように構造的に考えることで、つながりが明確になる。
2つ目のワークは、構造的に考えること、作ることが難しいことを体験して欲しかった。
構造的に考えることに慣れていないと、作成に時間がかかる。また、テストケースの目的を考えたり、テスト技法の知識がなかったりすると作成することが難しい。テスト目的の知識は、パターンや知見を集めることが有効で、テスト技法は勉強することで知識が得られる。
構造化することで、全体的に抜けがなく、根拠が示されることで納得につながる。構造を理解していても、使用することは難しいので、"目的-手段"の構造を作るトレーニングをおこなって鍛えてほしい。
今セッションで紹介した内容はほんの一部で、当日のスライドが公開されているので是非観ていただきたい。
140分のセッションであったが、様々な仕掛けが随所に入っており、楽しく取り組むことができた。ワークショップの場合「できること」だけを用意していることがある。そうすると、ワークショップの場でできたつもりになって、いざ業務に取り入れようと思ってもワークショップの時のようにうまくいかないことがある。今回のワークショップでは、わざと無駄なテストケースや不足しているテストケースを問題に仕込んでおり、業務で引っかかりそうな点を考慮していると感じ、驚いた。
水野氏はワークショップそのものを「納得できる」セッションにしていた。参加者はこれから "納得できること"を意識して明日からの業務に取り掛かれるのではないかと思った。
伊藤氏は主にテストの自動化の支援をするベンチャー企業をしている。テストの自動化以外に機械学習についても取り組んでいる。
近年、定型的な作業はどんどんAIに置き換えられている。テストについても、単純作業や繰り返し実行の多いテスト実行はAIにできないだろうか。そのような発想からできたのがMagic Podである。Magic PodはAI技術を使った自動テストサービスである。
Magic Podを紹介するために、デモ動画の投影と実際にデモをおこなった。
Magic Podは、画像解析をおこない、入力フォームを解析する。解析した結果をテスト対象としてGUIで操作できるように表示する。人間はその結果画面でテスト対象とテスト項目をドラッグ＆ドロップすることにより、画面上で簡単にテスト実行の準備ができる。その結果をAppiumというアプリ自動化のコードに変換されて、テスト実行をおこなっている。
テストの仕事に単純作業があることが、テスト技術者の地位や価値を下げているのではないかと思っている。単純作業がなくなることで、業務理解やユーザー理解や別のスキルをつけることができるようになるとテスト技術者の地位は向上するのではないだろうか。Magic Podが、そのような未来のお手伝いができればいいと思う。
動画のデモや実際に動かしながら説明されていたので、とても理解しやすかった。Magic Podはすでに公開しているサービスであるし、とても身近に感じた。伊藤氏は未来の話としてテスト技術者の地位の話をしていたが、話していたようなテスト技術者もすでに沢山いると思うし、Magic Podのようなサービスやツールがテスト技術者に寄りそう未来はすぐそこにあると感じた。
クロージングセッションは実行委員長の野中氏がおこなった。
本シンポジウムでは、ホットな話題が展開された。参加型のディスカッションの時間で、様々な意見交換ができたのではないだろうか。本日の情報を会社に持ち帰っていただき、さらなる議論を交わしていただきたい。
本シンポジウムは講演者をはじめ、参加者やスポンサーの協力があってこそ成り立つものである。今後もシンポジウムや勉強会を作っていきたい。特にソフトウェアテストについて困っているという若者に参加してもらいたい。
筆者は、人工知能は大手企業や研究機関が取り組んでいるもので、まだまだ関係のないものだと思っていた。しかし、人工知能はすぐ手が届くところにあり、テスト技術者は人工知能を使ってテストを実施したり、人工知能をテストしたりすることになるだろうと実感した。その際に、テスト技術者は考え方や工夫点をお互いに出し合いながら、人工知能とよりよい関係を築きあげなければならないと思った。
記：福田 里奈 （JaSST Kyushu 実行委員会）