テストシナリオのオートヒーリング（自動修復）がさらに高精度化、日本市場への期待も

テスト自動化プラットフォーム「mabl」共同創業者に聞く、生成AI採用による強化点

2024年03月12日 09時00分更新

文● 大塚昭彦／TECH.ASCII.jp

　ローコードのソフトウェアテスト自動化プラットフォーム「mabl（メイブル）」が持つ特徴的な機能のひとつが、テストシナリオの自動修復を行う「オートヒーリング」だ。昨年11月に開催された日本向け年次イベント「mabl Experience 2023 Japan」では、このオートヒーリング機能に生成AIの技術を適用して、自動修復の精度をより高めるバージョンアップが発表された（現在はオープンベータ版としてアーリーアクセスが可能）。

　2月に来日したmabl共同創業者のダン・ベルチャー氏に、生成AIを取り入れたこのバージョンアップがどのようなメリットをもたらすのかを聞いてみた。またmabl CROのアンソニー・パラディーノ氏、2月から日本のカントリーマネージャーを務める秋山将人氏に、日本市場に対する期待や今後のビジネス戦略を話してもらった。

mablはWebアプリ／モバイルアプリ／APIのE2Eテスト自動化プラットフォーム

mabl CRO（Chief Revenue Officer）のアンソニー・パラディーノ（Anthony Palladino）氏、mabl共同創業者のダン・ベルチャー（Dan Belcher）氏、mabl日本法人カントリーマネージャーの秋山将人氏

生成AI技術を追加してオートヒーリング機能をさらに高精度に

――まずはダンさん（ベルチャー氏）に、生成AIの技術を取り入れた新しいオートヒーリング機能についてうかがいます。現在はまだアーリーアクセスの段階ですね。

ベルチャー氏：そうです。ただし、メニューから新しいオートヒーリング機能を明示的に“オン”にすれば、試していただくことができます。現在、グローバルで100社以上のお客様が試しており、ほぼすべてのお客様から「自動修復の精度が高まった」とポジティブな評価をいただいています。

　これまでのオートヒーリング機能も、AIの技術によって実現されてきました。エキスパートシステムや機械学習といった技術です。生成AI技術はこれらをすべて置き換えるわけではなく、従来からのロジックに「追加」して、自動修復の精度をより高める役割を果たしています。いわば自動修復の“アドバイザー”が1人から2人に増えた、そんなイメージでしょうか。

mablのオートヒーリング機能に生成AI技術を「追加」して、自動修復の精度をさらに高める

――たとえばどんなケースで、これまでは自動修復できなかったものができるようになるのでしょうか。具体的な例を教えてください。

ベルチャー氏：これまでのオートヒーリング機能でも、大半のケースでは問題なく自動修復できていました。ただし、苦手なケースというものもありました。たとえば画面デザインやページの構造が変わったり、画面上の要素タイプの変化――ボタンがリンクに変わるとか、<div>タグで指定していたものが<span>タグに変わるたとか――そうしたケースは苦手でした。

　それから画面上の「言葉」の変化、同じような意味なのだけど違う言葉に変わる、というケースも苦手でした。たとえば、メニューの項目名を「Save（保存）」から「Submit（送信）」に書き換えたような場合ですね。

　生成AIは、そうしたタグや言葉の意味の“理解”が得意ですから、自動修復がうまくできるようになるわけです。

――なるほど。実際に精度がどの程度向上するのでしょうか。

ベルチャー氏：mablでは、生成AIを使ったオートヒーリングをベータ公開する前に、1000程度のテストシナリオで検証を行い、すべてで納得のいく結果が出てから公開しています。自動修復の信頼レベル（confidence level）を0～100の数字で表すとすると、これまでは“80”程度だったものが“100”近くまで向上しています。

　小さな変化に思えるかもしれませんが、エンタープライズ規模のお客様の場合、数百ものステップで構成されたテストシナリオが数千もあって、それをひんぱんに実行しています。こうしたテスト環境においては、自動修復のエラー率が1％改善するだけでも、その効果は非常に大きなものになります。

　さらに、テストだけでなく開発生産性の向上にもつながります。現在はCI/CDパイプラインの中に自動化されたテストが組み込まれていますから、テストのエラー率改善によって開発生産性に寄与できると考えています。

――AIや生成AIに関連して、「これからのmablではこんな機能が実現する」など、何かロードマップとして公表できることはありますか。

ベルチャー氏：そこは2つの側面から考えなければならないと思います。「mabl自身で改善できること」と「生成AIの進化によって実現すること」という2つの側面です。

　現在、LLM（大規模言語モデル）はものすごいスピードで進化しています。たとえば、プロンプトを入力してから応答までのレイテンシ（遅延時間）がより少なくなったり、一度に与えられるデータ（トークン）がより多くなったりしていますよね。それに加えてテキスト以外の情報、たとえばビジュアル情報なども生成AIが理解するようになっています。

　われわれとしても、こうしたLLMの進化をどのようにmablの機能改善に生かしていくのかを、いろいろと検討しているところです。

日本市場におけるテスト自動化ニーズの高まりに大きな期待

――続いてアンソニーさん（パラディーノ氏）にうかがいます。mablは日本市場をどう見ているのでしょうか。

パラディーノ氏：mablでは、日本は大きな成長の可能性がある、戦略的にとても重要なマーケットだととらえています。mablの製品UIやサポートにおいて、英語以外で唯一サポートしているのが日本語ですが、そのことからも、われわれが日本市場を重視していることがおわかりいただけるかと思います。

　なぜ日本市場に（テスト自動化プラットフォームの）成長の可能性があるのか、そこにはいくつかの理由があります。たとえば、適切なスキルセットを持つエンジニアの数が減少していること、アジャイル型の開発プロジェクトが増えていること、といった日本市場の変化が挙げられるでしょう。

　さらに日本市場では、（アプリケーションの）リリース頻度は高めなければならないが、同時に品質も落とせないという意識が強くあります。高い品質を保ちつつ高頻度でリリースしていく、そうした要求がどんどん増えています。

日本市場では過去1年間でユーザー数が60％増えたという

――そうなると当然、テスト自動化プラットフォームが必要になってくるわけですね。

パラディーノ氏：そうです。加えて、ユーザー操作のテストだけでなく、APIテスト、アクセシビリティテストといったものも必要になっています。

　このように、日本市場でもテストを重要視する動きがどんどん強まっていますから、mablとしても日本市場への対応を強化しています。今回、新しいカントリーマネージャーとして秋山を採用しましたが、今後も日本には継続的に投資をしていきます。

――ちなみに、日本のmablユーザーをどう見ていますか。何か特徴はありますか。

パラディーノ氏：たとえばmablの導入効果（ROI）をきちんと測っておられるなど、日本のお客様からの学びは大きいですね。われわれが新しい機能をリリースすると、日本のお客様はいち早く使って、フィードバックをしていただけます。

　ユーザーコミュニティ（mablers_JP）も日本独特ですね。実はこのような、お客様どうしが横につながるようなコミュニティは米国にはないのです。なので、われわれとしても日本のコミュニティ拡大には期待しています。

　今回来日して、いくつかのお客様も訪問させていただきましたが、mablがイノベーションをもたらし続けていることに対する評価や感謝の言葉をいただけたことは、とてもうれしい出来事でした。

――それでは秋山さんにうかがいます。まだジョインされて日も浅いですが、mablをどのように見ていますか。

秋山氏：すでに製品が日本語化されていて、トレーニングコンテンツも日本語化されている、さらにサポートも日本語で受けられると、日本市場をとても大事に見ているということは感じますね。やはり日本語化されていないと、どんなエンジニアでも使えるということにはなりませんし。

　また、こういうかたちで本社の幹部が来日し、お客様を直接訪問して、改善すべきポイントなどをヒアリングして持ち帰るという文化もmablにはあります。そうした点も、日本のお客様にはとてもミートするのではないかなと感じています。

――今後の日本市場でのビジネスの方向性、戦略はどう考えていますか。

秋山氏：現状では半数以上が上場企業のお客様ですが、そうしたお客様でもかなりアジャイル、DevOpsといったソフトウェア開発のかたちにシフトしてきています。そうした大手のお客様をサポートしつつ、もともとデジタルネイティブでmablと親和性の高いスタートアップ系のお客様もサポートしていく。どちらのお客様もサポートしていく方針です。

　ただし、エンジニアの数が足りないというのは、お客様の規模を問わず課題になっていることです。そうした人のリソースが足りないところをツールに置き換えていく、そこにmablとしてのビジネスチャンスがありますし、mablが「日本のデジタル化」を後押しできるソリューションになるとも考えています。

■関連サイト