テスト自動化ツール『Provar』が、Salesforce Spring ‘26リリースに対応

テストを停止せずに、Agentforce時代のテスト基盤をさらに高度化

Salesforce専用設計のテスト自動化ツール『Provar（プロバー）』の国内総代理店である株式会社アドックインターナショナル（本社：東京都立川市、代表取締役CEO：小林 常治／以下ADOC）は、２月中旬に予定されるSalesforceの最新メジャーバージョンアップであるSalesforce Spring ’26 リリースに同期して、「Provar Spring ’26 リリース1」の提供を開始します。

本リリースでは、Salesforce Spring ’26で行われたUI構造やコンポーネント変更に対応しており、既存のProvarテストスクリプトは追加作業なしで、継続利用できます。また、最新のSalesforce CPQパッケージ（v260.3）とも互換性を確保しています。

「SalesforceSpring ’26リリース」への互換性対応
ProvarはSalesforceプラットフォームと自律型AIエージェント「Agentforce」向けの、AI機能とメタデータ駆動による高い復元力（レジリエンス）を備える、エンドツーエンド（E2E）のテスト自動化ツールです。Salesforceの最新アップデートではLightning Web Components (LWC) の最新APIや、フロー、承認プロセスといったツールの強化により、より柔軟で高度なアプリケーション構築が可能になります。
Provar Spring ’26 リリースではセキュリティ、ガバナンス、ユーザビリティ、最新Web技術へ対応した基盤システムが強化され、自動化の信頼性と開発者の生産性がさらに向上。Salesforceが掲げる「エージェント型エンタープライズ（Agentic Enterprise）」への完全対応と、AIを活用したテスト自動化のさらなる高度化を支援します。

Salesforce社は自らProvarを採用し、主に年3回のメジャーバージョンアップに伴うUI/UX、フレームワーク、およびAPI等の更新や機能追加に関わる複雑な回帰テストを実行。Provarは、Salesforceの品質向上に深く関わり、最新リリースにも速やかに追随しています。

「Provar Spring ‘26 リリース１」について
Provar Spring ’26では、Salesforceのメジャーバージョンアップに即日対応する「Day 1サポート」により、リリースに伴うテスト停止やスクリプト書き換えなどの回帰リスクを防止。AgentforceやFlowなど、自動化要求が高度化するSalesforce環境において、Provarは“業務で安心して使える自動テスト基盤”を提供し続けます。

●主なリリースポイント
①AI機能の管理者制御を強化
AI搭載機能は、管理者専用のUI設定から有効・無効を切り替えられるようになりました。AI機能はデフォルトで無効化されており、段階的な導入やセキュリティビュー、監査要件への対応が容易になります。
②ライセンス運用ルールの明確化
実行ライセンスはCLI実行専用となり、UI利用時の誤使用を防止します。これによりCI/CD環境における自動実行をより安全かつ確実に運用できます。
③GitHub連携のセキュリティ強化
SSHキーを利用したGitHubプロジェクトのインポートに対応し、macOS/Windowsの量環境で安全なプロジェクト管理が可能になりました。
④モダンWebアプリケーション対応の強化
Reactベースのアプリケーション向けにロケーター機能を拡張し、最新UIフレームワークにおけるテスト安定性を向上させています。
⑤ページオブジェクトの階層構造サポート
タブやアコーディオンを含む複雑な画面構成に対応し、ページ操作をよりシンプルかつ安定的に自動化できるようになりました。

リリースPDF

なぜProvarは、Agentforceの「マルチターン×E2Eテスト」を実現できるのか？

SalesforceのAIエージェント「Agentforce」の実装が進むにつれ、開発・QAの現場ではある共通した課題意識が急速に広がっています。それは、Agentforceの実務システムへの展開において、「AIエージェントの品質は、もはやシングルターンでは保証できない」という懸念です。

前回のブログ「Agentforceテストにおけるシングルターン検証の課題と、マルチターン自動テストの必要性」 では、Salesforce純正のツール「Agentforce Testing Center（テストセンター）」が提供するシングルターン検証の役割と課題、またマルチターン検証の必要性と実現方法について解説しています。

実務上のAIは必ず複数ターンの対話（マルチターン）を前提とし、その会話の流れの中で業務処理を実行します。にもかかわらず、多くのテストツールは、いまだに単発の応答（シングルターン）検証、あるいはUIやAPIの断片的なテストにとどまっています。

こうした中で、Provarだけが本格的かつ連続的な対話検証を実務レベルで実現できる理由は何でしょうか。そして、なぜ多くのテストツールでは同じことが難しいのでしょうか。その答えは、Provarの「誕生したた目的」と「設計思想（アーキテクチャ）」そのものにあります。

本ブログでは、“なぜProvarだけが本格的にマルチターン検証とE2Eテストに対応できるのか”、また“他のテストツールでは困難な理由”を中心に、わかりやすく説明します。

Provarはもともと“状態遷移をまたいだE2Eテスト”のために作られた

Provarは、本来SalesforceのE2E（エンドツーエンド）の自動テストに強みを発揮するツールです。画面操作、レコード作成・更新、FlowやApexの実行、権限やプロファイルの違いによる挙動の変化など、“前の処理結果が次の処理の前提条件になる”業務プロセス全体を、1本のシナリオとして検証するための基盤として設計されました。

つまりProvarのテストは、最初から「点」ではなく「流れ」を検証する思想で作られています。この“状態遷移を前提としたE2Eモデル”こそが、マルチターン検証を可能にしている最大の理由です。

マルチターンのAI会話も本質的には同じ構造といえます。前の発話、前のユーザー入力、前の業務処理結果やレコード状態が、すべて次のターンの前提条件になります。Provarはこの「前提条件を保持したまま次のステップに進む」構造を、Salesforceテスト基盤としてすでに実装していたため、マルチターン検証に対して自然に拡張できたのです。

決定的な違いは「会話」と「業務状態」を同時に保持できること

マルチターン検証が難しい最大の理由は、“会話の文脈”と“システムの状態”を同時に保持・検証しなければならない点にあります。多くのツールは、ほとんどの場合どちらか一方しかサポートしていません。

一方、Provarでは1ターンごとに次の2つを同時に管理し、検証することができます。

●AIエージェントとの会話内容（入力・出力・変数・メモリなど）
●Salesforce側の業務状態（レコード値、FlowやApexの結果、UI状態など）

これにより、「3ターン目の会話のズレが、どの業務処理の結果から発生したのか」、「どのレコード状態が次の応答に影響を与えたのか」といった因果関係まで含めて、マルチターンの発話の挙動を立体的に検証できるのです。

一方、多くのテストツールは、会話ログだけを検証する、APIレスポンスだけを見る、あるいはUI操作だけを自動化する、といった“片方側だけのテスト”にとどまります。この設計や構造では、真の意味でのマルチターン検証には到達できません。

分岐・例外・再利用が前提の「シナリオ型テスト」という強み

もう一つ、Provarがマルチターン検証に強い決定的な理由があります。それは、テストが単なる直列スクリプトではなく、「シナリオ型」で構築できる点です。Provarのテストは、

●条件分岐
●ループ
●データ駆動テスト
●共通モジュール化による再利用

といった、業務アプリ向けテストとして不可欠な構造を最初から備えています。

そのため、例えば「顧客種別が法人ならこの会話ルート、個人なら別ルート」、「入力ミスがあった場合は再質問に戻る」、「条件変更が発生したらフローを切り替える」といった、マルチターン×分岐×例外処理を1つのテスト資産として表現できます。

これは、API単体テスト系ツールや、チャット検証専用ツールでは、構造的に極めて難しい領域です。

多くの競合ツールがマルチターンに弱い本当の理由

ここで、「他のテストツールでもマルチターン検証は実行できないのか？」という疑問をお持ちかもしれません。率直に言えば、“見た目上は複数ターンを実行できても、実務レベルの検証にはなっていない”ケースがほとんどであり、現場でAgentforceの開発・QAに関わる方々はこの点を十分に吟味するべきです。

多くのテストツールは、設計の出発点が次のいずれかに偏っています。

●APIレスポンス検証が主目的
●UI自動操作が主目的
●LLMの応答内容だけを評価するツール

これらのツールは、「会話の連続性」「業務状態の継続性」「両者の相互依存」を同時に扱う前提で作られていません。そのため、AI機能の後付けなどの手法で複数ターンを順番に実行できたとしても、

●前ターンの業務状態を次ターンに正しく引き継げない
●文脈の保持が保証されない
●外部連携やFlowの結果まで含めた検証ができない

といった構造的な制約や課題が必ず残ってしまう可能性が高いのです。

Provarのマルチターンは、そのまま「E2E業務検証」へとつながる

Provarが他と決定的に違うのは、マルチターン検証がゴールではなくテストの“通過点”になっている点です。Agentforceの業務シナリオは、会話だけで完結せず、必ずSalesforceの業務処理に接続されます。

たとえば、問い合わせに応じてCaseが作成され、Accountに紐づき、Flowが実行され、外部APIと連携し、最終的にUIやデータが更新される、といった一連の流れです。Provarでは、「マルチターンの会話→業務ロジック→データ更新→画面反映」までを、同一テストにおいて一気通貫で検証することができます。

つまりProvarのマルチターン検証は、そのまま「AIエージェントを起点としたE2E業務ワークフロー全体の信頼性保証」へと直結します。ここに、純正ツールであるテストセンターや他のテストツールにはない、圧倒的な実務レベルの価値があります。

Agentforceを回帰リスクから守る「唯一無二のテスト基盤」

Salesforce自体が年3回アップデートされ、同時にAgentforceの機能も進化していきます。その結果、モデルの進化だけでなく、基盤となるSalesforceの変更でテストが壊れてしまうリスクが生じます。

SalesforceネイティブなProvarの「メタデータ駆動」アーキテクチャの強みはメンテナンス性の高さでもあり、回帰リスクを抑えてプラットフォームの変更に強い“壊れないテスト”を維持できます。これにより、テスト担当者は「画面が変わってテストが動かない」というような本質的ではない修正作業から解放され、「進化するAIエージェントの新しい挙動をどう検証するか」という付加価値の高い作業に時間を割くことができます。

ここまでのProvarによるマルチターン検証の強みやメリットを集約すると、次の理由に行き着きます。

◎ProvarはもともとSalesforce業務のE2E状態遷移テスト基盤として設計されている
◎会話と業務状態を同時に保持・検証できる構造を持っている
◎分岐・例外・再利用を前提としたシナリオ型テストが書ける
◎マルチターンの結果を、そのままE2E業務検証へ自然に接続できる

ProvarがマルチターンとE2Eテストに本格対応できるのは、AIチャットをテスト対象として後付けしたのではなく、AIエージェントを「業務システムの一部」として最初からテストできる設計だからなのです。

まとめ：Agentforceを「業務システム」に変えるのがProvarの価値

以上のことから、Agentforceのテストにおいて基本的に必要なのは、

●マルチターンで対話が破綻しないこと
●その結果として外部連携を含む業務が正しく実行されること
●変更に対して継続的に品質を担保できること

であり、この3つを同時に満たせる現実的な選択が重要であることは間違いありません。

シングルターン検証は、AIの基礎能力を測るための重要な第一歩です。しかし、実務で使われるAIエージェントの成否を分けるのは、長い会話の中で文脈を保ち、判断し、業務を正しく実行し続けられるかどうかにあります。

その「現実の業務に耐えるかどうか」を、マルチターンとE2Eの両面から同時に検証できるのがProvarです。Provarは単なるチャットテストツールでも、単なるUIテストツールでもありません。AIエージェントを“本番で使える業務システム”に仕上げるため、唯一の現実的なテスト基盤なのです。

よくある質問（FAQ）

Q1：なぜAgentforceテストでは、シングルターン検証だけでは不十分なのですか？
A：Agentforceは実務において複数ターンの会話を前提に業務処理を実行します。そのため、単発の応答品質だけを確認しても、会話の流れの中で文脈が崩れないか、業務処理が正しく完了するかなどについては保証できません。通例、AIエージェントのテストではマルチターン全体を通した検証が不可欠です。

Q2：Agentforceテストセンターでは、マルチターン検証はできないのでしょうか？
A：テストセンターはシングルターンの応答評価やガードレール確認に優れていますが、現状では会話の流れとSalesforceの業務状態を連続的に結びつけて検証する用途には向いていません。そのため、マルチターン発話を伴う実務レベルの品質保証には、別のアプローチが必要になります。

Q3：なぜProvarはマルチターン検証を自然に実現できるのですか？
A：Provarは、もともとSalesforceの状態遷移をまたいだE2E業務プロセスを検証するために設計されたテスト基盤です。この「前の結果を前提に次へ進む」設計思想が、マルチターン会話の検証と非常に相性が良く、無理なく拡張できています。

Q4：他のテストツールでも、マルチターンテストは実行できるのでは？
A：見た目上、複数ターンを順に実行できるツールはあります。しかしUI操作系ツールなどの場合、
•会話の文脈
•Salesforceの業務状態
•外部連携やFlowの結果
を同時に保持・検証する構造を持っていません。そのため、実務レベルのマルチターン検証には限界があります。

Q5：Provarのマルチターン検証は、どこまで業務テストにつながるのですか？
A：Provarでは、マルチターンの会話 → 業務ロジック → データ更新 → 画面反映までを一連のE2Eテストとして検証できます。つまり、マルチターン検証はゴールではなく、AIエージェントを起点とした業務全体の信頼性を保証するための通過点になります。

Mysolution社がProvar Automationを活用してSalesforceテストを50％自動化した方法

Mysolutionは、豊富な実績とダイナミックなコラボレーションへの強いコミットメントを持つ人材派遣向けソフトウェアソリューションです。チームは日々新しい領域に挑戦し、革新的でカスタマイズされたソリューションを通じて、クライアントのビジネス成長を支援しています。Mysolution社の理念はパートナーシップに基づいており、チームの総合的な専門知識を活かして、業務の最適化や貴重な時間の創出、そして仕事をより楽しくするスマートなツールを生み出しています。また、明確なレポーティングと、変化し続ける法規制に確実に準拠できるよう支援に注力しており、クライアントが候補者対応をより効果的に優先できるよう支援しています。実績あるソリューションを活かしつつ常に改善を追求し、革新的なテクノロジーを取り入れてビジネスプロセスの効率化を実現しています。Mysolutionは、優れたソフトウェアの提供だけでなく、充実したサポート体制も特長です。 サービスとイノベーションへの強いこだわりにより、人材派遣業界で「効率」「コンプライアンス」「高度なサポート」を求める企業にとって、信頼できるワンストップソリューションとなっています。

会社概要

人材派遣ソフトウェアソリューションであるMysolutionは、人事・人材配置業務における煩雑な課題を解消し、ユーザーがよりスムーズに人材をアサインできるよう支援することを目的としています。しかし、自社のSalesforce環境をテストする際には状況が決して容易ではなく、ソフトウェアを安定的に運用し続けるためには、自動テストソリューションの導入が不可欠であると認識していました。

Mysolutionは、採用・派遣・人員配置といった一連のプロセスを支援する、フロントオフィス・ミドルオフィス・バックオフィス向けのクラウドベースアプリケーションを提供しています。Mysolution のフロントオフィスおよびミドルオフィス向けソフトウェアは、Salesforce プラットフォーム上で動作します。このアプリケーションは「Mysolution Recruitment（MSR）」と呼ばれています。候補者追跡システム（ATS）であり、採用担当者の日々の業務をより簡単かつ効率的に行えるよう設計されています。さらに、Mysolutionはデータドリブンな採用機能を備えており、採用プロセスのあらゆるステップを追跡・測定することが可能です。

このようなデータ集約型のプロセスでは、エラーは許されません。Mysolutionでは、Salesforce環境をエンドツーエンドでテストし、リスクを最小限に抑え、プラットフォーム上の不具合がエンドユーザーに影響を及ぼす前に検出することを目指しています。テスト自動化ソリューションを導入する以前、同社のチームは主に手動テストを実施しており、約90ページに及ぶ大規模な回帰テストを行う必要がありました。このテストスイートには反復的なタスクが多く、運用上の大きな負担となって効率に影響を及ぼし、膨大なリソースを消費していました。細心の注意を払って実施していたものの、広範囲なテストカバレッジと繰り返し作業の増加により、手動テストはますます非効率になっていきました。この課題を解決するため、Mysolutionは適切なテスト自動化ソリューションの導入を模索し始めたのでした。

手動テストの課題と解決策の模索

Mysolutionは、スクラムマスターやプロダクトオーナーを含む3つのスクラムチームのQA業務を支援できるソリューションを必要としていました。

同社の既存のSalesforce環境には、さまざまな機能やユーザー要件に対応する複数のアプリケーションやプラットフォームが統合されていました。具体的には、アプリケーション用の、Microsoft Dynamics Business Central、ユーザごとに構築された非Salesforceポータル、そして標準のSalesforce Experience Cloudポータルなどが含まれます。

さらに、次のような多様なツールも併用していました。

・SharePoint Online（ドキュメント共有）
・Outlook Online（カレンダー連携）
・CM Sign（Salesforce経由の契約書署名およびSMS送信）
・Textkernel（ドキュメント解析）
・Flowmailer（メール自動化）
・Geocode/HERE（位置情報および距離計算）
・IGBおよびBroadbean（外部サイトへの求人公開）
・OpenAI（求職者マッチング）
・Datachecker（パスポートや労働許可証などのドキュメント検証）

そのため、導入するソリューションには、これらすべてのツールおよびシステムとスムーズに統合できることが求められました。

MysolutionチームはGoogle検索を通じてProvarを見つけ、手動テストの限界と制約を認識したうえで、まずはチームの1名が1か月間Provar Automationを試用的に評価を行いました。

この期間中、チームはSelenium、Functionize、Katalon、AccelQなどの他のツールとも比較検証を実施しました。最終的にProvarを選んだ決め手となったのは、Salesforce専用に設計されたポイント＆クリック（カーソルを動かし、ボタンを押して操作する）形式の直感的なテスト作成機能でした。このユーザーフレンドリーな操作性は、Salesforceを中心とした同社の環境やワークフローと非常に相性が良く、Provar Automationの導入を後押ししました。こうして、自動化プロセスが本格的に始動しました。

自動化と効率化への道

Provar Automationをテスト戦略に組み込んで以来、Mysolutionはパイプライン全体で大きな成果と改善を実現しました。これにより、Salesforceを中心とした環境において、より効率的で一貫性のあるテスト体験を実現しています。

Provar Automationを導入する前、Mysolutionは90ページにも及ぶ手動の回帰テストに多くの時間と労力を費やしていました。現在では、回帰テストスイートの約50％、およそ70～80件のテストケースをProvar Automationが自動で処理しています。この統合により、テストプロセスの一貫性と信頼性が大幅に向上し、現在のテスト結果と過去の実行結果を容易に比較できるようになりました。依然として全体の約50～60％のテストは手動で行われていますが、Provarによる自動化テストの導入によってテスト手順は大幅に効率化・最適化されており、チームは今後さらに多くのテストを自動化することを目指しています。

ほとんどのテストケースは単一の環境で実行されていますが、MysolutionはProvar専用の大規模データ環境を戦略的に割り当て、制御された環境下でテストカバレッジを最適化することを目指しています。このアプローチにより、テスト結果の信頼性と一貫性が確保されています。

Provar Desktopの画面はカスタマイズ可能で、とても分かりやすいと思います。表示される情報量は多いものの、UIは整理されており視認性が高く直感的にが理解できます。組織のメタデータに基づいて構成されており、Provar Desktop上で組織内のすべての変数を確認できるため、クエリの作成や変数のAPI名をチェックする際にとても便利です。

MYSOLUTION、ソフトウェアテスター、DEMI LISSENBERG氏

Visual Studio上でANTを使用したバルクテストの改良は、有望な結果を示しています。現在、35件のテストを2セット実行しており、90％の合格率を目指しています。これらの最適化が完全に実現すれば、大幅な時間の節約が期待されています。

Provar Automationは、Salesforceとの高い互換性、クリック操作による直感的なテスト作成、そしてGmailとの連携によるメール検証機能など、特に優れた特長を備えています。ユーザーフレンドリーなインターフェース、柔軟なテスト作成機能、デバッグモード、そしてメタデータ駆動型のテスト構築機能が、Mysolutionチームのテスト体験の向上に大きく貢献しています。中でも、チームが最も活用している機能の一つが真のエンドツーエンド（E2E）テスト機能です。これにより、メール、コミュニティ、Web、Salesforceアプリケーションをすべて一つのテスト内で簡単に構築でき、プロセスのあらゆる段階で確実にカバーできているという安心感を得ています。

私が実感している主なメリットとしては、Provar AutomationがSalesforceおよびそのバージョンアップに高い互換性を持っていること、コーディング不要でクリック操作だけでテストケースを作成できること、そしてGmailと統合して送信メールを検証できることなどが挙げられます。

MYSOLUTION、ソフトウェアテスター、DEMI LISSENBERG氏

未来の展望

今後、MysolutionはProvar Automationを活用し、自動テストのカバレッジをさらに拡大していく予定です。チームは、自動化のカバレッジ拡大に積極的に取り組んでおり、現在Provar Automationで実現している回帰テストの約50％という成功率を上回る自動化の実現を目指しています。最終的な目標は、より多くのテスト戦略を自動化することで、時間の節約とテスト結果の一貫性の確保を同時に実現することです。

Jatin氏がANTを使ったバルク実行をサポートし始めてから、テストケースの実行は大きく前進しました。現在は、35件のテストをそれぞれ含む2つのビルドを作成し、90％の合格率を目指しています。この作業を数日以内に完了させ、70〜80件のテストケースすべてで100％達成することを目標に、細部まで仕上げていく予定です。これが実現すれば、大幅な時間短縮が見込まれます。

MYSOLUTION、ソフトウェアテスター、DEMI LISSENBERG氏

Mysolutionチームは継続的な改善に取り組んでおり、Provarのフルサービスサポートチームや、専任カスタマーサービステストアーキテクトであるJatin Sukhija氏と積極的に連携しながら、あらゆる課題の解決に努めています。この協働的なパートナーシップにより、MysolutionとProvarは、万が一課題や障害が発生した場合でも迅速に対応できる体制を整え、問題を最小限に抑えるための強固な基盤を築いています。

Jatin氏が私たちの担当になって以来、本当に大きな助けになっています。彼は常に多くのアドバイスや、私たちの状況に合わせた改善提案をしてくれます。Jatin氏は非常に優秀で、日々多大なサポートをしてくれており、心から感謝しています。

MYSOLUTION、ソフトウェアテスター、DEMI LISSENBERG氏

Provar導入による成果

●手動テストおよび90ページに及ぶ回帰テストから移行し、Visual Studioのビルドサイクル内で約80件の自動テストケースを実行。誤ったテスト失敗（false failure）は発生していません。

●現在、回帰テストの約50％をProvar Automationが処理しています。

●Provar Automationのエンドツーエンドテスト機能を活用し、メール、コミュニティ、Web、Salesforceアプリケーションを1つのテスト内で容易に構築・実行可能になりました。

大規模金融企業が実現した“メンテナンス不要なSalesforceテスト”

会社概要

100年以上前、同社は「信頼性」「誠実さ」「サービス」という3つの柱を基盤に、生命保険会社として設立されました。この堅固な土台の上に発展を重ね、現在では世界中で1,700万人を超える顧客に金融サービスを提供する、業界を代表するグローバル企業へと成長しています。現在はフォーチュン500企業にも名を連ね、幅広い金融サービスとソリューションを展開しています。

同社は、「生命保険」「年金」「退職後の資産設計サービス」「団体保障」という4つの主要事業領域に注力し、お客様のライフスタイルを支え、維持し、さらに豊かにすること、そしてより良いリタイアメントの実現を目指しています。

・設立年：1905年
・従業員数：9,000名以上
・フォーチュン500ランキング（2021年）：収益で上位180位以内、資産規模で上位25位以内
・業種：金融サービス
・Salesforce組織数：5組織（最大の組織では100プロファイル、1,300ユーザー、46の固有ユーザー／組織接続設定）
・Salesforceユーザー数：2,000名（うち最大の組織に1,300名）
・QAチーム：Provarライセンス5本を保有
・Provarテスト数：合計4,000件（最大の組織で1,600件）
・Provarでテストを実施している環境：QAサンドボックス、開発サンドボックス、スモークテスト環境

Salesforceの重要性

多くのフォーチュン500企業と同様に、同社もSalesforceを事業成功の重要な基盤として活用しています。各組織は事業部門ごとの業務特性に合わせてカスタマイズされており、最大の組織では、社内外の販売担当者がアドバイザー向け保険商品を販売する際の取引管理を支援することを主な目的としています。また、顧客のリタイアメント（退職後の資産設計）情報を分析し、プランスポンサーに助言を行うリタイアメントコンサルタント向けのSalesforce組織も運用しています。さらに、法的保護に関する要件を扱う「団体保障（グループプロテクション）」専用のSalesforceインスタンスも活用しています。

私たちのSalesforce組織を常に期待どおりに稼働させることは、当社の成功だけでなく、世界中のお客様の財務的な安心にも直結する、極めて重要なことです。私たちはそれを決して軽んじてはいません。

品質保証アナリスト

当初は営業業務の支援を目的として設計されたこのプラットフォームですが、現在では企業全体のさまざまな活動を支えるまでに拡張されています。
同社ではSalesforceを活用し、顧客体験の最適化をはじめ、カスタマーサービス、マーケティングオートメーション、分析業務など、幅広い業務プロセスを支援しています。

現在、同社では2,000名を超えるチームメンバーがSalesforceを日々活用し、業務の効率化、顧客からの問い合わせ対応、見積情報の記録、商談機会の追跡などに取り組んでいます。これらの活動は、財務、営業、マーケティング、オペレーションといった多岐にわたる部門に広がっています。

機能不全がもたらすリスク

同社は、Salesforceの優れた使いやすさ（アプリケーションの容易なカスタマイズや社内業務の効率化など）によって多くの利点を享受していましたが、2017年の時点で、これほど複雑なアプリケーションを手動テストだけで十分に検証することは現実的でないと認識しました。

新しいリリースに不具合を抱えたまま本番環境へデプロイしてしまうリスクは、同社に深刻な影響を及ぼしかねません。特に、業務プロセスの不具合が契約に基づく金融サービスの提供に影響を与えた場合、法的リスクが発生する可能性があります。さらに、ソフトウェアの欠陥は従業員の生産性低下、営業サイクルの長期化、顧客離脱の増加といった問題も引き起こすおそれがあります。

また、カスタマイズ機能や社内開発アプリケーションのテストに加えて、Salesforceでは年3回の大型リリースが行われるため、それらが既存機能に影響を及ぼす可能性もありました。世界で1,700万人以上の顧客を支える同社にとって、こうしたリスクを軽減し、Salesforceへの投資を確実に守るための、より効果的な手段が必要とされていました。

手動テストにおける課題

2017年までは、QAチームは不具合の検出と修正をすべて手動テストに頼っていました。しかし、同社の業務の複雑さやSalesforceの高度な活用状況を踏まえると、手動テストだけではリスクが大きすぎることが明らかになっていました。

課題1：膨大な業務範囲

グローバル規模の事業を支えるため、同社では5つのSalesforce組織（org）を運用しており、2,000名を超える従業員がそれぞれの組織を利用しています。さらに複雑さを増しているのが、ユーザーが複数のブラウザ環境でSalesforceを使用している点や、権限レベルが多岐にわたる点です。たとえば、最大のSalesforce組織では100種類のプロファイル、1,300名のユーザー、46のSalesforce接続設定が存在します。加えて、QAチームは定期的に3つの環境（QAサンドボックス、開発サンドボックス、スモークチェック用サンドボックス）でテストを実施する必要がありました。

では、このことがテストの複雑さにどのような影響を及ぼすのでしょうか。
仮に100の新機能をテストする必要がある場合、組み合わせの総数は容易に数万件に達し、たとえ大規模なQAチームであっても現実的に対応することは困難です。テストすべきシナリオの組み合わせ数を考慮すると、少人数のチームだけで手動テストにより十分なカバレッジを確保することは、現実的に不可能でした。

手動テストに頼っていた頃は、影響を受けるすべてのプロファイルをテストすることができませんでした。たとえば、ある変更が10のプロファイルに影響する場合でも、全てを網羅してテストするだけの時間的余裕がなかったんです。そのため、最も重要なものを優先し、リスクの高い部分だけをテストせざるを得ませんでした。
しかしProvarを導入してからは、一度テストケースを作成すれば、それを複製して変数を調整するだけで、すべてのパターンを効率的にテストできるようになりました。

品質保証アナリスト

課題2：把握しきれない依存関係

Salesforceの大型リリースによって導入される変更のテストに加え、同社では5つのSalesforce組織それぞれに対して、新しいカスタム機能や独自の拡張機能を頻繁に追加していました。

このことが、QAチームにさらなる複雑さと負荷をもたらしていました。というのも、開発チームは各組織ごとに非常にタイトなリリーススケジュールを設定していたためです。QAチームは本番リリース前にすべてのカスタマイズを十分にテストする必要がある一方で、リリースの遅延を防ぐためには変化のスピードにも対応し続けなければなりませんでした。

課題3：高度にカスタマイズされたSalesforce組織

Salesforceの大きな利点のひとつは、アプリケーションを容易に変更・調整できる柔軟性にあります。しかし、その利便性は同時にリスクも伴います。特に、組織内のすべての依存関係を十分に考慮せずにワークフローを変更すると、意図せず他のワークフローへ影響を及ぼしてしまう可能性があります。

手動テストでは、担当者が「変更がありそうだ」と考える部分しか検証できず、組織全体に及ぶ潜在的な影響範囲を網羅することはできません。

課題4：設計の複雑さ

AuraやLightning Web Components（LWC）といった最新技術の急速な採用に加え、ダイナミックフォームやアコーディオンなどの複雑なコンポーネントが増えたことで、アプリケーション設計はますます複雑化していました。その結果、手動テストだけに依存する体制では、これら高度な機能のテスト範囲を正確にカバーすることが難しくなっていました。

課題5：時間を要する手動作業

チームの規模が比較的小さく、テストに割ける時間にも限りがあったため、同社が実施できる手動テストは月あたり約400件にとどまっていました。

最初の試み

組織内でSalesforceの重要性が高まる一方、手動テストには限界があることから、チームは一時的にSeleniumによるテスト自動化へ移行しました。しかし、その成果は限定的なものでした。当初は約400件のテストを構築しましたが、チームによる社内の変更や、Salesforce側での外部的な更新によって既存のリグレッションテストが頻繁に壊れ、そのたびに膨大なメンテナンス作業が発生していました。

数か月をかけてSeleniumテストのライブラリを整備したものの、大型リリースのたびに既存テストの修正に数週間を費やさざるを得ませんでした。

手動テストからSeleniumに切り替えた後、すぐにそれが持続可能な方法ではないと気づきました。
最初の大規模なSalesforceリリースの後には、テストのメンテナンスに非常に多くの時間を割かざるを得ず、すぐに別の方法を検討する必要があると悟ったのです。しかしProvarでは、リリースを重ねてもテストがそのまま動作し続けます。

品質保証リーダー

また、Seleniumの使用にはコーディングスキルが求められるため、チーム全体で必要なテストカバレッジを確保することも難しくなっていました。

こうしたメンテナンス負荷の大きさや、Seleniumを使うためにチーム全員の開発スキルを拡充する必要があることを踏まえ、チームはこのままでは目標とするテストカバレッジを達成できないと判断しました。

Provar Automationへの切り替え

Provar Automationは、最初から際立っていました。
クリック操作で簡単にテストを作成できる仕組みにより、開発経験のないメンバーでも、エンジニアでも同じようにテストを構築できます。経験レベルに関わらず、チームの誰もがテストケースを作成できる——それこそが、私たちがProvar Automationを選んだ最大の理由です。

品質保証リーダー

Seleniumの短期間の導入を経て、同社は新たな解決策を模索し、テスト自動化ソリューションの調査とベンダー評価プロセスを開始しました。DreamforceでProvarのデモを見た後、同社はProvarのプリセールスチームと連携し、自社のニーズに合わせた詳細な評価を実施しました。

複数の候補を検討した結果、チームは最終的に Provar Automation を採用することを決定。その主な理由は2つありました。1つ目は、Provar AutomationがSalesforceの基盤データモデルと連携して動作できるため、テストメンテナンスを大幅に削減できること。2つ目は、ローコードソリューションとしての使いやすさです。

「壊れない」Salesforceテストで再作業の連鎖を断ち切る

Provar Automationを選んだ理由のひとつは、テストが将来を見据えて設計されている点です。
Salesforceの基盤データモデルと連携して動作するため、Seleniumのような他のツールで必要となる膨大なテストメンテナンスから解放されました。さらに、テストの再利用性が高く、変更にも強くなりました。

品質保証リーダー

Salesforceでテスト自動化を行う際、QAチームが直面する最も一般的な課題のひとつが「テストの破損」です。これはさまざまな要因で発生しますが、その中でも特に頻繁に起きるのがSalesforceの新バージョンリリースによる影響です。リリースでは、ユーザーインターフェースのフレームワーク（Visualforce、Aura、Lightning Web Componentsなど）や、HTML・JavaScript・CSSの変更を伴うレンダリング処理の更新など、多岐にわたる改修が行われます。さらに、レイアウトの更新やAPIバージョンの変更が含まれる場合もあります。

こうした変更は、ユーザー体験やプラットフォームのパフォーマンス、利便性を高めるために設計されていますが、Seleniumのような静的なテストフレームワークを利用しているQAチームにとっては課題となります。なぜなら、ハードコードされたテスト（すべての要素の動作を厳密に定義したテスト）は、UIや機能が変化した新しい環境で実行すると動作しなくなるためです。その結果、チームは自動化の拡大ではなく、既存テストの修正に何週間も費やす「再作業のスパイラル」に陥りがちでした。

一方で、Provar Automation のテストはSalesforceの基盤データモデルと連携して動作するよう設計されているため、はるかに堅牢です。Provar Automationの Test Builder を使えば、フィールドやボタンをクリックするだけで、テストに必要なすべての情報が自動的に追加されます。

Provar Automationが他のツールと異なるのは、テストを後日実行した際に、作成当時のSalesforce環境を記憶し、その後の変更を理解して自動的に適応できる点です。

その結果として得られるのは――リリースを重ねても動き続けるテスト です。

ローコードによるテスト自動化

ベンダーを評価する中で、同社が特に注目した機能のひとつが Provar AutomationのTest Builder でした。
これは、テスター自身が直感的にテストケースを作成できるソリューションです。Test Builderを使えば、自然でシンプルな操作でテストを構築しながら、その場で作成・デバッグを進めることができます。リアルタイムで完全に設定済みのテストステップを生成する直感的でわかりやすい設計により、コーディング経験のないテスターでも、わずか数分でテストケースの作成を始めることが可能です。

Provar Automationでのスクリプト作成は非常にスピーディです。シンプルなポイント＆クリックの操作で直感的に進められます。

品質保証アナリスト

Provar Automationの活用方法

Provarの Jumpstart Implementationトレーニング を修了した後、チームはこれまでのSeleniumで構築した400件を大きく上回る、4,000件のテストライブラリ を構築することに成功しました。これらのテストは主に機能回帰テストとヘルスチェックに焦点を当てており、わずか10名ほどのチームが2年足らずでこの成果を達成したことは特筆に値します。

Provar Automationの導入により、チームはスプリント内自動化（in-sprint automation） を実現。さらにProvar Automationを GitLab と連携させることで、バグの迅速な検出・修正が可能になり、5つのSalesforce組織すべてでリリーススケジュールの加速を実現しました。各スプリントでは通常5〜10件のストーリーを対象に、自動化作業を計画的に進めています。

アジャイル開発手法と組み合わせることで、Provar Automationは同社の高度にカスタマイズされたSalesforce環境におけるソフトウェア開発ライフサイクルの円滑化に大きく貢献しています。これにより、より高い信頼性をもって、欠陥の少ないリリースを継続的に実現できるようになりました。

Provar Automationで特に役立っている機能ですか？ すべてです。どれも有用ですね。たとえば、Excelからフィールドを取り込んでピックリストの値を検証するのがとても簡単になりました。さらに、さまざまなSQLサーバーや他のWebサービスとも接続できるようになり、OAuth接続を使って一部のセキュリティ要件にも対応しています。

品質保証アナリスト

導入後の成果

Provar Automation への切り替えにより、同社はSalesforceの新たなカスタマイズをこれまで以上に迅速にリリースできる体制を確立しました。その結果、エンドユーザーおよび顧客満足度の向上、リスクの軽減、そして各リリースの品質向上を継続的に実現しています。

現在、同社はユースケース全体の約90％をカバーできており、リリースを重ねるごとにコードカバレッジの範囲をさらに拡大しています。

またQAチームは、テストの再利用可能なコンポーネントを活用することで、テストプロセスの複雑さを大幅に簡素化しました。変数を容易に変更して複数の環境でテストを実行できるほか、2,000名を超えるユーザーに付与されたさまざまな権限レベルも正確に再現できるようになりました。

さらに大きな成果として、大幅な工数削減を実現。これにより、スプリント内自動化の導入や回帰テストライブラリの拡充が可能となりました。以前は手動テストのみで約400件のユースケースを検証するのに1か月を要していましたが、現在では4,000件のテストを短期間で実行できるようになっています。

Provar Automationは、当社のSalesforce基盤を守るうえで最も確かな投資のひとつです。そしてそれは同時に、お客様への投資でもあります。当社の文化は“世界水準のカスタマーサービス”を提供することを中心に築かれており、その実現のためには、24時間365日途切れることなく稼働するシステムが欠かせません。

品質保証リーダー

【ブログ】Agentforceテストにおけるシングルターン検証の課題と、マルチターン自動テストの必要性　を公開

Agentforceテストにおけるシングルターン検証の課題と、マルチターン自動テストの必要性

SalesforceのAIエージェント「Agentforce」は、単なるチャットボットの枠を超え、業務を実行する“実務エージェント”として活用され始めており、こうしたAIエージェントの品質を支えるのが自動テスト環境です。Salesforceは純正ツールとして「Agentforce Testing Center（テストセンター）」を提供し、AIの品質検証を可能にしています。一方、ProvarはSalesforce専用設計のAIテスト自動化ツールとして、Agentforceの検証にも対応しています。

両者の最も基本的な相違は、テストセンターが「シングルターン検証」を中心とするのに対し、Provarは「マルチターン検証」に本格対応している点にあります。本ブログでは、主にこの「シングルターン」と「マルチターン」の違いに焦点を当てながら、テストセンターの特性と課題、そしてSalesforceネイティブなテスト自動化ソリューションの優位性を分かりやすく解説します。

テストセンターが得意とする「シングルターン検証」とは

Agentforceテストセンターは、1つの入力に対するAIの1回の応答を検証する“シングルターンテスト”を役割とするツールです。たとえば、

●この質問に対して正しい回答が返るか
●プロンプト通りの文言を生成しているか
●NGワードや不適切な表現を含んでいないか

というように、AI単体の応答品質をピンポイントで確認する用途に非常に適しています。特に、プロンプト設計の初期段階や、回答精度をチューニングしているフェーズでは、シングルターン検証は欠かせません。このようにテストセンターは主に、「このAIは正しく受け答えできるのか」「想定どおりの回答を返せるのか」
など、AIそのものの品質を確認するための“単体検証ツール”としての価値に重きを置いています。

現在のテストセンターは“最低限の単体検証の第一歩”であり、完全な会話品質保証を目的としたものではないという位置づけです。Agentforceの本命は、複数ターンにわたって対話しながら業務を完結させる実務エージェントであり、テスト環境はまだ発展途上にある、というのがSalesforce自身の認識だと言えます。

現場の実感は「シングルターンでは運用に耐えない」

実際にAgentforceの導入やPoCを進めている企業のエンジニアやパートナー開発企業からは、より率直な評価が聞こえてきます。

●「実際の業務では5〜10ターン以上の会話が普通」
●「1問1答だけでは合格基準を決められない」
●「会話の流れや文脈変化がまったく検証できない」といった声が代表例です。

特に問題視されているのが、文脈の保持、途中修正、例外処理といった実務で必ず発生する”揺らぎ”をテストできない点です。単発の正解率が高くても、数ターン後に意図を取り違えれば、それは業務システムとして致命的な欠陥になりかねません。しかしシングルターン検証では、こうしたトラブルの芽を事前に摘むことが難しいのです。

実務のAIエージェントは「必ずマルチターンで動く」

このように、実際にAgentforceを業務に組み込む際には、会話は必ず複数のターンにまたがります。たとえば顧客対応では、

「契約内容の確認がしたい」
「ご本人確認のためにお名前を教えてください」
「〇〇です」
「ありがとうございます。ご契約プランはAプランですね」
「はい、そうです」
「更新日は来月〇日です」

というように、前の会話内容を前提としたマルチターンのやり取りが連続します。ここで重要なのは、AIが単発で正しい回答を返せるかどうかではなく、「前の文脈を正しく理解し、次の応答に反映できているか」という点です。しかしテストセンターのシングルターン検証では、文脈の引き継ぎや複数の質問にまたがる意図の変化、途中で発生する条件分岐といった、マルチターン特有の挙動をまとめて検証することはできません。

実務のタスクは、複数ステップで進行し、途中で利用者の意図が変わり、誤解と修正のやり取りを挟みながら進んでいきます。こうした“流れていく文脈”の中で正しく振る舞えるかどうかこそがAIエージェントの真価であり、シングルターン検証はあくまで基礎体力の確認にすぎないのです。

シングルターン検証では見えない不具合が、本番で顕在化する

シングルターン検証はAIの基礎体力を確認する上で非常に有効ですが、それだけで本番運用に進むと、次のような問題が後から表面化します。

●最初の質問には正しく答えるが、2問目で意図を取り違える
●ユーザーの追加情報を正しく引き継げない
●会話の途中でまったく関係のない回答を返してしまう
●本来進むべきフローとは別の分岐に入ってしまう

これらはすべて、「1問1答」では発見できない、マルチターン特有の不具合です。実ビジネスにおけるAIエージェントの信頼性は、単発の正解率ではなく、会話全体を通した一貫性と安定性によって決まります。

Provarは「マルチターンの会話そのもの」をテストできる

Provarの最大の特長の一つは、このマルチターンの会話を、そのままテストシナリオとして再現・自動化できる点にあります。Provarでは、ユーザーの最初の入力 → AIの応答 → それに対する追加質問 → 条件に応じた分岐 → 最終的な回答といった一連の対話の流れを1つのテストケースとして定義できます。これにより、

●文脈が正しく維持されているか
●途中で意図解釈がブレていないか（揺らぎの発生）
●条件分岐が想定どおりに動作しているか

といった、実際の会話と同じ流れで検証することが可能になります。この点が、テストセンターではカバーできない、Provarの最も本質的な優位点です。

マルチターン検証ができて初めて“業務で使えるAI”になる

前述のとおり、AIエージェントは単に「答えられる」だけでは不十分です。業務システムとして使う以上、以下のようなケースにおいて、“対話制御の品質”こそが実務における適性を左右します。

●会話の流れに沿って正しい処理に誘導できるか
●誤った入力に対して適切に再質問できるか
●途中で条件が変わっても、正しいルートに復帰できるか

このように、Provarのマルチターン検証は、この“対話制御”を丸ごとテストできる点に真の価値があります。

現在ユーザーが抱える懸念の一つは、シングルターン検証では本番で起こりうるトラブルを十分に防ぎきれないという点です。途中で文脈が崩れたり、最終回答だけは正しくても、過程の誘導が誤っていたりするケースは珍しくありません。さらに、プロンプトを少し変更しただけでも影響範囲を追跡できず、回帰テストが事実上不可能になるという問題も生じます。その結果、テストセンターの結果と実運用の挙動に乖離が生まれ、現場の不安と手戻りだけが増えていきます。

Provarは“マルチターンの延長線上”にあるE2Eテストを実行

ProvarはもともとSalesforceのエンドツーエンド（E2E）テストに強みを持つツールであるため、マルチターンの会話の結果として実行される業務処理とデータ更新まで含めて、システム全体を一気通貫で検証することができます。

ここで初めて、次のポイントが同時に保証されます。

●「会話が正しいだけでなく、業務処理も正しく動いている」
●「条件分岐の結果として、正しいレコード更新が行われている」
●「外部連携を含めた業務フロー全体が破綻していない」

実際には、マルチターンの会話の結果として、Salesforceのデータが更新される　→　FlowやApexが動作する　→　Caseやレコードが作成される、という一連の流れが発生します。Provarは、この「マルチターンの会話の“結果として発生する“外部連携を含む一連の業務処理」まで含めて検証できるため、最終的に高度なE2Eテストの自動化と堅牢な信頼性の保証へとつながります。

このようにProvarのマルチターン検証は、そのままAgentforceを起点としたE2E業務ワークフロー全体の信頼性保証につながるという点が、純正ツールのテストセンターとの決定的な違いです。

もちろん、テストセンターとProvarの関係は「用途の違い」であって「優劣」ではありません。Provarは、AIエージェントテストにおいて対話が実務として正しく成立しているかを保証するためのツールとして、マルチターン検証から本番運用前の品質検証、E2Eテストおよび回帰テストの自動化などにおいて、もはや不可欠な存在といえます。

まとめ：AIエージェント成功の基本は「マルチターン検証」の可否

Agentforceテストセンターは、AI単体のシングルターン検証という点で非常に有用です。しかし、実務で使われるAIエージェントの価値は、複数ターンにわたる会話の一貫性と安定性によって決まります。

その本質的な部分を検証できるのが、Provarのマルチターン対応テスト環境です。Provarは結果としてE2E全体の業務レベルの品質検証まで可能ですが、その根幹にあるのは、Salesforceネイティブなメタデータ駆動のアーキテクチャに加え、「会話の流れそのものを正しく検証できる」というマルチターン対応力にほかなりません。

AIエージェントを“賢いデモ”で終わらせるのか、“現場で安心して使える実務システム”に昇華できるのか。
その分岐点となるのが、シングルターン検証にとどまるのか、マルチターン検証まで実行できるのかという違いであり、その現実的な答えを持っているのがProvarなのです。

【ブログ】Agentforce時代のテストをどう乗り越えるか― Provarが担う新たな役割　を公開

Agentforce時代のテストをどう乗り越えるか― Provarが担う新たな役割

2025年はAIエージェント元年と呼ばれ、SalesforceのAIエージェント「Agentforce」が企業のビジネス環境に次々と導入され始めようとています。従来のCRMを超え、AIが営業・サポート・業務自動化の“主体”として振る舞う時代に、開発・QA（品質保証）チームのテスト体制にも新たな変革が求められています。

しかし、多くの現場ではまだ「AIエージェントをどうテストすればいいのか」という手探りの状態が予想されています。本ブログでは、Agentforce導入時に開発・QAチームの方々が直面する課題を整理し、それをどのようにProvarが支援できるかを、わかりやすく解説します。

Agentforceがもたらす新しいテスト課題

Agentforceは、Salesforce上のデータやメタデータを理解しながら、ユーザーからの自然言語入力に応じて業務プロセスを自律的に実行できるAIエージェントです。この特性は非常に強力ですが、そのテストには従来のUI操作ベースの自動化とはまったく異なる課題が生まれます。

1.AI応答の“非決定性”

同じ質問でも、Agentforceは学習状況やデータの更新によって異なる回答を返す可能性があります。「正しい出力」を単純な文字列比較で判定できないため、従来型のスクリプトテストではカバーしきれません。

2.プロンプトとメタデータの依存関係

Agentforceのふるまいは、背後にあるSalesforceメタデータ（オブジェクト構成や権限設定など）に密接に依存しています。このため、単なるUIテストでは不十分で、「メタデータの整合性」や「プロンプト設計の品質」なども検証対象に含める必要があります。

3.環境変化への脆弱性

AIが連携する外部APIやフロー、Einsteinモデルなどは頻繁に更新されます。これらの変更がエージェントの動作に影響を与えるケースが多く、継続的な回帰テスト体制が不可欠です。
これらの課題に直面する開発・QAチームにとって、「どの段階から何をどうテストすればよいのか」を整理することが最初の壁となります。

Agentforce Testing CenterとProvarの役割

Salesforceは、AIエージェントの品質管理を支援するためにAgentforce Testing Center（ATC）を提供しています。Testing Centerは、Agentforceの動作や応答品質を検証する専用環境であり、特にAIプロンプトの評価やエージェントロジックのデバッグに強みを持ちます。

しかし、Testing Centerがカバーする範囲は現状AIそのものの「学習・回答ロジック」にフォーカスしており、業務アプリ全体のE2Eテストやメタデータ検証、統合テストまでは担っていません。ここで登場するのがProvarです。

Provarがカバーするテスト領域

Provarは、Salesforce専用に設計された「メタデータ駆動型」の自動テストツールです。一般的なSelenium系ツールのようにUI要素をDOMで識別するのではなく、Salesforceの内部構造を理解してテストを構築できる点が大きな特徴です。

Salesforceのテストだけでなく、Agentforce導入時も、Provarは以下のような4つのテスト段階で中心的な役割を果たします。

① 初期段階 ― エージェント開発と環境構築

Agentforceの設定や権限、オブジェクト構成の変更が頻繁に発生する初期段階では、Provarがメタデータの自動取得と整合性検証を担います。この時点でProvarを導入しておくと、UI・フロー・オブジェクトが追加されても自動的にテスト資産が更新され、環境変更に強い基盤を築けます。

また、ProvarはSalesforce環境に直接アクセスしてデータシード（テストデータ生成）を自動化できるため、AIテストの前提となる状態を即座に再現可能です。

② 開発段階 ― プロンプト検証とE2Eテスト

Agentforceが業務アプリを呼び出す際、その経路にはUI操作、API連携、承認フローなどさまざまなSalesforce機能が関与します。Provarはこれらの一連のプロセスを統合的に自動テストできます。

さらに、Provarの新版からサポートされたAI支援機能（Provar AI）を使えば、自然言語でテストシナリオを生成したり、想定プロンプトに対するテストケースを自動生成することも可能です。たとえば「顧客情報を更新するエージェントの動作を検証したい」と入力すれば、必要なテストフローが自動提案されます。

③ 検証段階 ― 回帰・非機能テストへの対応

Agentforce導入後のリリース前には、頻繁なメタデータ変更やAPI更新に対して回帰テストの自動実行が求められます。Provarのスケジュール実行機能やCI/CD連携（Jenkins、GitHub Actionsなど）を用いることで、エージェントの応答品質やフロー実行結果の変化を継続的に監視できます。また、Provarは応答検証のしきい値設定など、AIテスト特有の“曖昧な判定”にも柔軟に対応します。

④ 運用段階 ― モニタリングと継続的な改善

運用フェーズでは、AgentforceのAI学習や業務プロセスの拡張に伴い、テストも進化し続ける必要があります。Provarは、運用環境で発生した不具合やエラーケースを自動的に収集し、テストシナリオにフィードバックする機能を備えています。これにより、現場でのインシデントを次回のテスト資産に自動的に反映でき、AIエージェントの“学習サイクル”とQAサイクルを融合させることができます。

Agentforce Testing Centerとの使い分け

ここまでの流れを見ると、「Provarだけで全部できるのでは？」と思われるかもしれません。実際、ProvarはAgentforceの初期段階から運用段階までを包括的に支援できます。ただし、Testing Centerを初期段階で使用したり、実装・運用時にはProvarを組み合わせるなど、次のように役割を分けるのも有効です。

Agentforce Testing Center：AIエージェントの“会話ロジック”や“回答の妥当性”を検証する。
Provar：Salesforce全体にわたる一連の業務テスト、回帰テスト、自動データ生成、外部連携を含むE2E品質管理を担当

つまり、ざっくりと“Agentforceの中のAI”を評価するのがTesting Center、また“外側のビジネスプロセス全体”を保証するのがProvar、という補完または協調関係にあります。このTesting CenterとProvarによる実践的な分業戦略に関しては、別のブログ記事でしっかりと解説する予定です。

まとめ ― AIエージェントの品質保証でProvarがもたらす3つの価値

Agentforceの登場は、Salesforceの世界に“AIが働く仲間になる”という新たな価値観をもたらしました。その一方で、品質保証のあり方はこれまで以上に高度化しています。

Agentforceを含むAI時代のテストにおいて、Provarが特に高く評価されているのは次の3点です。

１．Salesforceメタデータとの親和性：オブジェクト構造や権限を理解したテストが可能で、環境変更に強い。
２．AI駆動のテスト自動生成：テスト設計の属人性を排除し、開発とQAの協働を促進する。
３．E2Eテストと継続的な品質保証の統合：複雑なビジネスシナリオを検証するE2Eテストと回帰テスト、API連携、モニタリングを一貫して自動化できる。

これらの特性は、Agentforceだけでなく、Einstein、Flow、Slack連携など、Salesforce全体の“AI拡張環境”にも共通して有効です。

AIエージェント時代のテストは単なる検証作業ではなく、AIとともに進化する継続的な品質サイクルへ。Provarはその中核を担う存在として、Agentforce導入を成功に導く重要なパートナーとなるでしょう。

AIエージェント時代のSalesforceテストとは？ Provar AIが実現する、持続可能なテストプロセス

【はじめに】Salesforceの進化とQAエンジニアリングの最前線

Salesforceは、もはや単なるSFA/CRMシステムではなく、LWC（Lightning Web Component）、Flow、Apexといった先進的な技術を基盤とする、エンタープライズDXの中核プラットフォームです。この革新のスピードは目覚ましく、年3回のバージョンアップとアジャイル開発の普及は、企業に高いリリース頻度を要求しています。

しかし、このスピード感は、UI/UX、フレームワーク、APIなどの変更が既存機能に影響を与えないことを保証するリグレッション（回帰）リスクへの対策をはじめ品質保証（QA）プロセスに未曾有のプレッシャーを与えています。従来の「人手中心のテスト」や、汎用的なテストツールに依存した手法では、以下の技術的課題に直面し、持続可能性が限界に達しています。

●テストスクリプトの脆弱性（Fragility）と保守工数の肥大化
●整合性のとれたテストデータ準備の困難さ
●複雑なE2EシナリオにおけるAPI/UI連携の検証難易度

さらに、近年SalesforceのAgentforceやEinstein Copilotなど、LLM（大規模言語モデル）を組み込んだAIエージェント機能が中核業務を担い始めています。AIエージェントの振る舞いは入力や文脈に応じて動的に変化するため、従来の静的なテストスクリプトや人手による網羅的な検証では、その品質を担保することが極めて困難になっています。

本記事では、この課題に対し、テストプロセスそのものにAIの力を統合する技術的有効性を解説します。そして、Salesforce/Agentforceに最適化されたテスト自動化プラットフォームの最新版「Provar Automation V3」が、AI機能（Provar AIと呼ぶ）をどのように組み込み、次世代のテスト資産管理を実現するのかを、エンジニアリングの視点から深掘りします。

1.Salesforceテストが抱える技術的な課題

Salesforce特有のアーキテクチャは、一般的なWebアプリケーションのテストとは異なる、固有の技術的な課題をQAエンジニアにもたらします。

1.1. テストスクリプトの脆弱性とメタデータ依存性

従来のUI自動化ツール（Seleniumなど）は、HTMLの要素パス（XPath、CSSセレクタ）に依存します。SalesforceのUIはLWCによって動的にレンダリングされるため、ベンダーによるアップデートや開発者によるレイアウト変更のたびに、これらのロケーターは容易に変化し、テストスクリプトは「壊れやすく」なります。

課題： 壊れたスクリプトのデバッグと修正（テストメンテナンス）が、新しいテスト設計の工数を上回る「保守負債」となり、自動化のROIを低下させます。

Provar Automationは、UI要素をXPathではなく、SalesforceのメタデータID（例：Account.Nameフィールド）として認識する「メタデータ駆動型アーキテクチャ」を採用しています。これにより、UIの見た目が変わっても、基盤となるメタデータが変わらなければスクリプトは自動的に自己修復（Self-Healing）されます。

1.2. 参照整合性を伴うテストデータ準備の負担

Salesforceはオブジェクト間のリレーションシップ（Lookup、Master-Detail）によって成り立っています。E2Eテストを成功させるためには、これらのリレーションシップが正しく結びついた「参照整合性」のあるデータセットが必要です。

課題： 「取引先（Parent）」を作成し、そのIDを変数に保持し、「商談（Child）」作成時にそのIDを参照させるといった、複雑なデータ依存関係の準備と、テスト後のデータクリーンアップに、多大な工数がかかります。特に並行テスト（Parallel Testing）では、データ競合のリスクが高まります。また入力規則（Validation Rules）やApexトリガーによって制御される複雑なデータ制約を網羅するためのデータパターン設計が属人化しがちです。

1.3. E2E統合テストにおけるカバレッジギャップ

Salesforceの業務プロセスは、フロントエンドのUI操作、バックエンドのFlow/Apex実行、そして外部API連携が組み合わさった複雑な構造をしています。

課題： ユーザー操作（UI）後のデータ更新（DB/API）を検証するために、複数のツールを使い分ける必要があり、単一のE2Eレポートとして統合するのが難しい。また、異なるプロファイル（例：営業担当、管理者）のアクセス権限を網羅的に検証するための、認証情報の切り替えと並行実行の管理が煩雑です。

2.なぜ今、テストにAIが必要なのか？：テストエンジニアリングの変革

AIは、上記の構造的な課題を、従来のルールベースのアプローチでは到達できなかったレベルで解決します。AIは単なる自動化ツールではなく、テストの「設計」と「維持」のプロセスそのものを変革する、テストの知性化を担います。

作業工数の根本的な削減： AIは、Salesforceのオブジェクトスキーマや既存のテストパターンを解析し、最適なテストケース（例：境界値、NULL許容、リレーション検証）とデータを自動で提案・生成します。これにより、人が数日かけていた「網羅的なテストケースの設計」を数分で終えることができます。

網羅性の客観的向上： 人間が見落としがちなエッジケースや、複雑な入力規則の組み合わせも、AIはメタデータを基に論理的に網羅します。これにより、テストカバレッジが客観的かつ定量的に向上し、品質保証の信頼性が高まります。

持続可能な再現性の確保： AIによって生成されるテスト資産は、属人性を排除した一貫性のある構造を持ちます。これは監査要件の遵守や、開発チーム内での品質基準統一にも有効です。

AIを活用することで、テストエンジニアは「スクリプトの修正」や「データの作成」といった低付加価値の作業から解放され、「複雑な業務要件の分析」や「新しい技術領域への対応」といった、真に価値の高いエンジニアリング活動に集中できるようになるのです。

3.Provar Automationが提供するAI機能

Provar Automation V3では、AI（Provar AI）を中核機能として統合し、テストライフサイクル全体を支援します。

3.1. テストシナリオ自動生成：メタデータに基づく網羅性の確保

Provar AIは、Salesforceの特定画面やオブジェクトを指定するだけで、自動でテストシナリオを提案・構築します。

スキーマ解析とシナリオ構築： Provar AIは、対象オブジェクトのフィールド属性（データ型、必須、一意性、参照リレーション）をAPI経由で取得・解析します。これに基づき、「必須項目のみの登録（Positive Case）」「無効なデータ型での登録試行（Negative Case）」「参照先が存在しない状態での登録試行（Referential Integrity Case）」といった、技術的に意味のあるテストステップを自動で生成し、Provarのテストケースとして組み上げます。

迅速な回帰テストセット構築： 新しいカスタムオブジェクトやLWCコンポーネントがデプロイされた際、開発者は瞬時に基礎的な回帰テストセットを作成でき、QAチームへの引き渡し時間を大幅に短縮できます。

3.2. テストデータ自動生成：参照整合性の自動保証

E2Eテストの成功に不可欠な「参照整合性のあるデータ準備」を、Provar AIが自動化します。

データ型と制約の遵守： 各フィールドのデータ型、長さ、および入力規則に基づき、テストに適した具体的な値を生成します。

リレーションシップの自動解決： LookupやMaster-Detailフィールドが存在する場合、Provar AIはテスト実行前に必要な親レコードを自動で作成し、そのレコードIDを動的に取得・マッピングして子レコードの作成ステップに渡します。これにより、手作業によるIDの追跡や外部ファイルによるデータ管理が不要になり、並行テスト時のデータ競合リスクも解消します。

CSV出力と再利用：生成されたテストデータはCSV形式でエクスポート可能であり、他のテストシナリオや環境での再利用、さらには合成データとしてセキュリティ監査への利用も可能です。

3.3. Agentforce/Chatbot対応：複雑な検証ロジックのAI支援

Agentforceの品質保証は、Automation V3が提供するProvar AIの中核機能のひとつです。従来のUIテストツールでは不可能だった、AI応答の「意図」の検証を実現します。

多様なユーザー発話の自動生成： Provar AIは、テスト対象のAIエージェントに対して、業務コンテキストに基づいた多様なユーザー発話（プロンプト）のバリエーションを自動生成します（例：「契約を更新したい」「サブスクリプションの更新手続きをお願いします」「ライセンス延長のプロセスについて」など）。これにより、エージェントが想定外の表現にも正しく応答できるかを網羅的に検証できます。

応答内容の「意図検証（Intent Validation）」： AIエージェントからの応答テキストに対し、Provar AIが搭載するLLMを活用して、応答が「ユーザーを正しいフローに誘導している」「データ登録に必要な情報を尋ねている」といった、業務上の正しい意図を含んでいるか、期待される糸の確認を行います。また応答に含まれる固有名詞や数値が、Salesforceレコードや外部APIのデータと整合しているかをクロスチェックし、誤情報（ハルシネーション）が含まれていないかをチェックします。

AIエージェント応答の揺らぎに対応： またProvar AIは、従来のExact Match（完全一致）な検証ロジックの限界を超え、動的なシステム応答に対応するための支援機能を提供します。AIを活用し、画面に表示される動的なエラーメッセージや、Chatbotからの応答内容が「期待される情報セット」を含んでいるか、「業務上の意図」に沿っているかといった、セマンティックな検証を可能にします。これにより、AIエージェントの応答の「揺らぎ」をエラーとせずに許容し、本質的なロジックの正確性のみに焦点を当てたテストが実現します。

【まとめ】AI×メタデータ駆動型テストへの転換が持続可能な品質保証の鍵

Salesforceの進化は止まらず、Flowや外部連携を通じた複雑なE2Eビジネスプロセスは今後さらに増加します。この流れの中、テストプロセスにAIを組み込むことは、単なるオプションではなく、持続可能な開発体制を維持するための必然です。

Salesforce環境におけるテスト負荷は限界に達しています。その突破口となるのが、Salesforceネイティブなメタデータ駆動機能であり、Provar Automationに搭載されたProvar AI機能によるテスト資産の自動生成です。

●テストシナリオ自動生成: メタデータに基づく網羅的なケース構築
●テストデータ自動生成: 参照整合性を自動保証した高品質なデータ提供
●動的検証のAI支援: 複雑な検証ロジックと再現性の確保

などを通じて、Provar AIはテスト工数の劇的な削減、テスト網羅性の客観的な向上、そしてテストスクリプトの長期的な再現性確保を同時に実現します。

もし、Salesforceテストのメンテナンスコストやデータ準備の負担に課題を感じている技術者であれば、AI×メタデータ駆動型テストツール「Provar Automation」の試用、導入を検討いただき、Salesfoceテストエンジニアリングの未来を切り拓くことを強く願っています。

【ブログ】AIエージェント時代のSalesforceテストとは？ Provar AIが実現する、持続可能なテストプロセス　を公開