企業概要：Millsapps, Ballinger & Associates
Millsapps, Ballinger & Associates (MB&A) は、SalesforceのISV（独立系ソフトウェアベンダー）およびISVforce、認定コンサルティングサービスのパートナーであり、Provarの活用によってテスト時間を45%削減しています。MB&Aは、Salesforce AppExchangeでエンタープライズクラスのアプリケーションを提供しているほか、イノベーターによる新製品の立ち上げを支援する経営コンサルティングサービスを展開しています。
なぜProvarは投資に値するのか？それは、トラブル対応に追われることなく、イノベーションに集中できるようになるからです。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
MB&A社は、組織が世界最高水準の製品やサービスを形にできるよう支援するという核心的なミッションを掲げ、包括的なサービスを展開しています。同社のソリューションにより、顧客はSalesforce上でデータを収集・評価・活用し、日々のビジネスプロセスを強力に推進することが可能になります。
SalesforceエコシステムのエキスパートであるMB&Aは、同プラットフォームのISV（独立系ソフトウェアベンダー）およびISVforce、さらには認定コンサルティングの各公式資格を有しており、現在はSalesforce AppExchangeにおいて4つの先進的なソリューションを市場に送り出しています。
同社は、退役軍人省、農務省、住宅都市開発省などの多くのアメリカ連邦政府機関をはじめ、ロサンゼルス統一学区、コロンビア特別区などの公的機関、さらには複数の民間企業にいたるまで、政府・公共機関を中心とした幅広い分野にソリューションとサービスを提供しています。
・設立： 2011年
・本社所在地： 米国バージニア州アーリントン
・事業内容： ソフトウェア開発および戦略コンサルティング
・Provarテスト運用数： 約200件
・テスト対象環境： サンドボックス（開発環境）および本番環境
Provarのおかげで、夜も安心して眠れるようになりました。前回のリリースによって何が動かなくなってしまったのか、そんなトラブルの言い訳からお客様との会話を始めるような事態は、絶対に避けたいですからね。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
SalesforceとMB&A
MB&Aのチームにとって、Salesforceの技術的な機能を深く理解することは極めて重要です。同社は、クライアントがこの重要な投資を最大限に活用できるよう、複雑なSalesforce環境の設計（アーキテクト）、管理、およびガバナンスを支援する幅広い専門サービスを展開しています。
これらのコンサルティングサービスに加え、MB&AはSalesforce AppExchangeを通じて、以下4つの独自アプリケーションをラインナップしています。
・ExAM（Inspection, Audit, Compliance & Data Collection）
組織における検査、評価、および複雑な調査（サーベイ）の実施を支援するアプリです。ExAMを導入することで、現場での検査やデータ収集、コンプライアンス管理にいたるまでのプロセスを、モバイルデバイスを活用して完全にフィールド（現場）へと移行できます。
・ExAM4Assets
新規および既存のビジネスプロセスを支えるために、物理的資産や在庫の効率的な管理を可能にします。
・ExAM Achieve
ExAMの管理パッケージ（Managed Package）を活用し、高度な学習管理システム（LMS / eラーニング）のツールセットを提供します。
・ExAM Connect
REST APIを利用して、複数のSalesforce組織（環境）間、あるいはサードパーティ製の外部データとの間で、スムーズなデータ同期を実現します。
課題：アプリ機能の破損と成長の停滞
不良リリースによって社員が常にトラブル対応に追われるようになると、その悪影響は会社全体へと連鎖し、全員が今進めている本来の業務を一時中断せざるを得なくなるのです。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
あらゆるソフトウェアがそうであるように、バグや不具合の発生リスクは常に潜んでいます。それらはリリースの遅延を招くだけでなく、「新機能の開発」に向けるべきリソースを「本番環境でのトラブル修正」へと削ぐことになり、結果として顧客の拡大（アップセル）や維持（リテンション）の双方に悪影響を及ぼしかねません。
新規リリース時のエラー混入リスクを抑えるため、MB&A社は当初、アプリの検証を手動テストに頼っていました。製品開発チームが業務負荷を分担し、リリースの直前に各自の時間を削って、手作業で新機能のテストを行っていたのです。
しかし、限られた人数の小規模なチームにとって、タイトなリリーススケジュールを守りながら、必要なすべてのテストシナリオを網羅することは事実上不可能でした。
手動テストの限界、そしてそれが製品開発や企業の成長計画そのものを阻害している現状を重く受け止め、MB&Aの経営陣はテスト自動化の導入を決断したのです。
【関連記事】Salesforceのテストにおける「10の課題」とは（なぜSalesforceのテストは手動だと限界が来るのか？10課題から紐解きます。）
Provarを導入する前は、リリースを迅速に立ち上げる体制に限界を感じていました。お客様はいち早い新機能の提供を望んでおり、私たちを頼りにしてくださっていたからです。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
Provarへの移行
テスト自動化へのシフトは、私がMB&Aに入社して以来、ずっと掲げていた戦略的目標でした。テスト自動化を『競合他社との差別化要因』として見事に活用している企業を、私はこれまでに何度も目にしてきたからです。自動化を味方につければ、競合を追い抜き、新しいアイデアをどこよりも迅速かつ確実に市場へ投入できるようになります。
Millsapps, Ballinger & Associates ExAM製品の開発責任者 Sean Parker氏
テスト自動化への移行を決断した後、チームは利用可能な選択肢をリサーチし、業界の同業者に意見を求めました。すると、すぐに「ある共通の推奨事項」が浮かび上がってきたのです。それは、「テストのメンテナンス工数を削減するために、Salesforceに特化したテスト自動化ソリューションを選ぶべきだ」ということでした。ある情報源からは、利用していたテスト自動化ベンダーがSalesforce専門ではなかったために、SalesforceのメジャーリリースのたびにQAチームがすべてのテストを手作業で更新せざるを得なくなったという、手痛い失敗談も寄せられました。
この情報を得たMB&A社のチームはProvarの評価（エバリュエーション）を行い、その独自のメリットに確かな手応えを感じました。最も注目すべきは、ProvarがSalesforceの基礎となるデータモデル（メタデータ）と直接連動しているため、過度なメンテナンスを必要としない「壊れないテスト」を構築できる点でした。
また、機能拡張が容易であることも、Provar選定の大きな決め手となりました。プログラミング経験のないテスターでも、導入してすぐに（アウトオブザボックスで）テストの構築を始めることができ、さらに高度なユーザーであれば、必要に応じてJavaScriptを使用してテストを柔軟にカスタマイズすることも可能です。
デモを経て、チームはProvarとの契約を締結しました。さらに、個別最適化されたトレーニングを受け、最初のテストスイート構築を支援してもらえる「ジャンプスタート（Jumpstart）導入サービス」を合わせて利用することで、スムーズな立ち上げ（オンボーディング）をさらに加速させました。
「1Day Provar適用診断サービス」の無償トライアルキャンペーンを、期間限定で実施中
最初から、Provar以外の選択肢は考えられませんでした。私たちが求めていたのはSalesforceに特化したテスト自動化ソリューションでしたが、そもそもそうしたツール自体、市場で簡単に見つかるものではなかったからです。
Millsapps, Ballinger & Associates ExAM製品の開発責任者 Sean Parker氏
MB&A社におけるProvarの活用方法
Provarを使えば、開発の極めて早い段階で不具合を検知（早期発見）できます。これは、手動テストだけでは決して不可能な領域です。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
現在、中核製品である「ExAM」の検証にProvarを活用しています。新リリースごとに約20件のテストを新規に構築しつつ、既存の200件におよぶテストライブラリの対象範囲を継続的に拡張しています。
手動テストの大部分は排除されましたが、現在も同社全体の検証戦略の一部として戦略的に組み込まれています。まず新機能の初期検証を手動で行い、正常に動作することが確認された段階で、そのテストシナリオを既存のリグレッション（回帰）テストスイートへと組み込んでいく運用を徹底しています。
また、検証業務の責任をテスト専任の担当者（リソース）1名に集約したことで、開発者はトラブル対応から完全に解放され、すべての時間を本来の製品開発に投入できるようになりました。
さらに、エンドツーエンド（E2E）テストにもProvarを活用しています。これにより、ExAMの主要機能である「エンドユーザーへテスト結果の通知メールが正しく配信されるか」といった一連のプロセスも自動で検証しています。
【関連記事】なぜProvarは、Agentforceの「マルチターン×E2Eテスト」を実現できるのか？（ProvarがE2Eテストに強い理由を解説しています。）
開発チームとの連携（クローズドループ）を強固にし、テストの進捗状況を長期的な視点で可視化するため、テスト結果はすべて保存されています。これらのデータは社内システムに集約され、開発チームが必要に応じていつでも確認・対処できるように共有されています。
全体として、Salesforceのリリース検証に要する時間を60%削減し、リリースのサイクルを毎回2週間前倒し（高速化）できるようになりました。さらに、通常発生するカスタマーサポートへの問い合わせ件数が80%以上も減少したのです。これは、私たちのチームにとって計り知れないほど大きな成果です。
Millsapps, Ballinger & Associates クオリティ保証（QA）リーダー Ryan Moore氏
Provar導入による、目覚ましい成果
Provarの導入から3年が経過し、MB&A社は「品質の向上」「時間の節約」そして「生産性の劇的な向上」という、目覚ましい成果を達成しました。現在、同社は顧客コミュニティへ提供するソリューションやサービスの品質を一段と高めながら、自社の成長計画を強力に推し進める盤石な体制を整えています。
Provarへ切り替えてから、バグの発生率が明らかに低下しました。手動テストだけに頼っていた頃とは異なり、極めて精度の高い（クリーンな）リリースを実現できています。Salesforce AppExchange向けに高品質な製品を提供する上で、まさに完全なゲームチェンジャー（変革をもたらす存在）となりました。結果として、開発全体における不具合を50%削減し、テストに要する時間を一律で45%短縮することに成功しています。
Millsapps, Ballinger & Associates ExAM製品の開発責任者 Sean Parker氏
MB&A社が達成した主な成功指標の詳細は以下の通りです。
1. 品質の向上
・不具合の大幅な抑制：リリース1回あたり、バグ・欠陥が平均して50%減少
・検証範囲の拡大：ユースケース、検証シナリオ、およびテストカバレッジが70%拡大
・サポートへの好影響：カスタマーサポートへの問い合わせ（チケット）件数が80%減少
製品を急速に進化させようとする場合、手動テストだけではスピードが追いつきません。新しい機能をリリースする際、お客様がすでに依存している既存のシステムを絶対に破壊しないという確信が必要です。Provarは、まさにその確信を与えてくれます。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
2. Salesforceリリース関連における時間短縮効果
・定期アップデート検証の効率化：Salesforceのメジャーアップデート（年3回のリリースなど）におけるテスト時間を60%削減
・メンテナンス工数の削減：同アップデートに伴うテストシナリオの修正・メンテナンス時間を60%削減
当社の成長機会の多くは、既存のお客様の中にあります。製品の観点からお客様のニーズに迅速に応える必要があり、Provarはその約束を果たす強力な支えとなっています。
Millsapps, Ballinger & Associates 創業者兼CEO Joshua Millsapps氏
3. 業務全体における時間短縮効果
・全体の工数削減：全社的なテストに要する時間を一律で45%削減
・社内アプリ運用の効率化：社内アプリケーション（自社向けSalesforce組織のカスタマイズ等）の変更に対するテスト時間を40%削減
・社内アプリ向けメンテナンス：同変更に伴うテストのメンテナンス時間を50%削減
4. 生産性の向上
・リソースの最適化（再配分）：QAチームはリリース1回あたり8時間を他のプロジェクトへ投資可能に（テスト専任担当者にとって、1回につき丸1日分の余力が生まれたことを意味します）
・開発サイクルの高速化：リリーススケジュールを1回あたり平均して2週間前倒し（短縮）
・シフトレフトの実現：リグレッション（回帰）テストだけに追われる状態から脱却し、テスト全体の30%を開発ライフサイクルのより早い段階へ移行
・新規テストへの注力：テストメンテナンスが激減した結果、新しいテストの構築に割ける時間が30%増加
Provarは、私たちの開発体制におけるこれまでの常識を一変させる、画期的なソリューションとなりました。
Millsapps, Ballinger & Associates ExAM製品の開発責任者 Sean Parker氏
Provarの迅速な導入と安定した運用なら、ADOCインターナショナルにお任せください。
現状の課題整理や導入に向けた最初の一歩として、まずはお気軽にご相談ください。