4.1 重要な区別：検証と妥当性確認

検証と妥当性確認（V&V）は、信頼性の高いシミュレーションの基盤となるものです。これらは、モデルが正しく構築され、かつ、それが表現しようとしている実際のシステムを正確に表していることを保証する品質保証プロセスを構成します。V&Vプロセスに不備があると、重大な誤りを含む結論に至り、結果として、誤ったモデル出力に基づく不適切な現実世界の意思決定につながる可能性があります。日常会話ではしばしば混同して使われるこれらの2つの用語ですが、モデリングとシミュレーション（M&S）の分野では、それぞれ明確かつ明確な意味を持ちます。

検証とは、概念モデルが実際のシステムを正確に表現しているかどうかを判断するプロセスです。これは、「私たちは正しいモデルを構築しているか？」という問いに答えるものです。検証では、モデルの構造、論理、および前提条件を実際のシステムと比較し、本質的な動態を正しく捉えていることを確認します。

検証とは、モデルの実装（すなわちコンピュータプログラム）が、開発者の概念的な記述と仕様を正しく反映しているかどうかを判断するプロセスです。これは、「モデルを正しく構築しているか？」という問いに答えるものです。検証は基本的に、デバッグを行い、コードがモデル設計の意図どおりに機能することを確認するプロセスです。

これら二つの重要なプロセス間の関係は、以下のように要約できる。

これらの概念はそれぞれ異なるものの、シミュレーションモデルに対する信頼性を体系的に構築するために設計された一連の実践的な手法によって支えられている。

4.2 モデル検証のための方法論

検証は主にデバッグと論理レビューに重点を置いた内部プロセスです。その目的は、シミュレーションプログラムのコードとロジックが概念モデルの設計意図と完全に一致することを保証することです。これを実現するために、いくつかの手法が用いられます。

• モジュール型プログラミングとデバッグ： 「分割統治」戦略は非常に効果的です。単一の巨大なプログラムをデバッグしようとするのではなく、より小さく自己完結型のサブプログラムまたはモジュールからモデルを構築します。各モジュールは独立して記述およびデバッグできるため、エラーを特定して修正してから、より大きなモデルに統合することがはるかに容易になります。
• 構造化されたウォークスルー： この手法は、ピアレビューの力を活用しています。モデルのコードとロジックは、元のプログラマーだけでなく、チームのメンバーに提示され、プログラム全体を体系的に「検証」します。このプロセスは、元の開発者が見落としていた可能性のある論理エラー、誤った前提、バグなどを発見する上で非常に貴重です。
• 中間結果の追跡： シミュレーションモデルは、入力が入り出力が出てくるだけの「ブラックボックス」のように感じられることがよくあります。トレースを行うことで、アナリストはこのブラックボックスの内部を詳細に調べることができます。この手法では、シミュレーション実行中の各中間時点で主要な状態変数の値を記録します。記録された値を手計算の結果や予測結果と比較することで、内部ロジックが正しく動作していることを確認できます。
• 多様な入力を用いたテスト： モデルの堅牢性を確保するためには、幅広い入力値の組み合わせでテストを行う必要があります。これには、典型的な値、極端な値、および「エッジケース」（例えば、ゼロ値、不適切な負の値）を用いたテストが含まれ、モデルが期待どおりに動作するか、あるいは意味不明な結果を生成するのではなく、適切にエラーが発生するかを確認します。
• 分析結果との比較： より単純なモデル、あるいはより複雑なモデルのサブシステムについては、解析的手法（例えば、待ち行列理論の公式）を用いて期待される出力を数学的に計算できる場合があります。このような単純なケースにおけるシミュレーションの出力を既知の解析解と比較することで、実装の正確性を強力に検証できます。

モデルが正しく構築されたと確信できたら、次に構築したモデルが正しいものであることを確認することに注力する必要があります。

4.3 モデル検証のための手法

検証とは、モデルが実際のシステムを正確に表現できるという確信を築くプロセスです。バグを見つけることよりも、モデルが現実をどれだけ忠実に反映しているかを評価することに重点が置かれます。これは通常、専門家への相談、厳密なデータテスト、そして綿密な出力分析を含む、複数のステップからなるプロセスによって達成されます。

ステップ1：高妥当性モデルの設計　これは、設計段階から始まる、検証に対する積極的なアプローチです。モデルに根本的な概念エラーが組み込まれるのを防ぐため、設計プロセス全体を通してシステム専門家とクライアントを関与させることが不可欠です。彼らの専門知識は、モデルの前提が妥当であり、そのロジックがシステムの実際の動作を反映していることを保証する上で非常に貴重です。定期的なレビューとフィードバックセッションにより、モデルが現実と整合するように進化することが保証されます。

ステップ2：モデルの仮定を検証する　すべてのモデルは、現実を単純化する一連の仮定に基づいて構築されています。検証には、可能な限りこれらの仮定を定量的に検証する必要があります。ここで用いられる重要な手法は感度分析です。感度分析では、モデルの入力パラメータを体系的に変化させ、出力への影響を観察します。このプロセスにより、結果に最も大きな影響を与える仮定やパラメータを特定できます。これらの影響の大きい要因は最も重要な仮定であり、細心の注意を払って検証する必要があります。

ステップ3：代表的な出力の決定　モデルの最終的な評価基準は、その出力挙動が実際のシステムの出力を代表しているかどうかです。この比較は、いくつかの方法で行うことができます。

• チューリングテスト： これには、実際のシステムデータとシミュレーションデータの両方を専門家に提示することが含まれます。専門家が両者を確実に区別できない場合、モデルの妥当性に対する信頼が高まります。公平な比較を保証するため、データは実際のシステムレポートと同じ形式で提示する必要があります。
• 統計的手法: 実システムの過去のデータが入手可能な場合は、正式な統計的検定を用いて、モデルの出力分布と実データの分布を比較することができる。これにより、モデルの精度を定量的かつ客観的に評価することが可能となる。

しかし、具体的な検証戦略は、重要な要素、すなわち、システムに関する過去のデータが実際に存在するかどうかという点に適応する必要がある。

4.4 新規システムと既存システムの検証

検証における課題は、モデルが既存のシステムを表すのか、それともまだ存在しない提案されたシステムを表すのかによって大きく異なる。

既存システムの検証実際のシステムが既に存在する場合、検証は主にデータ駆動型のプロセスとなります。このアプローチでは、実際のシステムが一定期間にわたって受け取ったのと同じ現実世界の入力をモデルに与え、モデルの出力を過去のシステムデータと比較します。この比較は、モデルの出力分布が実際のシステムの出力分布とどの程度一致するかを定量的に評価するために、カイ二乗検定、コルモゴロフ・スミルノフ検定、クレイマー・フォン・ミーゼス検定、モーメント検定などの正式な統計的適合度検定を用いて行われることがよくあります。

初回モデルの検証 提案されたシステムのモデルを検証することは、比較対象となる過去のデータがないため、より複雑な課題となります。このような場合、モデルに対する信頼性は、他の複数の手法を組み合わせることによって構築する必要があります。以下の手法が不可欠です。

• サブシステムの妥当性： システム全体は新しいものであっても、多くの場合、実際のシステムやデータが存在するサブシステムで構成されています。モデルはこれらの構成要素に分解でき、各サブシステムは現実世界の対応するシステムと個別に比較検証できます。
• 内的妥当性： モデルの内部ロジックを精査する必要がある。内部変動が非常に大きいモデルは疑わしい。なぜなら、このランダム性によって入力変数の変化の影響が不明瞭になり、モデルの結果が信頼できなくなる可能性があるからである。
• 感度分析: この手法は、特に新しいシステムにとって非常に重要です。どの入力パラメータが出力に最も大きな影響を与えるかを理解することで、アナリストは、それらのパラメータが利用可能な最も信頼性の高い推定値に基づいていることを確認することに注力できます。
• 表面的な妥当性： これは専門家が行う重要な「常識的」チェックです。モデルは様々な条件下で論理的かつ妥当な挙動を示すでしょうか？たとえモデルがたまたま正しいように見える結果を出したとしても、それが誤った理由によるものであったり、内部ロジックに欠陥があったりする場合は、モデルを却下すべきです。これにより、モデルが単に偶然正しいのではなく、根本的に健全であることが保証されます。

モデルの構築と検証の原理をしっかりと理解したところで、次にシミュレーションの主要な具体的なパラダイムについて深く掘り下げていきます。まずは最も一般的な離散イベントシミュレーションから始めましょう。