母集団分布に正規分布のような特定の分布を仮定せず統計的検定を行う手法のことである。この手法のメリットは、多少の制約がある場合もあるが、どのような母集団分布からのデータであっても適用可能なことである。

このため、 標本中に他の観測値から飛び離れた値と思われる異常値が含まれているような場合でも正しい検定を与えることができる。つまり、ロバスト (頑健) な検定法である。

　一方弱点としては、分布に関する情報を用いないので、特定の分布の元での最良の検定（正規母集団での小標本に対する t 検定など）に比べ検出力が低下することが挙げられる。ノンパラメトリック検定においてはデータの値を直接使わず、これを大きさの順に並べてその順位を用いることが多い。例えば、最小値・最大値・中央値などがよく用いられる。ゆえに、データのもつ情報を全部使い切っておらず、情報の損失がある。その分、前述したように異常値の影響はそれだけ受けにくくなっている。

　ノンパラメトリック検定を使用するタイミングとしては、標本の正規性に少しでも疑問がもたれる場合である。パラメトリック検定よりも検出力が低いため、この検定で有意と判断されれば非のうちどころはまったくなくなる。