一般に、多重線形回帰は、1つの従属変数といくつかの独立変数の間の線形関係を定量化することです。このモデルを使用すると、ある変数が他の変数によってどのように影響を受けるか、たとえば、収入が教育、地域、年齢、性別などによってどのように影響を受けるかを知ることができます。ただし、モデルによって示される関係は質問する必要があります。信頼できるのか、それとも偽物なのか？

導入例として、偏相関を調べることの重要性を示すために、収入の多重線形回帰モデルを構築しようとします。データセットはRに組み込まれており、元々はNational LongitudinalStudyからのものです。

多変量モデルを構築する前に、最初に相関関係を調べることをお勧めします。これについては、次のセクションで簡単に説明します。相関行列を使用して相関を視覚化します

図0.1から、収入は身長、体重、教育、およびafdp（軍隊資格試験のパーセンタイルスコア）と正の関係があることがわかります。負（：単一：1、結婚：2、分離された：3、離婚：4、死別：婚姻状態は次のように数字で表される5）夫婦の影響を受け、性別（男性は、一、女性2で表される。この負の相関関係が意味します。女性は少し収入が少ない）。ある程度のデータは、私たちがすでに知っていることを裏付けています。非常に疑わしいことの1つは、背の高い人と重い人がより多くを稼ぐことです。実際、この相関関係は疑似であり、後で部分相関関係を使用して、その理由を検証および説明します。

相関関係のクイックキャプチャ

相関は、2つの変数間のそのような関係を表し、一方の成長（減少）が他方の成長（減少）を引き起こします。

2つの変数間の相関を測定する方法はいくつかあります。この投稿では、Person's rとしても知られるピアソン相関係数（PCC）を使用します。これは、後で偏相関の式でも使用されるためです。別のパラメーターであるスピアマンのrhoは、実際にはRで実装されることが多く、実際には、ランク係数のすぐ上に、Personのrも使用します。人のrの式は次の式で与えられます。

ここで、σₓはXの標準偏差、σᵧはYの標準偏差、cov（X、Y）は共分散を示します。これは、2つのランダム変数XとYの偏差の積の期待値として定義されます。それらの平均から、すなわち

相関は、共分散を2つの変数の標準偏差で割ることによって正規化します。共分散とは異なり、相関の範囲は-1と1の間です。-1または1に等しい場合、2つの変数間の関係は、それぞれ正または負の勾配を持つ線形関数として正確に与えられることを意味します。

偏相関—交絡因子を削除します

偏相関は、相関に密接に関連する概念です。これは、2つの変数間に相関関係が見つかった場合、必ずしもそれらの間に因果関係があることを意味するわけではないことを示しています。偏相関は、1つまたは複数の他の変数を条件とした場合の2つの変数間の相関を定量化します。つまり、2つの変数間に相関関係がある場合、その相関関係は、疑似相関の一般的な原因である交絡因子（または制御変数）という3番目の変数によって部分的に説明される可能性があります。この部分を削除した後、残っているのは、これら2つの変数間の偏相関です。

ジオメトリは、これで説明されている偏相関を理解するための直感的なアプローチの1つです。変数をベクトルとして表現します。次の図は、交絡因子が他の変数にどのように影響するかを示しています。この例では、交絡因子は性別であり、収入と体重の両方に負の相関関係があることがわかります。

交絡因子が1つしかない場合（1次偏相関と呼ばれます）、確率変数XとYの間のZを因数分解した偏相関の式は次のようになります。

複数の制御変数がある場合、たとえばn個の制御変数のセットZ = {Z₁、Z₂、..、Zₙ}の場合、式2.1のZ は、セットを表すZに置き換える必要があります。XとYの間の偏相関の正式な定義は次のようになります。

XとZおよびYとZの線形回帰から生じる残差間の相関。

この投稿では、1次の偏相関に固執します。これで別のツールが手元にあるので、導入例に戻って、変数間の偏相関を調べることができます。これを図2.3に示します。今回は、図0.1の相関行列と比較して、身長、体重、および結婚状況に取り消し線が引かれていることがわかります。

偏相関を計算する方法は？ウィキペディアには、1。線形回帰、2。再帰式、3。逆行列の3つの方法が記載されています。最初の方法である線形回帰は、偏相関の定義に基づいており、偏相関を計算するときに、何を計算しているかについての洞察を提供します。Zの影響を取り除いて、XとYの間の偏相関を計算するとします。アイデアは、最初にZに関するXの線形回帰を計算し、残余を取得することです。なぜ残留するのですか？これはXの一部であり、Zでは説明されていないためです。。そして、これをYに対しても同様に行います。次に、これら2つの残差間の相関を計算します。次の図は、「説明」の意味を示しています。これは、実際には線形回帰で定義された用語です。

正式な派生。強調する価値のある非常に重要な事実が1つあります。（偏）相関は線形回帰と密接に関連しています。

次の数行のコードで回帰を使用して、身長と収入の間の偏相関を計算することができます。

m.i <- lm(income ~ sex, data = dataH)
m.s<- lm(height ~ sex, data = dataH)
v.i <- summary(m.i)
v.s <- summary(m.s)
cor(v.i$residuals, v.s$residuals, method="pearson")

偏相関は、多重線形回帰で2つの因子間の実際の相関を特定するのに役立つだけでなく、より複雑なモデルでも非常に役立ちます。自己回帰移動平均（AMRA）モデルは、そのような例として役立ちます。この場合、偏相関、より正確には偏自己相関がハイパーパラメーターの選択に重要な役割を果たします。

概要

トピックは紹介の例から始まります。これは、相関関係が必ずしも因果関係を示す必要がない場合があることを示しています。次に、この現象の一般的な原因である交絡因子と、この問題に対処する方法を紹介し、偏相関を調べます。偏相関の計算方法も紹介し、線形回帰を使用してRの偏相関を計算する実装を示します。

資力

[1] Everitt、BS、およびSkrondal、A。ケンブリッジ統計辞書（2010）。

[2] Kenett、DY、Huang、X.、Vodenska、I.、Havlin、S。、およびStanley、HE偏相関分析：金融市場への応用（2015）。数理ファイナンス、15（4）、569–578。