主成分分析(PCA)と因子分析(FA)との違いとは?

主成分分析(PCA)と因子分析(FA)は何が似ていて何が異なるのでしょうか?

  1. 主成分分析は因子分析ではない! 狩野裕 大阪大学大学院人間科学研究科(PDF):”PCA における主成分は観測変数から作られる合成変数であって,観測変数が原因系で主成分が結果系である.一方,FA の因子は原因系であって観測変数が結果系である.そして,因子の変動が観測変数に伝わることで観測変数間の相関を説明しようとする.このようにPCA とFA は因果の方向が逆だという明確な違いが存在する”
  2. 心理測定の立場から見た因子分析と主成分分析 村上 隆(名古屋大学大学院・教育発達科学研究科)(PDF)
  3. それでも主成分分析を使うか!:”因子分析において,因子抽出方法として主成分分析を選択するのはいいのか?因子分析として主成分分析を使うことは,統計学的には正しいとは,いえない(と思う).その理由として以下のことがあげられます.1.因子分析は,観測変数に影響を及ぼす複数の因子(潜在変数)を説明しようとする分析である.それに対して,主成分分析は,観測変数に共通な成分から,一種の合成変数を抽出する分析である(松尾・中村, 2002).したがって,両者の分析のコンセプトが異なっている.2.因子分析では,観測変数に影響を及ぼすものとして,共通因子と独自因子(誤差)が仮定されているが,主成分分析には,独自因子(誤差)を想定していない(そのため,因子分析の他の抽出方法よりも因子負荷量が高くなることが指摘されている(小野寺・山本, 2004)).”