独立成分分析（ＩＣＡ）と主成分分析（ＰＣＡ）との違いとは？

独立成分分析（ＩＣＡ）と主成分分析（ＰＣＡ）とは言葉が似ていますが、どう違うのでしょうか？

  1. 独立成分分析(バイオインフォマティックス辞典出版予定原稿  江口真透（統計数理研・総研大統計科学))（ＰＤＦ）：”独立成分分析とは，教師なしデータの解析のために開発された比較的新しい方法の一つである．元々は信号処理の世界から注目を浴びるようになったが，より広範に適用されるようになり，主成分分析と相補うものとして定着している．”   “k-次元の確率ベクトルをy = (y1, · · · , yk) としよう．…一般に確率ベクトルy の成分が独立であれば，無相関となるが必ずしも逆は成立しない．このことに主成分分析と独立分析の本質的な違いがある”   “…前処理として主成分分析を行い…”
  2.  独立成分分析 初心者向けテキスト　加納　学 京都大学大学院工学研究科化学工学専攻プロセスシステム工学（ＰＤＦ） ：観測変数の数が独立変数の数よりも多いならば，仮定より観測変数は線形従属であり，復元行列W は低次元化を行う行列となる．また，変数が互いに独立であれば，それらは無相関でもあるため，復元行列Wは変数を無相関化する行列でもある．無相関化とそれに伴う低次元化を同時に行う統計的手法に主成分分析がある．このため，独立成分分析の前処理として主成分分析が利用されることが多い．
  3. PCA とICA の信号処理への応用 琉球大学総合情報処理センター広報 第5 号 2008 年4 月 横田敏明　琉球大学工学部情報工学科アシャリフ研究室 　（ＰＤＦ）：　多変量解析などで用いられる主成分分析(PCA : Principal Component Analysis)と独立成分
    分析(ICA : Independent Component Analysis)は、多次元信号の解析にも応用されている。PCAは主に多次元データの２次相関を無相関化するような変換を求めるが、ICA ではより高次の統計量や、時間領域を含む相関に基づく独立性を仮定した上でデータを分離するような変換を求める。PCA は、多次元データの各次元間の相関を求め、回帰直線などを見つける手法であるが、求めた回帰直線を元にして各次元を無相関化する変換を求めることが出来る。一方、ICA は、信号源が独立であるという仮定のみを置き、その仮定のみに基づいて信号を独立にするような変換を求めること(Blind Source Separation と呼ばれる)が出来る。独立性を持つことと無相関性を持つことは、データの確率分布によって包含関係が違うため、PCAによる信号分離とICA による信号分離は異なる結果を示す

  4. What is the difference between ICA and PCA?：　(A very “FAQ”). PCA (principal component analysis), usually implemented using singular value decomposition (SVD), finds an orthogonal basis for its given data. The first eigenvector (and its weight, called the first principal component) gives the direction (and from this, the scalp topography) of maximum variance (between channels) in the data (and the size of the data projection onto this direction). If the data is a mixture of linear components (as ICA assumes) this direction will, in general, sum as many of the independent components as possible.  Raw PCA components have orthogonal activations and scalp distributions, while the goal of ICA is to find temporally independent components which may have non-orthogonal (even very similar) scalp distributions. For example, ICA applied to group mean data from a color experiment produced two separate series of components of responses to red and blue checkerboards, respectively. These, naturally, had very similar (but not identical) scalp maps. Thus, PCA and ICA have very different goals, and naturally give quite different results in nearly all cases. PCA has usually been proposed for EEG analysis essentially as a preprocessing stage prior to “rotation” of the spatial filters using Varimax, Promax, Quartimax, or some other criterion, much like “sphering” is often used to preprocess ICA input data in the Bell & Sejnowski (1995) algorithm. The Varimax criterion (maximize the variance of the basis vectors) is indirect at best, and retains the undesirable feature that the scalp maps it finds must be spatially orthogonal, whereas nearby but functionally differing brain areas may produce highly correlated scalp patterns. (Promax is a postprocessing stage applied on top of Varimax that relaxes Varimax‘s orthogonality constraint on the maps slightly). PCA-based EEG decomposition can be implemented in two ways — so called “temporal” and “spatial” PCA approaches. “Temporal” PCA analysis, such as described by Chapman & McCreary (1994), forces PCA components to have the same time courses of activation in each experimental condition. (Mocks has introduced generalizations that somewhat relax this constraint). “Spatial PCA” and ICA avoid this shortcoming, allowing ICA components to have different time courses in each condition. ICA takes into account higher-order dependencies (and independencies) in the component activations, whereas PCA is based on the second-order covariance matrix. Spatial PCA assumes orthogonality of the component maps, whereas ICA maps are not constrained to be orthogonal (“The brain is not orthogonal”). In sum, ICA as implemented in runica() can be viewed as a new oblique rotation method for post-processing of spatial PCA’d (or sphered, or raw) data. Introducing ICA in this way may be useful when approaching potential users (or reviewers) better versed in PCA decomposition.

独立成分分析、主成分分析、因子分析、多変量解析の教科書

詳解 独立成分分析―信号解析の新しい世界　ICAを創ったパイオニアによるICAの教科書。
多変量解析のはなし―複雑さから本質を探る (Best selected Business Books)
マンガでわかる統計学 因子分析編