線性泛函與對偶空間

本文的閱讀等級：中級

考慮包含 $n$ 個變數的 $m$ 個線性聯立方程：

$\begin{aligned} a_{11}x_1+\cdots+a_{1n}x_n&=b_1\\ a_{21}x_1+\cdots+a_{2n}x_n&=b_2\\ &\vdots\\ a_{m1}x_1+\cdots+a_{mn}x_n&=b_m.\end{aligned}$

將列指標去除，針對單一方程式

$a_1x_1+\cdots+a_nx_n=b$ ，

等號左邊算式有兩種解釋方式。我們可以單純地將 $\sum_{i=1}^na_ix_i$ 看成是向量點積 (dot product，或稱內積)，也就是 $1\times n$ 階矩陣和 $n\times 1$ 階矩陣乘法：

$\begin{bmatrix} a_1&\cdots&a_n \end{bmatrix}\begin{bmatrix} x_1\\ \vdots\\ x_n \end{bmatrix}=a_1x_1+\cdots+a_nx_n$ 。

如果所有的係數 $a_{i}$ 與未知數 $x_i$ 皆為實數，由此可推演出 $A$ 的列空間 (row space) $C(A^T)$ 為零空間 $N(A)$ 的正交補餘 (見“線性代數基本定理(二)”)。另一種解釋方式是將等號左側視為 $n$ 維向量 $(x_1,\ldots,x_n)$ 的函數，表示如下：

$f(x_1,\ldots,x_n)=a_1x_1+\cdots+a_nx_n$ 。

很容易確認 $f$ 是一個從 $\mathbb{C}^n$ 映至 $\mathbb{C}$ 的線性變換，記為 $f:\mathbb{C}^n\to\mathbb{C}$ 。為了與一般線性變換有所區隔，數學家稱這種特殊的線性變換為線性泛函 (linear functional)，簡而言之，線性泛函即是將向量映射至純量的線性函數。

線性泛函的概念可以推廣至廣義向量空間。令 $\mathcal{V}$ 為一個向量空間。考慮函數 $f:\mathcal{V}\to\mathbb{C}$ 。若對於任意 $\mathbf{x},\mathbf{y}\in\mathcal{V}$ 和純量 $c$ ，

$\begin{aligned} f(\mathbf{x}+\mathbf{y})&=f(\mathbf{x})+f(\mathbf{y})\\ f(c\mathbf{x})&=cf(\mathbf{x}),\end{aligned}$

則 $f$ 是一個線性泛函。上例中，令 $\mathbf{x}=(x_1,\ldots,x_n)\in\mathbb{C}^n$ ，即有

$\begin{aligned} f(\mathbf{x})&=f(x_1,\ldots,x_n)=a_1x_1+\cdots+a_nx_n\end{aligned}$ 。

值得注意的是，定義於 $\mathbb{C}^n$ 的任一線性泛函 $f$ 都具有如上式的形式，相異之處僅在於係數 $a_1,\ldots,a_n$ 。這個性質來自線性泛函的定義。令 $\mathbf{e}_j=(0,\ldots,1,\ldots,0)$ 代表 $\mathbb{C}^n$ 的第 $j$ 個標準單位向量，且

$a_j=f(\mathbf{e}_j),~~j=1,\ldots,n$ 。

將 $\mathbf{x}=x_1\mathbf{e}_1+\cdots+x_n\mathbf{e}_n$ 代入 $f(\mathbf{x})$ ，利用線性關係，可得

$\begin{aligned} f(\mathbf{x})&=f(x_1\mathbf{e}_1+\cdots+x_n\mathbf{e}_n)\\ &=x_1f(\mathbf{e}_1)+\cdots+x_nf(\mathbf{e}_n)\\ &=a_1x_1+\cdots+a_nx_n.\end{aligned}$

定義於非幾何向量空間的線性泛函具有不同的面貌，下面給出一些例子。

例一：令 $A=[a_{ij}]$ 為一 $n\times n$ 階矩陣。矩陣跡數 (trace) 定義為

$\mathrm{trace}A=a_{11}+\cdots+a_{nn}$ 。

對於 $n\times n$ 階矩陣 $A$ 和 $B$ ，以及純量 $c$ ，下列性質成立 (見“跡數的性質與應用”)：

$\begin{aligned} \mathrm{trace}(A+B)&=\mathrm{trace}A+\mathrm{trace}B\\ \mathrm{trace}(cA)&=c(\mathrm{trace}A),\end{aligned}$

故 $\mathrm{trace}$ 是一定義於 $n\times n$ 階矩陣的線性泛函。

例二：這可能是數學領域中最重要的一個線性泛函。令 $C([a,b])$ 代表定義於實軸區間 $[a,b]$ 的連續實函數空間，則

$\displaystyle L(g)=\int_a^bg(t)dt$

為一定義於 $C([a,b])$ 的線性泛函，原因在於積分是一線性算子。設 $\mathcal{P}_2$ 代表次數不大於 $2$ 的實係數多項式構成的向量空間，其中的元素為 $p(t)=at^2+bt+c$ ， $a,b,c\in\mathbb{R}$ ，線性泛函可能不是一眼即可以辨識，例如，

$\displaystyle L(p)=\int_0^\infty e^{-t}p(t)dt$ 。

例三：令 $\mathcal{P}$ 代表所有的多項式 $p(t)$ 形成的向量空間，且

$L_t(p)=p(t)$ 。

不難檢查確認「多項式 $p$ 於 $t$ 的值」是多項式空間 $\mathcal{P}$ 的一個線性泛函。

接下來我們討論線性泛函的結構性問題。令 $\mathcal{V}$ 為一有限維複向量空間， $\mathrm{dim}\mathcal{V}=n$ 。所有定義於 $\mathcal{V}$ 的線性泛函所形成的集合也構成一個向量空間 (相關討論見“線性變換集合構成向量空間”)，記為

$L(\mathcal{V},\mathbb{C})=\{f\vert f:\mathcal{V}\to\mathbb{C}\}$

稱作 $\mathcal{V}$ 的對偶空間 (dual space)，或簡記為 $\mathcal{V}^{\ast}=L(\mathcal{V},\mathbb{C})$ ，並滿足 $\dim \mathcal{V}^\ast=\dim\mathcal{V}\cdot \dim\mathbb{C}=n$ 。令 $\boldsymbol{\beta}=\{\mathbf{v}_1,\ldots,\mathbf{v}_n\}$ 是 $\mathcal{V}$ 的一組有序基底。通過基底 $\boldsymbol{\beta}$ ，向量空間 $\mathcal{V}$ 同構於 (isomorphic) 幾何座標空間 $\mathbb{C}^n$ ，記為 $\mathcal{V}\cong\mathbb{C}^n$ (見“同構的向量空間”)。線性泛函是一個線性變換， $f\in\mathcal{V}^{\ast}$ 有唯一的 $1\times n$ 階表示矩陣 $A=\begin{bmatrix} a_1&\cdots&a_n \end{bmatrix}$ ，故 $f(\mathbf{x})$ 可表示為 (見“線性變換表示矩陣”)

$f(\mathbf{x})=A\begin{bmatrix} \mathbf{x} \end{bmatrix}_{\boldsymbol{\beta}}$ 。

上式中 $[\mathbf{x}]_{\boldsymbol{\beta}}$ 代表 $\mathbf{x}$ 參考 $\boldsymbol{\beta}$ 的座標向量。我們推論出線性泛函空間 $\mathcal{V}^{\ast}$ 同構於 $1\times n$ 階矩陣 $A$ 所形成的空間 $\mathbb{C}^n$ ，即 $\mathcal{V}^\ast\cong\mathbb{C}^n$ 。同構具有傳遞性，因此 $\mathcal{V}\cong\mathcal{V}^\ast$ 。

既然向量空間 $\mathcal{V}$ 與其對偶空間 $\mathcal{V}^{\ast}$ 同構，我們不免好奇從 $\mathcal{V}$ 的基底 $\boldsymbol{\beta}$ 是否可以得到 $\mathcal{V}^{\ast}$ 的一組自然基底？令 $\mathbf{x}\in\mathcal{V}$ 參考 $\boldsymbol{\beta}=\{\mathbf{v}_1,\ldots,\mathbf{v}_n\}$ 的座標向量為

$\begin{bmatrix} \mathbf{x} \end{bmatrix}_{\boldsymbol{\beta}}=\begin{bmatrix} c_1\\ \vdots\\ c_n \end{bmatrix}$ ，

亦即

$\mathbf{x}=c_1\mathbf{v}_1+\cdots+c_n\mathbf{v}_n$ 。

定義線性泛函 $f_i(\mathbf{x})=c_i$ ， $i=1,\ldots,n$ 。明顯地， $f_i(\mathbf{v}_j)=\delta_{ij}$ ，其中 $\delta_{ij}=1$ 若 $i=j$ ， $\delta_{ij}=0$ 若 $i\neq j$ 。我們可以把 $\delta_{ij}$ 看作單位矩陣 $I$ 的 $(i,j)$ 元。考慮線性泛函 $f_i$ 的線性組合

$f=a_1f_1+\cdots+a_nf_n$ 。

對於 $j=1,\ldots,n$ ，

$\begin{aligned} f(\mathbf{v}_j)&=a_1f_1(\mathbf{v}_j)+\cdots+a_nf_n(\mathbf{v}_j)=a_1\delta_{1j}+\cdots+a_n\delta_{nj}=a_j\end{aligned}$ 。

若 $a_1f_1+\cdots+a_nf_n=0$ ，這裡 $0$ 表示零函數，則 $f(\mathbf{v}_j)=0$ ，即有 $a_j=0$ ， $1\le j\le n$ ，表明 $\{f_1,\ldots,f_n\}$ 是線性獨立集。然而 $\mathrm{dim}\mathcal{V}^{\ast}=n$ ，推知 $\boldsymbol{\beta}^{\ast}=\{f_1,\ldots,f_n\}$ 是線性泛函空間 $\mathcal{V}^{\ast}$ 的一組基底，我們稱之為對偶基底 (dual basis)。由推導過程並知 $\boldsymbol{\beta}$ 的對偶基底 $\boldsymbol{\beta}^{\ast}$ 是唯一的。綜合以上討論，任何線性泛函 $f\in\mathcal{V}^{\ast}$ 皆可表示成

$\begin{aligned} f&=\displaystyle\sum_{i=1}^na_if_i=\displaystyle\sum_{i=1}^nf(\mathbf{v}_i)f_i\end{aligned}$ ；

類似地，任何向量 $\mathbf{x}\in\mathcal{V}$ 也可表示為

$\begin{aligned} \mathbf{x}&=\displaystyle\sum_{j=1}^nc_j\mathbf{v}_j=\sum_{j=1}^nf_j(\mathbf{x})\mathbf{v}_j\end{aligned}$ 。

上式提供了一個描述對偶基底的方式：若 $\boldsymbol{\beta}=\{\mathbf{v}_1,\ldots,\mathbf{v}_n\}$ 是向量空間 $\mathcal{V}$ 的一組有序基底且 $\boldsymbol{\beta}^\ast=\{f_1,\ldots,f_n\}$ 是對偶基底，則 $f_i$ 是參考 $\boldsymbol{\beta}$ 的第 $i$ 個座標函數。直白地說， $f_i$ 吃進向量 $\mathbf{x}\in\mathcal{V}$ ，吐出座標向量 $[\mathbf{x}]_{\boldsymbol{\beta}}$ 的第 $i$ 個座標值。合併上面二式可以推得這個結果：若 $f\in\mathcal{V}^\ast$ ，並令 $f(\mathbf{v}_i)=a_i$ ， $1\le i\le n$ ，則當 $\mathbf{x}=c_1\mathbf{v}_1+\cdots+c_n\mathbf{v}_n$ ，可得

$\displaystyle f(\mathbf{x})=a_1f_1(\mathbf{x})+\cdots+a_nf_n(\mathbf{x})=a_1c_1+\cdots+a_nc_n$ 。

這與先前得到的結果 $f(\mathbf{x})=A[\mathbf{x}]_{\boldsymbol{\beta}}$ 完全相同。解讀如下：如果我們選擇了 $\mathcal{V}$ 的一組有序基底 $\boldsymbol{\beta}$ ，並稱 $\mathbf{x}\in\mathcal{V}$ 參考 $\boldsymbol{\beta}$ 的座標向量為 $(c_1,\ldots,c_n)$ ，則定義於 $\mathcal{V}$ 的每一個線性泛函 $f$ 都具有上述表達式。

下例說明如何從 $\boldsymbol{\beta}$ 計算對偶基底 $\boldsymbol{\beta}^{\ast}$ 。設 $\boldsymbol{\beta}=\{\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3\}$ 是 $\mathbb{R}^3$ 的一組基底，其中

$\mathbf{v}_1=\left[\!\!\begin{array}{r} 1\\ 0\\ -1 \end{array}\!\!\right],~\mathbf{v}_2=\begin{bmatrix} 1\\ 1\\ 1 \end{bmatrix},~\mathbf{v}_3=\begin{bmatrix} 2\\ 2\\ 0 \end{bmatrix}$ 。

令 $\boldsymbol{\beta}^{\ast}=\{f_1,f_2,f_3\}$ 是 $\boldsymbol{\beta}$ 的對偶基底。利用性質 $f_i(\mathbf{v}_j)=\delta_{ij}$ ，當 $i=1$ ，可得

$\begin{aligned} 1&=f_1(\mathbf{v}_1)=f_1(\mathbf{e}_1-\mathbf{e}_3)=f_1(\mathbf{e}_1)-f_1(\mathbf{e}_3)\\ 0&=f_1(\mathbf{v}_2)=f_1(\mathbf{e}_1+\mathbf{e}_2+\mathbf{e}_3)=f_1(\mathbf{e}_1)+f_1(\mathbf{e}_2)+f_1(\mathbf{e}_3)\\ 0&=f_1(\mathbf{v}_3)=f_1(2\mathbf{e}_1+2\mathbf{e}_2)=2f_1(\mathbf{e}_1)+2f_1(\mathbf{e}_2),\end{aligned}$

或寫成矩陣形式：

$\left[\!\!\begin{array}{ccr} 1&0&-1\\ 1&1&1\\ 2&2&0 \end{array}\!\!\right]\begin{bmatrix} f_1(\mathbf{e}_1)\\ f_1(\mathbf{e}_2)\\ f_1(\mathbf{e}_3) \end{bmatrix}=\begin{bmatrix} 1\\ 0\\ 0 \end{bmatrix}$ 。

解得 $f_1(\mathbf{e}_1)=1$ ， $f_1(\mathbf{e}_2)=-1$ ， $f_1(\mathbf{e}_3)=0$ ，就有

$f_1(x_1,x_2,x_3)=x_1-x_2$ 。

運用類似方式，將矩陣方程等號右邊常數向量替換為 $\begin{bmatrix} 0\\ 1\\ 0 \end{bmatrix}$ 和 $\begin{bmatrix} 0\\ 0\\ 1 \end{bmatrix}$ 即得

$\begin{aligned} f_2(x_1,x_2,x_3)&=x_1-x_2+x_3\\ f_3(x_1,x_2,x_3)&=\displaystyle -\frac{1}{2}x_1+x_2-\frac{1}{2}x_3.\end{aligned}$

細心的讀者應該觀察出以 $\boldsymbol{\beta}=\{\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3\}$ 構成的三階矩陣的逆矩陣的列向量即為 $\boldsymbol{\beta}^{\ast}=\{f_1,f_2,f_3\}$ 的係數：

$\left[\!\!\begin{array}{rcc} 1&1&2\\ 0&1&2\\ -1&1&0 \end{array}\!\!\right]^{-1}=\left[\!\!\begin{array}{rrr} 1&-1&0\\ 1&-1&1\\ -\frac{1}{2}&1&-\frac{1}{2} \end{array}\!\!\right]$ 。

這裡面沒有甚麼玄妙之處，理由如下：

$\displaystyle \left[\!\!\begin{array}{rrr} 1&-1&0\\ 1&-1&1\\ -\frac{1}{2}&1&-\frac{1}{2} \end{array}\!\!\right]\left[\!\!\begin{array}{rcc} 1&1&2\\ 0&1&2\\ -1&1&0 \end{array}\!\!\right]=\begin{bmatrix} f_1(\mathbf{v}_1)&f_1(\mathbf{v}_2)&f_1(\mathbf{v}_3)\\ f_2(\mathbf{v}_1)&f_2(\mathbf{v}_2)&f_2(\mathbf{v}_3)\\ f_3(\mathbf{v}_1)&f_3(\mathbf{v}_2)&f_3(\mathbf{v}_3) \end{bmatrix}=\begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}$ 。

回到本文開頭給出的線性聯立方程組，以線性泛函表示為

$f_i(x_1,\ldots,x_n)=a_{i1}x_1+\cdots+a_{in}x_n,~~i=1,\ldots,m$ 。

究竟線性泛函和我們熟知的附屬於係數矩陣 $A=[a_{ij}]$ 的子空間有何關係？若 $\boldsymbol{\beta}=\{\mathbf{e}_1,\ldots,\mathbf{e}_n\}$ 是 $\mathbb{C}^n$ 的標準基底，則其對偶基底 $\boldsymbol{\beta}^{\ast}=\{h_1,\ldots,h_n\}$ 滿足 $h_i(\mathbf{e}_j)=\delta_{ij}$ ，即 $h_i(x_1,\ldots,x_n)=x_i$ ， $i=1,\ldots,n$ 。方程式係數 $(a_{i1},\ldots,a_{in})$ 給出了線性泛函 $f_i$ 參考標準對偶基底 $\boldsymbol{\beta}^{\ast}$ 的座標向量，即

$\begin{bmatrix} f_i \end{bmatrix}_{\boldsymbol{\beta}^{\ast}}=\begin{bmatrix} a_{i1}\\ \vdots\\ a_{in} \end{bmatrix}$ 。

所以， $m\times n$ 階矩陣 $A$ 的列空間 $C(A^T)$ 可視為線性泛函 $f_1,\ldots,f_m$ 的擴張，對 $A$ 執行基本列運算也就是 $f_1,\ldots,f_m$ 的線性組合的一種實現。再考慮求解齊次方程問題，亦即尋找 $\mathbf{x}\in\mathbb{C}^n$ 使得 $f_i(\mathbf{x})=0$ ， $i=1,\ldots,m$ ，可以這麼說，尋找 $A$ 的零空間 $N(A)$ 等同於尋找可被線性泛函 $f_1,\ldots,f_m$ 消滅的子空間 (屬於 $\mathbb{C}^n$ )。若以對偶觀點來看齊次方程問題，給定 $\mathbb{C}^n$ 的 $m$ 個向量 $(a_{i1},\ldots,a_{in})$ ， $i=1,\ldots,m$ ，我們想要找出消滅這些向量的線性泛函，也就是求

$f(x_1,\ldots,x_n)=c_1x_1+\cdots+c_nx_n$

使得

$f(a_{i1},\ldots,a_{in})=c_1a_{i1}+\cdots+c_na_{in}=0,~~i=1,\ldots,m$ 。

滿足上面 $m$ 個式子的 $(c_1,\ldots,c_n)$ 正是齊次方程 $A\mathbf{x}=\mathbf{0}$ 的解，基本列運算的目的即在找出所有可消滅子空間 $\mathrm{span}\{(a_{i1},\ldots,a_{in}),1\le i\le m\}$ ，也就是列空間 $C(A^T)$ 賦予的線性泛函。

最後我們以一個例子說明矩陣和線性泛函的子空間表達。考慮 $3\times 4$ 階矩陣

$A=\begin{bmatrix} 1&1&2&2\\ 0&1&0&1\\ 1&3&2&3 \end{bmatrix}$ ，

此矩陣的三個列對應以下線性泛函：

$\begin{aligned} f_1(x_1,x_2,x_3,x_4)&=x_1+x_2+2x_3+2x_4\\ f_2(x_1,x_2,x_3,x_4)&=x_2+x_4\\ f_3(x_1,x_2,x_3,x_4)&=x_1+3x_2+2x_3+3x_4.\end{aligned}$

對 $A$ 執行基本列運算得到簡約列梯形式

$R=\begin{bmatrix} 1&0&2&0\\ 0&1&0&0\\ 0&0&0&1 \end{bmatrix}$ ，

矩陣 $R$ 的非零列所對應的線性泛函為

$\begin{aligned} g_1(x_1,x_2,x_3,x_4)&=x_1+2x_3\\ g_2(x_1,x_2,x_3,x_4)&=x_2\\ g_3(x_1,x_2,x_3,x_4)&=x_4.\end{aligned}$

我們知道基本列運算不改變 $A$ 的列空間和零空間（兩者皆為 $\mathbb{R}^4$ 的子空間），所以 $C(A^T)=C(R^T)$ 且 $N(A)=N(R)$ 。從線性泛函觀點， $f_1,f_2,f_3$ 擴張出的 $(\mathbb{R}^4)^{\ast}$ 的子空間與 $g_1,g_2,g_3$ 擴張出的子空間相同，而且 $f_1,f_2,f_3$ 所消滅的 $\mathbb{R}^4$ 的子空間與 $g_1,g_2,g_3$ 所消滅的子空間也相同，此即 $N(A)=\mathrm{span}\{(-2,0,1,0)\}$ ，或者說線性泛函 $f(x_1,x_2,x_3,x_4)=-2x_1+x_3$ 消滅了 $A$ 的列空間 $C(A^T)$ 。

完形心理學！？讓我們了解“介面設計師”為什麼這樣設計

完形心理學！？讓我們了解“介面設計師”為什麼這樣設計 — 說服客戶與老闆、跟工程師溝通、強化設計概念的有感心理學 — 情況 1 : 為何要留那麼多空白? 害我還要滾動滑鼠(掀桌) 情況 2 : 為什麼不能直接用一頁展現? 把客戶的需求塞滿不就完工啦! (無言) 情況 3: 這種設計好像不錯，但是為什麼要這樣做? (直覺大神告訴我這樣設計，但我說不出來為什麼..) 雖然世界上有許多 GUI 已經走得又長又遠又厲害，但別以為這種古代人對話不會出現，一直以來我們只是習慣這些 GUI 被如此呈現，但為何要這樣設計我們卻不一定知道。由於完形心理學歸納出人類大腦認知之普遍性的規則，因此無論是不是 UI/UX 設計師都很適合閱讀本篇文章。但還是想特別強調，若任職於傳統科技公司，需要對上說服老闆，需要平行說服（資深）工程師，那請把它收進最愛；而習慣套用設計好的 UI 套件，但不知道為何這樣設計的 IT 工程師，也可以透過本文來強化自己的產品說服力。那就開始吧~（擊掌）完形心理學，又稱作格式塔（Gestalt）心理學，於二十世紀初由德國心理學家提出 — 用以說明人類大腦如何解釋肉眼所觀察到的事物，並轉化為我們所認知的物件。它可說是現代認知心理學的基礎，其貫徹的概念就是「整體大於個體的總合 “The whole is other than the sum of the parts.” — Kurt Koffka」。若深究完整的理論將會使本文變得非常的艱澀，因此筆者直接抽取個人認為與 UI 設計較為相關的 7 個原則（如下），並搭配實際案例做說明。有興趣了解全部理論的話可以另外 Google。 1. 相似性 (Similarity) — 我們的大腦會把相似的事物看成一體如果數個元素具有類似的尺寸、體積、顏色，使用者會自動為它們建立起關聯。這是因為我們的眼睛和大腦較容易將相似的事物組織在一起。如下圖所示，當一連串方塊和一連串的圓形並排時，我們會看成（a）一列方塊和兩列圓形（b）一排圓形和兩排三角形。對應用到介面設計上，FB 每則文章下方的按鈕圖標（按讚 Like / 留言Comment / 分享 Share）雖然功能各不相同，但由於它們在視覺上顏色、大小、排列上的相似性，用戶會將它們視認為...

閱讀完整內容

機器人的... 一天...

----------- 未完... 待續... ---------------

搜尋此網誌