訊號與系統/機率基礎

訊號與系統

機率

這本書要求您首先閱讀機率。

《訊號與系統》這本書的這一部分將討論機率、隨機訊號和噪聲。然而，本書不會試圖教授機率的基礎知識，因為網際網路上有大量資源（包括維基百科數學書架）可以學習機率和統計。本書將假設您已經掌握了機率的基礎知識，並努力在訊號處理的電子工程書籍的背景下解釋隨機現象。

隨機變數是指其值不固定，而是以某種方式取決於機會的量。通常，隨機變數的值可能由一個固定部分和一個由於不確定性或擾動而產生的隨機部分組成。其他型別的隨機變數則根據隨機實驗的結果獲得其值。

隨機變數通常用大寫字母表示。例如，我們將經常使用一個通用的隨機變數 X。大寫字母代表隨機變數本身，而相應的小寫字母（在本例中為 "x"）將用於表示 X 的觀測值。x 是過程 X 的一個特定值。

隨機變數的平均值或更準確的期望值是隨機值的中心值，或者從長遠來看觀測值的平均值。我們將訊號 x 的平均值表示為 μ_x。我們將在下一章討論平均值的精確定義。

訊號 x 的標準差，用符號 σ_x 表示，用於衡量訊號與平均值的偏差程度。例如，如果標準差很小，則 x 的大多數值都接近平均值。如果標準差很大，則這些值會更加分散。

標準差的概念很容易理解，但在實踐中，它不是一個易於直接計算的量，也不利於計算。然而，標準差與一個更有用的量——方差有關。

方差是標準差的平方，它更具有理論意義。我們將訊號 x 的方差表示為 σ_x²。我們將在下一章討論方差及其計算方法。

機率函式 P 是指某事件發生的機率。它是根據下面描述的機率密度函式和累積分佈函式計算出來的。

我們可以用 P 運算子來進行多種操作

P[{\mbox{A coin is heads}}]={\frac {1}{2}}

P[{\mbox{A dice shows a 3}}]={\frac {1}{6}}

隨機變數的機率密度函式 (PDF) 描述了隨機變數值的分佈。透過對該函式在一個特定範圍內的積分，我們可以找到隨機變數取值位於該區間內的機率。該函式在所有可能值上的積分等於1。

我們將訊號 x 的密度函式表示為 f_x。事件 x_i 發生的機率表示為

P[x_{i}]=f_{x}(x_{i})

隨機變數的累積分佈函式 (CDF) 描述了觀測到低於或等於某個閾值的機率。CDF 函式將是非遞減的，且具有以下特性：CDF 在負無窮大處的值為零，而 CDF 在正無窮大處的值為1。

我們將函式的 CDF 表示為大寫字母 F。訊號 x 的 CDF 將帶有下標 f_x。

我們可以說，事件發生小於或等於 x_i 的機率用 CDF 定義為

P[x\leq x_{i}]=F_{x}(x_{i})

同樣，我們可以將事件發生大於 x_i 的機率定義為

P[x>x_{i}]=1-F_{x}(x_{i})

或者，事件發生的機率大於或等於 *x_i*

P[x\geq x_{i}]=1-F_{x}(x_{i})+f_{x}(x_{i})

CDF 和 PDF 之間存在一個簡單的積分關係

F_{x}(x)=\int _{-\infty }^{x}f_{x}(\tau )d\tau

f_{x}(x)={\frac {d}{dx}}F_{x}(x)

一些書籍將 CDF 稱為“機率分佈函式”，並用縮寫 PDF 表示。為了避免分佈函式和密度函式使用相同縮寫 (PDF) 造成歧義，一些書籍會將密度函式稱為“pdf” (小寫)，而將分佈函式稱為“PDF” (大寫)。為了避免這種歧義，本書將分佈函式稱為 CDF，密度函式稱為 PDF。