隨機變數的期望運算元定義為
這個運算元非常有用，我們可以用它來推匯出隨機變數的矩。
矩是一個包含有關隨機變數的一些資訊的數值。隨機變數的n-矩定義為
隨機變數的平均值或“平均值”定義為隨機變數的一階矩
我們將使用希臘字母μ來表示隨機變數的平均值。
中心矩類似於矩，但它也依賴於隨機變數的平均值
一階中心矩始終為零。
隨機變數的方差定義為二階中心矩
方差的平方根，σ，被稱為隨機變數的標準差
隨機變數的平均值和方差可以由以下公式關聯
這是一個重要的函式，我們將在後面使用它。
隨機變數 X {\displaystyle X} 的熵定義為
![{\displaystyle E[x]=\int _{-\infty }^{\infty }xf_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2b58e848d8e4a19c925ee5f8df3d9116c3492857)
![{\displaystyle E[x^{n}]=\int _{-\infty }^{\infty }x^{n}f_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e5c9508417239f7295b9d855ed46855f7fbae4c3)
![{\displaystyle E[x]=\mu _{X}=\int _{-\infty }^{\infty }xf_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/df58e6fb7c5930266820f0914979bc4b100d6421)
![{\displaystyle E[(x-\mu _{X})^{n}]=\int _{-\infty }^{\infty }(x-\mu _{X})^{n}f_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c78992ed4177626630e33fcda5c2840d085628c9)
![{\displaystyle E[(x-\mu _{X})^{2}]=\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5487e3cff8e4f6a49b7806947dd24546331c9998)
![{\displaystyle \sigma ^{2}=\mu ^{2}+E[x^{2}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/afa26e70577291acb68de4c96271a582897254de)
的熵定義為![{\displaystyle H[X]=E\left[{\frac {1}{p(X)}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9ff9a80efbfd1c426a2d259c7ef8ffbcf89c29e4)
