连续分布与变量变换：从密度到矩母函数

本文由数理统计第三课笔记整理。连续随机变量的概率来自密度的积分；当对变量做变换时，既要变换数值，也要考虑区间长度如何改变。

四种常见连续分布

分布	参数约定	期望	方差
均匀 \(U(a,b)\)	\(a<b\)	\((a+b)/2\)	\((b-a)^2/12\)
指数 \(\operatorname{Exp}(\lambda)\)	\(\lambda>0\) 为速率	\(1/\lambda\)	\(1/\lambda^2\)
Gamma \((\alpha,\beta)\)	形状 \(\alpha>0\)，速率 \(\beta>0\)	\(\alpha/\beta\)	\(\alpha/\beta^2\)
正态 \(N(\mu,\sigma^2)\)	\(\sigma>0\)	\(\mu\)	\(\sigma^2\)

均匀分布在区间内的密度是 \(1/(b-a)\)，区间外为 0。“均匀”表示相同长度的子区间具有相同概率，而不是每个单点有正的相同概率。

指数分布与无记忆性

对 \(x\ge0\)，指数分布的 CDF 为：

\[F_X(x)=1-e^{-\lambda x}\]

对 \(s,t\ge0\)，其无记忆性可以直接从尾概率得到：

\[P(X>s+t\mid X>s)=\frac{e^{-\lambda(s+t)}}{e^{-\lambda s}}=e^{-\lambda t}\]

已经等待了多久，不改变额外等待时间的分布。这是模型假设，不适用于所有设备寿命或排队系统。

Gamma：先确认 rate 与 scale

本文采用速率参数化，其密度为：

\[f_X(x)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},\qquad x>0\]

其中 \(\Gamma(\alpha)=\int_0^\infty u^{\alpha-1}e^{-u}\,du\)。若采用尺度参数 \(\theta\)，则 \(\theta=1/\beta\)，均值为 \(\alpha\theta\)。两种写法描述同一个分布，但参数不能混用。

当形状参数是正整数时，Gamma 可以描述齐次泊松过程中等待第若干次事件的时间；形状也可以是非整数，此时不应简单解释为等待“非整数个事件”。

正态分布的标准化

\[Z=\frac{X-\mu}{\sigma}\sim N(0,1)\]

标准化使不同位置和尺度的正态变量可以使用同一个标准正态 CDF 计算概率。

变量变换：为什么要乘导数

对 \(Y=g(X)\)，在相关支持集上，若 \(g\) 严格单调且满足相应可微条件：

\[f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right|\]

逆函数导数补偿变换前后小区间长度的伸缩。支持集也要一起变换，不能只替换公式中的变量。

例如 \(Y=e^X\)，则 \(y>0\)，逆变换为 \(x=\log y\)，所以：

\[f_Y(y)=\frac{f_X(\log y)}{y},\qquad y>0\]

如果 \(X\) 的支持集包含正负两侧，\(Y=X^2\) 在 \(y>0\) 处可能同时接收两个分支：

\[f_Y(y)=\frac{f_X(\sqrt y)+f_X(-\sqrt y)}{2\sqrt y}\]

不在原支持集内的分支没有贡献。遇到复杂变换时，也可以先写 \(P(g(X)\le y)\) 求 CDF，再对其求导。

矩母函数与独立求和

\[M_X(t)=E(e^{tX})\]

若在 0 的邻域内存在，便可通过对 \(t\) 求导得到原点矩：

\[E(X)=M_X'(0),\qquad E(X^2)=M_X''(0)\]

独立变量满足 \(M_{X+Y}(t)=M_X(t)M_Y(t)\)，适用于双方矩母函数存在的范围。并非所有分布都具有在 0 附近有限的矩母函数。