Tail Sum Formula 的学习笔记
Zhenbo Li June 14, 2021最近看书时，接触到了 Tail-Sum Formula. 公式的定义如下
$$E(X) = \sum_{x=1}^{\infty} P(X \geq x) $$
它也有一个等价形式
$$E(X) = \sum_{x=0}^{\infty} P(X \gt x) $$
公式证明
在 Sinho Chewi 的笔记 上，可以看到这一公式的证明。
红框内的这步变换比较跳跃，我阅读时，在这里卡顿了很久，发现这里其实很简单。
对于原式
$$ E(X) = \sum_{x=1}^{\infty} \sum_{k=1}^{k=x} P(X=x) $$
我们将每一行的结果 Row(X=x) 拆出来
$$ Row(X=x) = \sum_{k=1}^{k=x} P(X=x) $$
$$ E(X) = \sum_{x=1}^{\infty} Row(X=x) $$
示意图如下
我们如果竖向看这个示意图（红圈），那就可以得到另外一种形式
$$ E(X) = \sum_{k=1}^{\infty} Column(K=k) $$
$$ Column(K=k) = \sum_{x=k}^{\infty} P(X=x)$$
这也就是 Sinho Chewi 所提的
$$ E(X) = \sum_{k=1}^{\infty} \sum_{x=k}^{\infty} P(X=x) $$
公式应用
在 Probability for Statistics and Machine Learning 一书中，对此定理有一个有趣的例题：
一对夫妇准备生若干个孩子，直到子女中既有男孩也有女孩。令生男孩的概率为 p，求期望的子女数。
有了 Tail Sum Formula，我们只需求解 $$ P(X > n) $$，也就是 前 n 个孩子的性别相同(男或女)。那么，可以得到
$$ P(X > n) = p^n + (1-p)^n \quad \textrm{if} \quad n \geq 2$$
注意，$$P(X = 0) = P(X = 1) = 1$$
现在套用公式，
$$ E(X) = \sum_{x=0}^{\infty} P(X \gt x) $$
$$ E(X) = P(X = 0) + P(X = 1) + \sum_{x=2}^{\infty} P(X \gt x)$$
$$ E(X) = 2 + \sum_{x=2}^{\infty} [p^n + (1-p)^n]$$
等比数列求和时，我们有
$$ \sum_{n=2}^{\infty} a^n = (\sum_{x=1}^{\infty} a^n) - a $$
$$ \sum_{n=1}^{\infty} a^n = \frac{a}{1-a} \quad (-1 \lt a \lt 1) $$
$$ \sum_{n=2}^{\infty} a^n = \frac{a^2}{1-a} \quad (-1 \lt a \lt 1) $$
带入原式，
$$ E(X) = 2 + \frac{p^2}{1-p} + \frac{(1-p)^2}{1-(1-p)} $$
$$ E(X) = 2 + \frac{p^3 + (1-p)^3}{p(1-p)} $$
$$ p^3 + (1-p)^3 = p^3 + 1 - 3p + 3p^2-p^3 = 3p^2-3p+1 $$
$$ E(X) = \frac{2p-2p^2}{p(1-p)} + \frac{3p^2-3p+1}{p(1-p)} $$
$$ E(X) = \frac{p(p-1)+1}{p(1-p)} $$
最终，得到结论
$$ E(X) = \frac{1}{p(1-p)} - 1 $$
后记
一个非常简单的公式，在书上只用了一页不到，但我却忙了一下午才搞清楚。既然如此，不如更进一步，写一篇笔记出来，也借机迫使自己把每一步的推导弄清楚。
感谢老同学 毕睿克 为本文草稿提出的意见。
示意图 我是用 LibreOffice Calc 制作的，步骤繁琐且效率差。如果有人了解如何绘制类似图形，恳请您不吝赐教。