Logit models, or Logistic regression

logit logistic model regression index

---

Logistic function

Logistic曲线 $y = f(t)$ (先把为什么叫Logistic这个名字抛在一边) 从函数角度讲，就是从实数定义域 $t \in R$ 到值域 $y \in [0,1]$ 的单调映射。
它最早用于建模人口总体规模 $p(t)$ 随时间 $t$ 的动态变化 ( PF Verhulst 1845 ):

$$\frac{dp(t)}{dt} = ap(1-\frac b a p). a,b \in Const$$

上述微分方程的解 $p$，就定义了 logistic function:

$$p(t) = \frac a b f(at+c) .$$

$f(t)$ 就是logistic分布函数:

$$f(t) = \frac {e^t} {1 + e^t} = \frac 1 {1 + e^{-t} } .$$

它的导数性质正好形如上述人口规模对时间的变化率:

$$f' = f(1-f).$$

Logistic distribution function

Logistic曲线 $y = f(t): t \in R\xrightarrow{f} y \in [0,1]$ 的性质：

• 从实数映射到[0,1]区间，
• 单调（上升），

使得它成为了一个概率分布函数，因此它就可以作为二元0-1响应变量的概率取值度量（可扩充到多元/多项Logistic）：

$$P(Y_i = 1|X) = \Lambda(X_i\beta),$$
这里$\Lambda(\cdot)$就是前面的Logistic函数$f(\cdot)$，用记号$\Lambda$强调它此时是一个概率分布函数:

• 神经网络中，它表示激活函数时，记号常用$\sigma(\cdot)$,
• 类比$\Phi(\cdot)$代表标准正态分布函数一样，实际上Probit模型与Logit模型不同之处就在于此。

Logit model, or Logistic regression

logit model 就是 Logistic regression[1]。
logit 表示的意思是对数几率：

$$logit \equiv log \; odds \; ratio.$$

几率这个词在赌徒中用的很多，表示胜的概率$p$比负的概率$1-p$ （所以命名logit 就是log odds ratio 的简称）：

$$odds \; ratio = \frac p {1-p},$$

也就是：

$$logit \; p = log \frac p {1-p}.$$

Logit models是说（$X$是数据矩阵，$\beta$是参数向量）：

$$logit \; P(Y_i = 1|X) = X_i \beta.$$

（即概率的对数几率是线性模型）

等价地是说：

$$P(Y_i = 1|X) = \Lambda(X_i\beta).$$

（即概率本身是Logistic分布函数）

• 所以logistic 就是logit 的形容词，它从（统计）命名上来看，与逻辑logic没有任何关系；尽管它最初用于二元0-1分类，会让人产生将Logistic和logic联系起来的直觉反应，尤其是学计算机系的。
  我的看法：在知道这个统计命名事实 的基础上，可以将logic和Logistic联系起来，就像PageRank后来被人解释为Larry Page一样。并且这样的联系还很容易记住这个事实：Logistic regression是分类器，虽然它有回归二字
• 为什么叫regression : 没不找到定论的话。
  我的看法 : 1）它是通过计算概率用于分类的，所以叫做回归也可以。2）线性回归 $Y_i = X_i\beta + e_i$ ，而logit model对概率取对数几率后 $logit \; P(Y_i = 1|X) = X_i \beta$，通过引入隐变量$U_i$，可将线性regression的误差项和logit模型的隐变量项对应起来。（详见参考文献第7章）