MIT Course

The Digital Abstraction 信息编码 信息的种类有各种各样，我们需要找到一种方式来表示这些信息。比如，生物的基因信息是通过DNA来记录和表达，在计算机中，所有的数据都是二进制，我们也需要一个物理介质来表达和存储这些二进制信息。 电压 目前用来存储和表达二进制信息的物理介质绝大部分都是使用电压，高电平表示1, 低电平表示0。 VTC和容错 VTC(voltage transfer characteristics)是用来表示一个电子原件的输入和输出电压关系的图，如下是一个Buffer的VTC： 其中$V_{IL},V_{IH},V_{OL},V_{OH}$是一个电子元件最重要的参数，解释如下（这里假设最高电压为1）： $V_{IL}$是低电平的输入有效范围，即如果输入电压为$[0,V_{IL}]$，就会被元件当成0处理。 $V_{IH}$是高电平的输入有效范围，即如果输入电压为$[V_{IH}, 1]$，就会被元件当成1处理。 $V_{OL}$是低电平的输出电压，即如果元件想输出0，则其输出电压应该为$[0, V_{OL}]$。 $V_{OH}$是高电平的输出电压，即如果元件想输出1，则其输出电压应该为$[V_{OH},1]$。 其中, $min(|V_{OL} - V_{IL}|, |V_{OH} - V_{IH}|)$即为该元件能容忍的噪声范围。 Summary

Basic of Information 信息是什么 信息是我们接收到的关于确实某个特定事件或者情况的数据。 量化信息 对于随机变量$X_i$，其发生的概率为$p_i$，则其传达的信息量为: $$I(x_i) = \log_2(\frac{1}{p_i})$$ 数据中的信息 假设收到data的概率$p_{data}$，则 $$I(data) = \log_2(\frac{1}{p_{data}})$$ Entropy 信息论中的entropy： $$H(X) = \sum_{i=1}^{N}p_i\log_2(\frac{1}{p_i})$$ 其中$X$为随机变量。 物理中的entropy： $$ S = k\ln\Omega $$ 其中，$k$为玻尔兹曼常数 Meaning of Entropy 为了描述某一个随机变量$X$，需要传输一系列的数据，Entropy就是确定$X_i$发生与否的平均位数，即传输量。 编码 编码就是把一个数据集合映射为一系列二进制字符串。常见的编码是把英文字母用二进制来表示，比如如下表格： A B C D ABBC的编码 00 01 10 11 00 01 01 00 01 1 000 001 01 1 1 01 0 1 10 11 0 1 1 0（无法确定） 编码不能有二义性 二叉树编码 用二叉树的边当作0和1,叶子节点当作编码的值，可以去除二义性。 定长编码 所有值的编码长度都相等。 2的补码 即将二进制最高位的全值定为$-2^{N-1}$ ...