漫谈 信号与系统入门

本文出自漫谈信号与系统入门第一课——什么是卷积傅利叶变换拉普拉斯变换先说“卷积有什么用”这个问题。（有人抢答，“卷积”是为了学习“信号与系统”这门课的后续章节而存在的。我大吼一声，把他拖出去枪毙！）讲一个故事：张三刚刚应聘到了一个电子产品公司做测试人员，他没有学过”信号与系统”这门课程。一天，他拿到了一个产品，开发人员告诉他，产品有一个输入端，有一个输出端，有限的输入信号只会产生有限的输出。然后，经理让张三测试当输入sin(t)（t1秒）信号的时候（有信号发生器），该产品输出什么样的波形。张三照做了，画了一个波形图。“很好！”经理说。然后经理给了张三一叠A4纸：”这里有几千种信号，都用公式说明了，输入信号的持续时间也是确定的。你分别测试以下我们产品的输出波形是什么吧！”这下张三懵了，他在心里想”上帝，帮帮我把，我怎么画出这些波形图呢？”于是上帝出现了：”张三，你只要做一次测试，就能用数学的方法，画出所有输入波形对应的输出波形”。上帝接着说：”给产品一个脉冲信号，能量是1焦耳，输出的波形图画出来！”张三照办了，”然后呢？”上帝又说，”对于某个输入波形，你想象把它微分成无数个小的脉冲，输入给产品，叠加出来的结果就是你的输出波形。你可以想象这些小脉冲排着队进入你的产品，每个产生一个小的输出，你画出时序图的时候，输入信号的波形好像是反过来进入系统的。”张三领悟了：”哦，输出的结果就积分出来啦！感谢上帝。这个方法叫什么名字呢？”上帝说：”叫卷积！”从此，张三的工作轻松多了。每次经理让他测试一些信号的输出结果，张三都只需要在A4纸上做微积分就是提交任务了！张三愉快地工作着，直到有一天，平静的生活被打破。经理拿来了一个小的电子设备，接到示波器上面，对张三说：”看，这个小设备产生的波形根本没法用一个简单的函数来说明，而且，它连续不断的发出信号！不过幸好，这个连续信号是每隔一段时间就重复一次的。张三，你来测试以下，连到我们的设备上，会产生什么输出波形！”张三摆摆手：”输入信号是无限时长的，难道我要测试无限长的时间才能得到一个稳定的，重复的波形输出吗？”经理怒了：”反正你给我搞定，否则炒鱿鱼！”张三心想：”这次输入信号连公式都给出出来，一个很混乱的波形；时间又是无限长的，卷积也不行了，怎么办呢？”及时地，上帝又出现了：”把混乱的时间域信号映射到另外一个数学域上面，计算完成以后再映射回来”“宇宙的每一个原子都在旋转和震荡，你可以把时间信号看成若干个震荡叠加的效果，也就是若干个可以确定的，有固定频率特性的东西。”“我给你一个数学函数f，时间域无限的输入信号在f域有限的。时间域波形混乱的输入信号在f域是整齐的容易看清楚的。这样你就可以计算了”“同时，时间域的卷积在f域是简单的相乘关系，我可以证明给你看看”“计算完有限的程序以后，取f(-1)反变换回时间域，你就得到了一个输出波形，剩下的就是你的数学计算了！”张三谢过了上帝，保住了他的工作。后来他知道了，f域的变换有一个名字，叫做傅利叶什么什么......再后来，公司开发了一种新的电子产品，输出信号是无限时间长度的。这次，张三开始学拉普拉斯了......后记：不是我们学的不好，是因为教材不好，老师讲的也不好。很欣赏Google的面试题：用3句话向老太太讲清楚什么是数据库。这样的命题非常好，因为没有深入的理解一个命题，没有仔细的思考一个东西的设计哲学，我们就会陷入细节的泥沼：背公式，数学推导，积分，做题；而没有时间来回答”为什么要这样”。做大学老师的做不到”把厚书读薄”这一点，讲不出哲学层面的道理，一味背书和翻讲ppt，做着枯燥的数学证明，然后责怪”现在的学生一代不如一代”，有什么意义吗？漫谈信号与系统入门第二课——到底什么是频率什么是系统？我用讲故事的方法来说明了信号与系统这门课的所有基本概念，包括卷积，傅立叶变换，拉普拉斯变换的基本思想。说清楚这些基本思想不需要任何复杂的数学公式，完全用中文，用测试举例的一个故事就完全说明了。这一篇，我展开的说一下傅立叶变换F。注意，傅立叶变换的名字F可以表示频率的概念（freqence），也可以包括其他任何概念，因为它只是一个概念模型，为了解决计算的问题而构造出来的（例如时域无限长的输入信号，怎么得到输出信号）。我们把傅立叶变换看一个C语言的函数，信号的输出输出问题看为IO的问题，然后任何难以求解的x→y的问题都可以用x→f(x)→f-1(x)→y来得到。1.到底什么是频率？一个基本的假设：任何信息都具有频率方面的特性，音频信号的声音高低，光的频谱，电子震荡的周期，等等，我们抽象出一个简谐振动的概念，数学名称就叫做频率。想象在x-y平面上有一个原子围绕原点做半径为1匀速圆周运动，把x轴想象成时间，那么该圆周运动在y轴上的投影就是一个sin(t)的波形。相信中学生都能理解这个。那么，不同的频率模型其实就对应了不同的圆周运动速度。圆周运动的速度越快，sin(t)的波形越窄。频率的缩放有两种模式（a）老式的收音机都是用磁带作为音乐介质的，当我们快放的时候，我们会感觉歌唱的声音变得怪怪的，调子很高，那是因为”圆周运动”的速度增倍了，每一个声音分量的sin(t)输出变成了sin(nt)。（b）在CD/计算机上面快放或满放感觉歌手快唱或者慢唱，不会出现音调变高的现象：因为快放的时候采用了时域采样的方法，丢弃了一些波形，但是承载了信息的输出波形不会有宽窄的变化；满放时相反，时域信号填充拉长就可以了。从柏拉图开始，数学追求和研究的就是某种”不变”的东西。频率特性就是一种时不变或者是空间移不变的数学特性，不管是几维的信息，不管是求全局的傅立叶频率或者是局部的小波滤波的结果，都具有这样的好处。但是，频率本身的弱点是对于尺度和旋转没有”不变性”，一个苹果在频率上更接近于大小和他差不多的梨，而不是缩小或者放大了的自己。所以，频率如果作为特征的话，最重要的是尺寸和角度的归一化，而这种归一化本身又是和特征相关联的，成了一个莫比乌斯圈，绕回来了。因此，一维的标量数学不足以说明事物的本质，我们必须有2维的复变函数----线形变化就是伸缩和旋转。模式识别的学科也都是基于一个假设----图像的变化都是线形变化，其实这只是一个假设，好比是幂级数展开的时候只考虑一次项，对于大尺度的非线性变换这种幂级数近似是无效的，因为可能不收敛。频率有频谱，矩阵有矩阵的谱（特征向量和特征值）。如果特征一样，那么我们认为两个矩阵相似。但是实际当中不存在特征值一模一样的矩阵，所以矩阵的相似程度就成了比对特征值本身。这种比对通常是在欧式空间展开的，但是，一个2维矩阵本身是一个整体，而特征向量代表的是，根本无视矩阵的整体性，而把矩阵看成是一系列向量的排列（顺序无关，不是组合），所以，矩阵是1维*1维不等于2维。矩阵理论无法完整的处理2维信息，顺序和排列本身代表的约束信息被完全忽略掉了。所以，使用矩阵+统计的方法，在模式识别领域根本无法得到非常好的结果，也无法构造出足够鲁棒的系统。所以即使有了矩阵的优化算法，例如降维（SVD和PCA），只是降低了存储和计算的复杂度；信息本身是越处理越少的，这是信息论中关于熵的基本理论。当然，为此提出的2维PCA算法算是一种改进。PCA的根本特性就是多维的坐标作了旋转以后，可以认为某些方向的投影幅度都接近于0，所以可以去掉这一维。用频率为自然立法—有很多种为自然立法的方式，有神学的，有柏拉图的形而上学的，有毕达哥拉斯的机械计算主义的，有迪利赫利特的原子与结构，等等。频率只是其中的一种罢了。2.F变换得到的结果有负数/复数部分，有什么物理意义吗？解释：F变换是个数学工具，不具有直接的物理意义，负数/复数的存在只是为了计算的完整性。3.信号与系统这们课的基本主旨是什么？对于通信和电子类的学生来说，很多情况下我们的工作是设计或者OSI七层模型当中的物理层技术，这种技术的复杂性首先在于你必须确立传输介质的电气特性，通常不同传输介质对于不同频率段的信号有不同的处理能力。以太网线处理基带信号，广域网光纤传出高频调制信号，移动通信，2G和3G分别需要有不同的载频特性。那么这些介质（空气，电线，光纤等）对于某种频率的输入是否能够在传输了一定的距离之后得到基本不变的输入呢？那么我们就要建立介质的频率相应数学模型。同时，知道了介质的频率特性，如何设计在它上面传输的信号才能大到理论上的最大传输速率？----这就是信号与系统这门课带领我们进入的一个世界。当然，信号与系统的应用不止这些，和香农的信息理论挂钩，它还可以用于信息处理（声音，图像），模式识别，智能控制等领域。如果说，计算机专业的课程是数据表达的逻辑模型，那么信号与系统建立的就是更底层的，代表了某种物理意义的数学模型。数据结构的知识能解决逻辑信息的编码和纠错，而信号的知识能帮我们设计出码流的物理载体（如果接受到的信号波形是混乱的，那我依据什么来判断这个是1还是0？逻辑上的纠错就失去了意义）。在工业控制领域，计算机的应用前提是各种数模转换，那么各种物理现象产生的连续模拟信号（温度，电阻，大小，压力，速度等）如何被一个特定设备转换为有意义的数字信号，首先我们就要设计一个可用的数学转换模型。4.如何设计系统？设计物理上的系统函数（连续的或离散的状态），有输入，有输出，而中间的处理过程和具体的物理实现相关，不是这门课关心的重点（电子电路设计？）。信号与系统归根到底就是为了特定的需求来设计一个系统函数。设计出系统函数的前提是把输入和输出都用函数来表示（例如sin(t)）。分析的方法就是把一个复杂的信号分解为若干个简单的信号累加，具体的过程就是一大堆微积分的东西，具体的数学运算不是这门课的中心思想。那么系统有那些种类呢？（a）按功能分类：调制解调（信号抽样和重构），叠加，滤波，功放，相位调整，信号时钟同步，负反馈锁相环，以及若干子系统组成的一个更为复杂的系统----你可以画出系统流程图，是不是很接近编写程序的逻辑流程图？确实在符号的空间里它们没有区别。还有就是离散状态的数字信号处理（后续课程）。（b）按系统类别划分，无状态系统，有限状态机，线性系统等。而物理层的连续系统函数，是一种复杂的线性系统。5.最好的教材？符号系统的核心是集合论，不是微积分，没有集合论构造出来的系统，实现用到的微积分便毫无意义—你甚至不知道运算了半天到底是要作什么。以计算机的观点来学习信号与系统，最好的教材之一就是《StructureandInterpretationofSignalsandSystems》，作者是UCBerkeley的EdwardA.LeeandPravinVaraiya----先定义再实现，符合人类的思维习惯。国内的教材通篇都是数学推导，就是不肯说这些推导是为了什么目的来做的，用来得到什么，建设什么，防止什么；不去从认识论和需求上讨论，通篇都是看不出目的的方法论，本末倒置了。漫谈信号与系统入门——第三课抽样定理是干什么的1.举个例子，打电话的时候，电话机发出的信号是PAM脉冲调幅，在电话线路上传的不是话音，而是话音通过信道编码转换后的脉冲序列，在收端恢复语音波形。那么对于连续的说话人语音信号，如何转化成为一些列脉冲才能保证基本不失真，可以传输呢？很明显，我们想到的就是取样，每隔M毫秒对话音采样一次看看电信号振幅，把振幅转换为脉冲编码，传输出去，在收端按某种规则重新生成语言。那么，问题来了，每M毫秒采样一次，M多小是足够的？在收端怎么才能恢复语言波形呢？对于第一个问题，我们考虑，语音信号是个时间频率信号（所以对应的F变换就表示时间频率）把语音信号分解为若干个不同频率的单音混合体（周期函数的傅立叶级数展开，非周期的区间函数，可以看成补齐以后的周期信号展开，效果一样），对于最高频率的信号分量，如果抽样方式能否保证恢复这个分量，那么其他的低频率分量也就能通过抽样的方式使得信息得以保存。如果人的声音高频限制在3000Hz，那么高频分量我们看成sin(3000t)，这个s