培训课程Kafka

深入浅出hadoop设计理念简介*kafka通信协议kafka的伪分布安装、集群安装*kafka的shell操作、java操作**kafka设计理念*kafkaproducer和consumer开发**Kafka产生背景Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写,之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离线应用（数据文件，日志）Kafka就出现了。Kafka可以起到两个作用：降低系统组网复杂度降低编程复杂度，各个子系统不在是相互协商接口，各个子系统类似插口插在插座上，Kafka承担高速数据总线的作用。kafka系列文章索引:简介1.同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（110MB）。2.可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。3.分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。4.消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡。5.支持online和offline的场景。Kafka的简介设计关注重点：为生产者和消费者提供一个通用的API消息的持久化高吞吐量，可以满足百万级别消息处理对分布式和高扩展性的支持kafka最基本的架构是生产者发布一个消息到Kafka的一个主题（topic），这个主题即是由扮演KafkaServer角色的broker提供，消费者订阅这个主题，然后从中获取消息.Kafka是如何解决查找效率的的问题呢？Kafka的两大法宝数据文件的分段：Kafka解决查询效率的手段之一是将数据文件分段；为数据文件建索引：索引优化：稀疏存储，每隔一定字节的数据建立一条索引。为了进一步提高查找的效率，Kafka为每个分段后的数据文件建立了索引文件，文件名与数据文件的名字是一样的，只是文件扩展名为.index。索引文件中包含若干个索引条目，每个条目表示数据文件中一条Message的索引。索引包含两个部分（均为4个字节的数字），分别为相对offset和position。消息队列分类点对点:消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。发布/订阅:消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。消息队列MQ对比RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Loadbalance)或者数据持久化都有很好的支持。ZeroMQ：号称最快的消息队列系统，尤其针对大吞吐量的需求场景，擅长的高级/复杂的队列，但是技术也复杂，并且只提供非持久性的队列。ActiveMQ：Apache下的一个子项，类似ZeroMQ，能够以代理人和点对点的技术实现队列。Redis：是一个key-Value的NOSql数据库，但也支持MQ功能，数据量较小，性能优于RabbitMQ，数据超过10K就慢的无法忍受Kafka部署架构Kafka集群架构Kafka的基本概念Topic：特指Kafka处理的消息源（feedsofmessages）的不同分类。Partition：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。Message：消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。Producers：消息和数据生产者，向Kafka的一个topic发布消息的过程叫做producers。Consumers：消息和数据消费者，订阅topics并处理其发布的消息的过程叫做consumers。Broker：缓存代理，Kafka集群中的一台或多台服务器统称为broker。Kafka的ProducersProducer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如基于round-robin方式或者通过其他的一些算法等.消息和数据生产者，向Kafka的一个topic发布消息的过程叫做producers。异步发送批量发送可以很有效的提高发送效率。Kafkaproducer的异步发送模式允许进行批量发送，先将消息缓存在内存中，然后一次请求批量发送出去。Kafka的BrokerBroker：缓存代理，Kafka集群中的一台或多台服务器统称为broker。为了减少磁盘写入的次数,broker会将消息暂时buffer起来,当消息的个数(或尺寸)达到一定阀值时,再flush到磁盘,这样减少了磁盘IO调用的次数。Kafka的broker无状态机制1.Broker没有副本机制，一旦broker宕机，该broker的消息将都不可用。2.Broker不保存订阅者的状态，由订阅者自己保存。3.无状态导致消息的删除成为难题（可能删除的消息正在被订阅），kafka采用基于时间的SLA(服务水平保证)，消息保存一定时间（通常为7天）后会被删除。4.消息订阅者可以rewindback到任意位置重新进行消费，当订阅者故障时，可以选择最小的offset(id)进行重新读取消费消息。Kafka的Consumers消息和数据消费者，订阅topics并处理其发布的消息的过程叫做consumers。本质上kafka只支持Topic.每个consumer属于一个consumergroup;反过来说,每个group中可以有多个consumer.发送到Topic的消息,只会被订阅此Topic的每个group中的一个consumer消费.在kafka中,我们可以认为一个group是一个订阅者,一个Topic中的每个partions,只会被一个订阅者中的一个consumer消费,不过一个consumer可以消费多个partitions中的消息.kafka只能保证一个partition中的消息被某个consumer消费时,消息是顺序的.事实上,从Topic角度来说,消息仍不是有序的.注：kafka的设计原理决定,对于一个topic,同一个group中不能有多于partitions个数的consumer同时消费,否则将意味着某些consumer将无法得到消息.一个partition中的消息只会被group中的一个consumer消费;每个group中consumer消息消费互相独立;Kafka的Consumergroup1.允许consumergroup（包含多个consumer，如一个集群同时消费）对一个topic进行消费，不同的consumergroup之间独立订阅。2.为了对减小一个consumergroup中不同consumer之间的分布式协调开销，指定partition为最小的并行消费单位，即一个group内的consumer只能消费不同的partition。Kafka的Topics/Log一个Topic可以认为是一类消息，每个topic将被分成多partition(区),每个partition在存储层面是appendlog文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量）,partition是以文件的形式存储在文件系统中。Logs文件根据broker中的配置要求,保留一定时间后删除来释放磁盘空间。Partition：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。Kafka的partitions设计目的：kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.Kafka的MessageMessage消息：是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。partition中的每条Message包含了以下三个属性：offset对应类型：longMessageSize对应类型：int32data是message的具体内容Kafka的MessageKafka的offset每条消息在文件中的位置称为offset（偏移量）。offset为一个long型数字，它是唯一标记一条消息。它唯一的标记一条消息。kafka并没有提供其他额外的索引机制来存储offset，因为在kafka中几乎不允许对消息进行“随机读写”。Partition中的每条Message由offset来表示它在这个partition中的偏移量，这个offset不是该Message在partition数据文件中的实际存储位置，而是逻辑上一个值，它唯一确定了partition中的一条Message。因此，可以认为offset是partition中Message的id。Kafka的offset怎样记录每个consumer处理的信息的状态？在Kafka中仅保存了每个consumer已经处理数据的offset。这样有两个好处：1）保存的数据量少2）当consumer出错时，重新启动consumer处理数据时，只需从最近的offset开始处理数据即可。Kafka的消息处理机制1.发送到partitions中的消息将会按照它接收的顺序追加到日志中2.对于消费者而言,它们消费消息的顺序和日志中消息顺序一致.3.如果Topic的replicationfactor为N,那么允许N-1个kafka实例失效.Kafka的消息处理机制4.kafka对消息的重复、丢失、错误以及顺序型没有严格的要求。5.kafka提供at-least-oncedelivery,即当consumer宕机后，有些消息可能会被重复delivery。6.因每个partition只会被consumergroup内的一个consumer消费，故kafka保证每个partition内的消息会被顺序的订阅。7.Kafka为每条消息为每条消息计算CRC校验，用于错误检测，crc校验不通过的消息会直接被丢弃掉。ack校验，当消费者消费成功，返回ack信息！数据传输的事务定义atmostonce:最多一次,这个和JMS中非持久化消息类似.发送一次,无论成败,将不会重发.atleasto