challengingavro源自哪里？

来源：蜘蛛抓取(WebSpider) 时间：2019-10-30 07:06 标签： Shiranchal

自从投入教育界兢兢业业，对於自己的工作非常满意并充满信心多年来积累了丰富的工作经验。

#Broker用来处理磁盘I/O的线程数目这个線程数目建议至少>等于硬盘的个数 #服务端发送缓冲区大小。单位：字节 #服务端接收缓冲区大小单位：字节 #服务端接收请求的最大大小。此配置可以有效避免Server端内 存溢出并且应小于KAFKA_HEAP_OPTS设置的大小。单位：字节 #在网络请求处理线程停止读取新请求之前可以排队等待I/O>线程处理嘚最大请求个数

之后有必要的话还可以修改生产者配置文件和消费者配置文件相关内容。（本文不做修改） 

 

 
 
 
 
 
 

 

 
 

  
 

  
 

  
 

  
 

  
 

  
 

  
 

  
 

  
 

  
 

  
 

 
 

 
 
 

 向kafka中topic为test3中生产数据开启一个消费者终端，消费topic为test2的数据
 
 

 
 
 

 
 
 

 不要配置kafka源以将数据发送到kafka接收器。如果这样做kafka源会在事件头中设置主题，覆盖sink配置并创建无限循环在源和sink之前来回发送消息。
 
 

 如果需要同时使用源和接收器请使用拦截器（interceptor）修改事件头并设置不同的主题。
 
 

 在flume A或flume B配置文件任意一个节点配置拦截器都可以解决sink topic覆盖问题
 
 

 




                            

                                                    

                                

  
  

    本文着重研究avro反序列化的Generic方式先从下面这段读取avro文件（反序列化）的代码开始讲起。
  

  

  

  

  

  

    针对不同type的schemaread方法实现也不一样。具体我们来看readRecord的实现：
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 Shiranchal 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐