注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

涅槃

文档收藏

 
 
 

日志

 
 
 
 

日志收集系统比较  

2013-12-10 16:17:30|  分类: awstats&日志分析 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

2012-08-22 17:42 1549人阅读 评论(0) 收藏 举报




=========== taobao time tunnel ==============

通过zookeeper注册和监控消费节点。从而完成分布式的日志收集。



=========== facebook scribe ================

通过thrift通信框架,生成各种语言的client端,收集日志。最后存入hdfs。

日志可以根据category分类存储到不同介质。

似乎没有涉及到分布式server解决方案。



=========== hadoop chukwa ================

支持自定义adapter,支持分钟级别的M/R实时计算。



=========== linkedin kafka =============

通过zookeeper进行负载均衡,broker采用zero-copy技术及时将数据持久化, 采用生产者push、消费者pull的模式,对消息进行分类处理。



============= cloudera flume ============

通过master进行负载均衡,通过zookeeper防止master单点问题

  评论这张
 
阅读(5055)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018