全链路日志分析拓扑程序安装

1 依赖

第一步,你需要 javagit 两个命令已经安装。JDK 版本使用 Java SE Development Kit 8,不支持 Java SE Development Kit 7 及以下版本。

下一步,你需要安装上述的依赖,安装顺序没有前后,需要注意的是,Apache Storm 集群版本需要依赖 Apache ZooKeeper,同时,官方文档中 Storm 推荐安装的 JDK 版本是 JDK7,经测试 JDK8 是支持的。

Storm 配置文件样例:

cat >> /root/apache-storm-1.1.0/conf/storm.yaml <<'EOF'

storm.zookeeper.servers:
    - "10.213.58.183"
    - "10.213.58.159"
    - "10.213.58.158"

storm.zookeeper.port: 12181
storm.zookeeper.root: "/apache-storm-1.1.0"

storm.local.dir: "/var/wd/storm"

nimbus.seeds: ["10.213.58.183"]

supervisor.slots.ports:
    - 16700
    - 16701
    - 16702
    - 16703

storm.health.check.timeout.ms: 5000
storm.health.check.dir: "healthchecks"

nimbus.thrift.port: 16627

ui.port: 10080

logviewer.port: 10008
drpc.port: 13772
drpc.http.port: 13774
pacemaker.port: 16699
storm.exhibitor.port: 11180

transactional.zookeeper.port: 12181
transactional.zookeeper.servers:
    - "10.213.58.183"
    - "10.213.58.159"
    - "10.213.58.158"
transactional.zookeeper.root: "/apache-storm-1.1.0-transactional"
EOF

1.2 打包拓扑程序

将本项目的源代码下载到本地之后,需要修改配置信息文件 chuanyun-analytics/src/main/filters/{environment}.properties,

{environment} 变量有下面几种选择:

  • production: 生产环境
  • staging: 准生产环境
  • development: 测试环境或本地开发环境

生产环境部署请使用 production 变量。对应的配置文件修改以下配置

# 2 Trace log analyse topology kafka spout settings
analyse.topology.spout.kafka.topic=php_trace
analyse.topology.spout.kafka.zkRoot=/ffan/kafka/ffan_service/applog
analyse.topology.spout.kafka.brokerZkStr=zk2181b.wdds.zk.com:2181,zk2181a.wdds.zk.com:2181,zk2181c.wdds.zk.com:2181
analyse.topology.spout.kafka.brokerZkPath=/ffan/kafka/ffan_service/applog/brokers
analyse.topology.spout.kafka.group=chuanyun-trace-analytics-production


# 5 URL translate Application settings
url.translate.api=http://api.breeze.ffan.biz/gateway/search?uri=%s&caller=chuanyun-storm-1.1.0
url.translate.enable=true


# 6 Elasticsearch settings
elasticserach.hosts=10.209.22.71:12300,10.209.22.72:12300,10.209.22.73:12300,10.209.22.74:12300,10.209.22.153:12300


# 7 Redis settings
redis.hosts=w10890.wdds.redis.com:10890,w10940.wdds.redis.com:10940,w10941.wdds.redis.com:10941,w10942.wdds.redis.com:10942,w10943.wdds.redis.com:10943,w10944.wdds.redis.com:10944,w10945.wdds.redis.com:10945,w10946.wdds.redis.com:10946,w10947.wdds.redis.com:10947,w10948.wdds.redis.com:10948

修改完成之后打包程序代码。

$ mvn package -Dstorm.topology=cn.wanda.chuanyun.analytics.topology.TraceLogAnalyseTopology -Dapp.environment=production

打包完成之后,将得到 target/analytics-{version}-jar-with-dependencies.jar

将该 jar 包拷贝到 Storm 集群机器上,使用下面的命令提交一个拓扑到Storm集群上。

$ {STORM_HOME}/bin/storm jar analytics-{version}-jar-with-dependencies.jar cn.wanda.chuanyun.analytics.topology.TraceLogAnalyseTopology chuanyun-trace-analytics

然后打开 http://{nimbus.host}:10080/index.html,查看 Topology Summary 下是否有名为 chuanyun-trace-analytics 的拓扑处于 ACTIVE 状态。

results matching ""

    No results matching ""