spark 1.3.1 master 源码初探01
首先打开远程调试:
1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
2.IDEA里面创建远程调试配置
3.在服务器上启动master
3.点击debug(小虫子)就可以开始了
入口:
org.apache.spark.deploy.master.Master:865 Line Mian
进入startSystemAndActor,这里会通过一系列安全校验后通过Akka建立Actor
下面跟进AkkaUtils.createActorSystem
尝试启动服务
若是启动失败,重新尝试以及计算端口
开始启动
ActorSystem启动完成,下面开始看启动Master:
主构造器中有意思的代码:
查看Master
preStart中,订阅事件以及检测Worker心跳
preStart中,订阅事件以及检测Worker心跳
执行到这里master启动就差不多了
, 有时间接着总结。
, 有时间接着总结。
版权声明:本文为博主原创文章,未经博主允许不得转载。