AlstonWilliams's Blog

Thinking will not overcome fear but action will.

YARN源码解析(2)-作业提交1

最近在阅读Hadoop的源码，为了加深理解，就将其记录下来。我们都知道，Hadoop主要由MapReduce实现，YARN，以及HDFS组成。所以，我会依次阅读MapReduce的实现，以及YARN，最后是HDFS的实现。在这篇文章中，我们先介绍提交一个作业的时候发生了什么。当我们运行一个作业的时候，我们都是通过:$HADOOP_HOME/bin/hadoop your.jar ...

Posted by AlstonWilliams on February 17, 2019

YARN源码解析(10)-AuxliaryService

这篇文章，实际上并不是源码解析，而是翻译的一篇文章。在我读过这部分的代码之后，看到了这么一篇文章。介绍的也不错，于是，就直接翻译过来了。 AuxiliaryService是NodeManager上的一个Service。它用yarn.nodemanager.aux-services来定义。默认值是mapreduce_shuffle，比如，在MR2中，是ShuffleHandler。这就是...

Posted by AlstonWilliams on February 17, 2019

YARN源码解析(1)-设计风格

在阅读Hadoop的源码时，看到了一种非常好的设计风格．今年，我打算设计一个分布式键值系统．在刚开始思考如何编码时，就感到非常头疼．之前阅读过Zookeeper的源码，而我感觉并没有从Zookeeper的编码风格中学到什么．实际上，我感觉他的设计非常混乱．在设计上，唯一一点我还清晰记得的就是在请求处理的时候，采用了类似过滤器的调用链的这样一种方法，感觉蛮不错的．在没有阅读Hadoop...

Posted by AlstonWilliams on February 17, 2019

YARN开启Debug模式

在研究YARN的源码时，由于info模式下，日志数量实在是有限，不能更加全面的了解。于是，就寻找了一下YARN中启动DEBUG模式的方法。经过搜索，可以在yarn-env.sh这个文件中，添加这么一行就好了： export YARN_ROOT_LOGGER="DEBUG,console" 这样就可以开启Debug模式，查看更多日志了

Posted by AlstonWilliams on February 17, 2019

Vim-+-Vundle-+-Clang-complete-+-YouCompleteMe

在Vim中,用C语言写demo,虽然加上NERDTree插件之后,写起来很方便,但是,我们仍然需要手动输入很多代码,比如变量名等.而在现在的IDE中,却有自动提示功能,我们只需要输入首字母,然后选择对应的变量名或者方法名,就能节省很多的输入时间. 在Vim中,手动输入很多demo的完整的代码后,终于忍不了了.找了两个插件来完成自动提示的功能. 下面会详细介绍插件的安装过程. Vundl...

Posted by AlstonWilliams on February 17, 2019

Unknown-SSL-protocol-error-in-connection-to-server

上面的这个错误，相信在你Curl一个被GFW屏蔽的网站时，经常会遇到．这篇文章中，会介绍在中国发生这个错误最可能的原因．在我打算搭建一个Kubernetes集群时，打算使用http_proxy来访问gcr.io这些网站．下面说一下我的步骤: 安装ShadowSocks命令行客户端设置http/https代理:export http_proxy=socks5://127....

Posted by AlstonWilliams on February 17, 2019

Ubuntu连接到ftp服务器

在实训时，由于要求使用Windows系统，而我使用的是Ubuntu系统．了解到Windows上的连接到Server时，使用的是ftp协议，所以我们完全可以自行连接．只不过麻烦一点．那么到底如何来做呢？首先，安装ncftp包．安装好之后，便可以通过ncftp来进行ftp. 进入之后，会进入如下界面: 然后我们就需要连接到ftp服务器.通过open -u user_name ...

Posted by AlstonWilliams on February 17, 2019

Ubuntu由于tracker-miner-fs造成的wa太高

执行下面的命令关掉tracker即可: echo -e “ Hidden=true “ | sudo tee –append /etc/xdg/autostart/tracker-extract.desktop /etc/xdg/autostart/tracker-miner-apps.desktop /etc/xdg/autostart/tracker-miner-fs.desktop /...

Posted by AlstonWilliams on February 17, 2019

Ubuntu升级Mysql到5-7

由于现在在做的一个项目中,需要全文检索的功能,而之前用的5.5.53版本的Mysql并没有实现全文检索的功能,在5.7中实现了,于是就考虑着升级到5.7版本. 我们这个只是一个小项目,目前只是起步阶段,还没有必要专门的使用ElasticSearch套装来做这一块.目前只使用Mysql5.7自带的全文检索功能,估计就完全能满足需求了.当然,在我们先实现了功能上的需求之后,日后会用Elasti...

Posted by AlstonWilliams on February 17, 2019

Ubuntu下的屏幕录制软件

今天做完一个作业后，需要将操作过程录制下来．而我因为不是Windows系统，这种工具找起来也不是很方便．为了防止还有跟我一样花半天功夫来搞这个的朋友，就有了这篇文章．屏幕录制的工具是SimpleScreenRecorder,软件截图如下: 具体操作流程，自己尝试一下就明白了．有几点需要注意: 在开始的设置页面中，设置好自己的声卡，否则录制出来的视频没有声音要选择合适的...

Posted by AlstonWilliams on February 17, 2019