AlstonWilliams's Blog

Thinking will not overcome fear but action will.

《Apache-Hadoop-YARN--Moving-MapReduce-and-Batch-Processing-with-Apache

Different Components NodeManager The NodeManager is YARN‘s per-node “worker” agent, taking care of the individual compute nodes in a Hadoop cluster. Its duties include keeping up-to-date with the...

Posted by AlstonWilliams on February 17, 2019

send-mail--fatal--parameter-inet_interfaces--no-local-interface-found

当Cron执行命令出错时，默认会发送邮件给cron任务的所有者．当然，发送邮件时也可能会出错．我就遇到了如题所示的错误．我使用的机器环境为Centos7.它默认会使用Postfix来发送邮件．我们找到其配置文件/etc/postfix/main.cf，会看到其中有如下一行: inet_interfaces = localhost 将其修改为inet_interfaces = all...

Posted by AlstonWilliams on February 17, 2019

maven-构建能够运行的jar文件

用maven来构建过jar文件的朋友可能知道,默认情况下,maven因为不会给我们添加我们项目中需要的依赖,以及不会在MANIFEST.MF文件中添加Main-Class这一条目,造成我们构建完成的jar文件不能通过java -jar命令而直接执行,必须通过java -cp命令,指定类路径来执行.这无疑是非常麻烦的. Google了之后,找到了解决问题的方案.在pom.xml文件中,添加下...

Posted by AlstonWilliams on February 17, 2019

jobId是怎样炼成的

我们在运行Spark Application的时候，或许没有注意过jobId这个东西。或许，HistoryServer中的这个tab我们都没注意看过。在这个tab中，我们可以看到，有多个jobId。那么它们是怎样生成的呢？上面这个Application，是下面这段代码: def main(args: Array[String]): Unit = { val spar...

Posted by AlstonWilliams on February 17, 2019

java-lang-ClassNotFoundException--org-jetbrains-sbt-CreateTasks

在创建Scala项目时，报这个异常。 IDE: IntelliJ IDEA SBT: 1.0.4 Scala: 2.12.4 SBT和Scala是IntelliJ IDEA自动安装的。错误原因为，项目中使用了错误的SBT版本。修改project->build.properties，将sbt.version修改成机器上的1.0.4，即可解决问题。

Posted by AlstonWilliams on February 17, 2019

gdb--“No-symbol-table-is-loaded”

1.确认编译时的优化等级为-O0 2.编译时,采用下面的参数-ggdb

Posted by AlstonWilliams on February 17, 2019

fread函数为何总是返回0-

fread函数的原型为** size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream)**. 其中第二个参数为要读取的尺寸,第三个参数为要读取的次数. 当我们要读取的文件中的实际内容小于第二个参数指定的大小时,就会总是返回0. 例如,如果一个文件的尺寸为256bytes,而我们使用** fread(data_read...

Posted by AlstonWilliams on February 17, 2019

etcd-3-2-7源码解析-编译和启动

这里的过程都是在Ubuntu下的．其他的平台请移步这里为了研究Raft算法的实现，打算看一下etcd的源码．研究源码的过程中，我们少不了调试，所以我们需要先明白从如何编译以及启动etcd．编译首先，我们需要从github上面clone下来源码．我们先创建一个目录，/home/alstonwilliams/source_code/core_etcd，进入到这个目录，...

Posted by AlstonWilliams on February 17, 2019

etcd-3-2-7源码解析-如何导入到IDE中

本来导入到IDE中是一件很简单的事，然而，etcd项目结构的改变，却让我花费了一个上午没有搞成功．主要用的语言不是Golang，所以碰到一个简单的问题也要琢磨许久．这里用的IDE是Intellij IDEA Community Edition 2016.02 build．尝试过liteide，但是用不来，界面就看不惯，而且还没有vim插件，于是就用了Intellij IDEA了． ...

Posted by AlstonWilliams on February 17, 2019

etcd-3-2-7源码解析-Raft实现(臆想篇)

这篇文章实际上并不是我在阅读etcd中跟Raft相关的部分之后得出的，而是我在读了ZooKeeper中Zab的实现以及重新读«IN Search of an Understandable Consensus Algorithm(Extended Version)»这篇论文而得到的．虽然可能跟实际的实现有一点差距，但是应该不大．后面我会读etcd源码中的Raft部分，然后再写一篇文章介绍...

Posted by AlstonWilliams on February 17, 2019