AlstonWilliams's Blog

Thinking will not overcome fear but action will.

Spark内存模型初探(1)-Storage/Execution Memory的使用

过去，我翻译了几篇关于Spark内存模型的文章。翻译完以后，我觉得我对Spark内存模型已经够理解了，可是，纸上得来终觉浅，实际跑Spark任务的时候，还是会遇到OOM，而我并不知道是哪部分发生了OOM，也就不知道该如何分配Storage Memory/Execution Memory等，才会保证资源不会被浪费，也不会太小导致资源不足。正是出于这一点，我开始深入理解Spark的内存模型。...

Posted by AlstonWilliams on February 21, 2019

骇客

在我正在等待部署到Kubernetes上的项目下载镜像时，打开邮箱，看到了阿里云发过来的邮件，其中发现了一个感兴趣的字眼:”MongoDB黑客赎金事件”. 于是查了一下这个事件，发现是一个影响非常恶劣的事件．我迅速地登上我们的服务器，查看是否开启了验证功能．所幸当初开启了，现在似乎没有受到波及．但是，我们的数据库实例实际上也不怎么安全．我是非常喜欢黑客这一工作的．我甚至都把桌面壁纸换成...

Posted by AlstonWilliams on February 17, 2019

通过zero-copy进行高效的数据传输(译)

这篇文章翻译自Efficient data transfer through zero copy。由于译者水平有限，有的地方翻译的可能不正确，所以读者应当先查看原文。 Web应用程序为了提供静态内容，需要先从磁盘中读出数据，然后将这些数据写入到Socket中。虽然这个过程不会占用太多CPU资源，但是它确实效率不高。内核从磁盘读取数据，需要在内核态和用户态之间切换，然后将它写入到So...

Posted by AlstonWilliams on February 17, 2019

选择了一个适合我们的将树结构存储在关系型数据库中的方案

关于树结构的数据,如何在关系型数据库中表示,已经成为了一个老生常谈的问题.在这个项目中,我们也遇到了这个问题. 目前,业界中已经给出了一些解决方案,最常见,最常用的是这三种:Parent-Child, Materialized Path, Nested Sets.其中,讨论最多的,又是Nested Sets. 今天,在选择方案的过程中,对这几种方案,都做了一个详细的比较,也针对我们的使用...

Posted by AlstonWilliams on February 17, 2019

软件工程师需要记住的一些数字

这是Jeff Dean要我们记住的几个数字，其中也确实包含了我们在编程的过程中，经常需要注意的一些数据:

Posted by AlstonWilliams on February 17, 2019

读《史蒂夫乔布斯传》

工作之余，拜读了一下《史蒂夫乔布斯传》，感觉写的很好．这本书，是乔布斯委托一位了解他的人写的．书中的视角，并没有明显偏向史蒂夫．在以前看传记的时候，很多时候，都是明显偏向描述这个人的好，而对于其缺点，却避而不谈．而这本书，却没有．实际上，在读这本书的时候，很多次我会感觉不可思议，会感觉到愤怒，而更多的，还是鼓舞．乔布斯并不能算是一位绅士，他容易发怒，刚开始还不承认自己的亲...

Posted by AlstonWilliams on February 17, 2019

认真学完计算机体系结构,操作系统,数据结构,算法之后,我究竟得到了什么-

套路都这么说,更加理解了计算机体系结构,操作系统,数据结构,算法. 然而,今天我们不搞这些八股文.我们来谈一下,究竟得到了什么. 无论各位看没看过玄幻类小说,都知道其中的修道者,需要经过一次次的历练,然后渡劫,上升到更高的境界. 之前虽然也会用不少框架,但是终究是不能知其所以然.这种境界,就是人们常说的码农. 而虽然早就想到了飞升的方法,却并没有飞升.为何?因为不知道需要什么样的条件...

Posted by AlstonWilliams on February 17, 2019

解决docker-pull时Connection-Reset的问题

由于众所周知的原因,当我们从docker.io pull镜像时,很可能会出现 Connection Reset或者Read time-out这类错误. 我们可以使用daocloud的加速器服务,来解决这个问题.详情请自行去daocloud上查看加速器一节.

Posted by AlstonWilliams on February 17, 2019

解决automake不生成Makefile-in的问题

我用的automake的版本是1.14.1,按照一个tutorial来做的时候,一直不能用automake产生Makefile.in文件.错误提示如下: Makefile.am: error: required file ./AUTHORS not found 完全是照着tutorial上来做的,为啥它的能行,我的就不行呢? 找了大量的文档,也没有知道答案. 最后,我创建了缺少的文件...

Posted by AlstonWilliams on February 17, 2019

解决VirtualBox-kernel-module-not-installed问题

最近在用Vagrant配合VirtualBox来做Kubernetes的实验时，一直都遇到如题所示的错误。花了好长时间都没解决，甚至都重装系统了，还是没解决。今天深入的搜索了一下答案，搜索一下编译VirtualBox kernel module时遇到的一个错误:modprobe vboxdrv failed.竟然搜到了正确答案。原因是，因为机器上开启了Security Boot,所以...

Posted by AlstonWilliams on February 17, 2019