AlstonWilliams's Blog

Thinking will not overcome fear but action will.

2019年二月份总结与三月份计划

读书在家无事，读了几本书．《吴晓波企业史》首先是把《吴晓波企业史》大体读完了，虽然不能说对商业史理解的多么透彻，但是看待世界的眼光确实变了．刚开始读这一系列的时候，吴晓波在前言中说，他发现商业史就是一次一次的循环．我本打算找到这个循环，判断现在的形式，该做什么．然而，这套书读了一半，我都没有找到这个循环．却在清朝末年到1980年左右，看到了第一次循环．也怨我笨，在吴晓...

Posted by AlstonWilliams on February 28, 2019

Spark内存模型初探(2)-User Memory

在上一篇文章Spark内存模型初探(1)-Storage/Execution Memory的使用中，我们初步解析了一下Storage/Execution Memory的使用。最后我们也留下了几个问题，等待我们解答。这些问题更多的集中在User Memory上。而这段时间，经过思索，探索，以及重新阅读Spark Memory Management，终于解决了大部分。但是，本文其实更多的...

Posted by AlstonWilliams on February 26, 2019

Spark内存模型初探(1)-Storage/Execution Memory的使用

过去，我翻译了几篇关于Spark内存模型的文章。翻译完以后，我觉得我对Spark内存模型已经够理解了，可是，纸上得来终觉浅，实际跑Spark任务的时候，还是会遇到OOM，而我并不知道是哪部分发生了OOM，也就不知道该如何分配Storage Memory/Execution Memory等，才会保证资源不会被浪费，也不会太小导致资源不足。正是出于这一点，我开始深入理解Spark的内存模型。...

Posted by AlstonWilliams on February 21, 2019

骇客

在我正在等待部署到Kubernetes上的项目下载镜像时，打开邮箱，看到了阿里云发过来的邮件，其中发现了一个感兴趣的字眼:”MongoDB黑客赎金事件”. 于是查了一下这个事件，发现是一个影响非常恶劣的事件．我迅速地登上我们的服务器，查看是否开启了验证功能．所幸当初开启了，现在似乎没有受到波及．但是，我们的数据库实例实际上也不怎么安全．我是非常喜欢黑客这一工作的．我甚至都把桌面壁纸换成...

Posted by AlstonWilliams on February 17, 2019

通过zero-copy进行高效的数据传输(译)

这篇文章翻译自Efficient data transfer through zero copy。由于译者水平有限，有的地方翻译的可能不正确，所以读者应当先查看原文。 Web应用程序为了提供静态内容，需要先从磁盘中读出数据，然后将这些数据写入到Socket中。虽然这个过程不会占用太多CPU资源，但是它确实效率不高。内核从磁盘读取数据，需要在内核态和用户态之间切换，然后将它写入到So...

Posted by AlstonWilliams on February 17, 2019

选择了一个适合我们的将树结构存储在关系型数据库中的方案

关于树结构的数据,如何在关系型数据库中表示,已经成为了一个老生常谈的问题.在这个项目中,我们也遇到了这个问题. 目前,业界中已经给出了一些解决方案,最常见,最常用的是这三种:Parent-Child, Materialized Path, Nested Sets.其中,讨论最多的,又是Nested Sets. 今天,在选择方案的过程中,对这几种方案,都做了一个详细的比较,也针对我们的使用...

Posted by AlstonWilliams on February 17, 2019

软件工程师需要记住的一些数字

这是Jeff Dean要我们记住的几个数字，其中也确实包含了我们在编程的过程中，经常需要注意的一些数据:

Posted by AlstonWilliams on February 17, 2019

读《史蒂夫乔布斯传》

工作之余，拜读了一下《史蒂夫乔布斯传》，感觉写的很好．这本书，是乔布斯委托一位了解他的人写的．书中的视角，并没有明显偏向史蒂夫．在以前看传记的时候，很多时候，都是明显偏向描述这个人的好，而对于其缺点，却避而不谈．而这本书，却没有．实际上，在读这本书的时候，很多次我会感觉不可思议，会感觉到愤怒，而更多的，还是鼓舞．乔布斯并不能算是一位绅士，他容易发怒，刚开始还不承认自己的亲...

Posted by AlstonWilliams on February 17, 2019

认真学完计算机体系结构,操作系统,数据结构,算法之后,我究竟得到了什么-

套路都这么说,更加理解了计算机体系结构,操作系统,数据结构,算法. 然而,今天我们不搞这些八股文.我们来谈一下,究竟得到了什么. 无论各位看没看过玄幻类小说,都知道其中的修道者,需要经过一次次的历练,然后渡劫,上升到更高的境界. 之前虽然也会用不少框架,但是终究是不能知其所以然.这种境界,就是人们常说的码农. 而虽然早就想到了飞升的方法,却并没有飞升.为何?因为不知道需要什么样的条件...

Posted by AlstonWilliams on February 17, 2019

解决docker-pull时Connection-Reset的问题

由于众所周知的原因,当我们从docker.io pull镜像时,很可能会出现 Connection Reset或者Read time-out这类错误. 我们可以使用daocloud的加速器服务,来解决这个问题.详情请自行去daocloud上查看加速器一节.

Posted by AlstonWilliams on February 17, 2019