AlstonWilliams's Blog

Thinking will not overcome fear but action will.

2020年七月份总结与八月份计划

生活这个月，生活和工作回到了正轨。六月时事故频发，加上一些其他的事情，大多是在加班中度过。这种状态多了，就很容易心累，容易怀疑自我，怀疑工作，整个人就很消极。所以整个六月我一直很紧张，易怒。七月份以后，开始重新规划未来。重新审视过去做的规划，发现它们早已不适合。过去做的规划，是针对一个人生活的。两个人生活的部分，只是稍微规划了一下，跟实际生活相差甚远。而且过去的规划也忽略了非常重...

Posted by AlstonWilliams on July 30, 2020

2020年五月份总结与六月份计划

不止有苟且，还有诗和远方的生活这个月，有了一个很大的转变。之前做什么事，都不能违法。而现在则会考虑违法的成本多高，自己能不能承担的起，获得的收益多大，如果违法的成本不高并且收益巨大，就倾向于做这件事。月初跟一些朋友吃饭聊天，聊到经济形势，社会发展，对自己的认知冲击很大。就是突然意识到自己过去一直忙于工作，这些经济方面的都陷入了闭目塞听的困境中了。而看一下自己制定的五年计划，其中关...

Posted by AlstonWilliams on May 30, 2020

2020年四月份总结与五月份计划

生活这个月更累，也更充实。每天会练一个小时的吉他，一曲《爱的罗曼史》练了三周也没达到自己想要的效果。中间总是会有些地方听起来不太对劲。有时是三品到七品移动时跨度有些大，导致旋律有些停顿。有时是音高没把握好，结果有的地方明明应该是低音却弹成了高音。有时是右手节奏把握不到位，会快或者慢一些，听起来也不是想要的效果。练的时间久了，右手无名指就开了花。请教老师有没有办法保护一下右手无名指...

Posted by AlstonWilliams on April 30, 2020

HBase强制disable表

笔者在使用HBase的过程中，遇到了一个非常蛋疼的问题。表死活disable不掉，页面上一直显示region在OPEN。所以想把这张表禁用掉，然后重建一张。但是表有region在Open的时候，有个锁，所以disable也不现实。 Google到了一波骚操作，可以直接通过修改meta表的方式把表禁用掉： put 'hbase:meta','insight:label_ds_merged...

Posted by AlstonWilliams on April 26, 2020

HBase bulkload后RegionServer CPU负载过高

bulkload时，日志出现了大量CallException。猜测是由于其它进程占用了大量CPU资源，导致HBase进程无法响应。但是登上RegionServer后发现，是HBase进程占用大量CPU资源。然后用top命令查看是进程内哪个线程的CPU占用过高，用jstack导出线程调用栈后，发现是此线程是在compaction。经过排查，发现导致这个问题的原因是bulkload数据进...

Posted by AlstonWilliams on April 26, 2020

Spark limit改进

在执行一条SQL，类似sparkSession.sql(“select * from table where id=1 limit 10000000”)这种SQL时，发现速度很慢。后面只有一个partition在处理。 limit的原理就是在先根据查询条件组成一个RDD，然后每个partition取limit数量，再统一发给一个partition，然后取出limit数量的Row. 这个实...

Posted by AlstonWilliams on April 12, 2020

Hadoop性能调优-vm.swappiness

在阅读《Learning HBase》时，看到优化性能小节时，看到了这个参数。不懂这个参数是干嘛的，就Google了下。链接在这儿简单来说，这个参数控制内存swap的次数。当设置为0的时候，当有应用程序要用内存时，就总是先放在内存中，等没有足够的内存时，才进行swap。而设置为100时，则总是会先找到不活跃的内存page，swap out。对于那些吃内存的程序，像Spark，以及...

Posted by AlstonWilliams on April 5, 2020

2020年三月份总结与四月份计划

一地鸡毛工作这个月时间主要用在工作上了。很有挑战性，很刺激，但对应的，也很累。项目上，需要及时处理各个项目提出来的很难排查的问题。查出来以后，要么是代码哪儿有些问题，需要修改代码;要么是流程有问题，需要从根源上反思流程的缺陷，然后推动执行。也需要抽空观察资源情况，然后分析哪儿速度慢，以及如何改进。经常也需要处理日常离线计算的各种异常状况，以及配合数据分析师在对接新数据源时，试运...

Posted by AlstonWilliams on March 28, 2020

2020年二月份总结与三月份计划

理想和现实总有巨大的鸿沟回到上海以后，跟家父开视频。可能是喝了酒的事情，他把以前憋在心里的话都说了出来。他说我们之间有隔阂。这句话让我非常痛心。我开始考虑，为什么我一直期待的父慈子孝的场景，会演变成这个样子。我期待未来父慈子孝，母亲和儿媳和谐相处，和我的孩子，我们一家人其乐融融。我反思了春节期间我在家的表现，反思了现实和理想的巨大差距。一直以来，我都是按照自己的计划，理财，购...

Posted by AlstonWilliams on March 1, 2020

2020年一月份总结与二月份计划

一地鸡毛一月份的生活简直是一地鸡毛。大把的时间被浪费在直播，游戏上。做的对自己有益的事情非常少。环境对人的影响真是不可小瞧。当处于一个你知道你有更多的事情可以做的环境中时，你的心态，你的行为，都会发生积极的变化。反之，当处于一个看不到未来的环境中时，你的行为亦会堕落。而看不到未来，也不是没有未来。是你的心态，视野吧。阅读生活上的时间，大部分被牵制在《光荣与梦想》这部巨...

Posted by AlstonWilliams on February 6, 2020