AlstonWilliams's Blog

Thinking will not overcome fear but action will.

浅谈996工作制与企业的痛处

最近关于996的话题很火，相关的Github项目甚至一度成为Github上Star上升最快的项目．网上声音那么多，我认为这个问题还是值得谈一谈的，虽然我本人并不是996工作制．其实我觉得，吐槽996工作制的人，一部分是没有理解为什么互联网工作者有这么高的工资，另一部分就纯属业外人士瞎叫唤而已．至于第一部分人，应当理解，像互联网从业者，金融行业从业者，他们工资高的原因，很大一部分都是因...

Posted by AlstonWilliams on April 21, 2019

大数据行业常用框架

分布式文件系统 HDFS Alluxio 分布式RDBMS Kudu TeraData 分布式时序数据库 Druid OpenTSDB 分布式数据分析引擎 MapReduce Spark Tez 分布式SQL Hive SparkSQL Impala Presto Phoniex Drill HWAQ(...

Posted by AlstonWilliams on April 21, 2019

Java常用工具/框架

JVM调试工具 JConsole Java自带的工具 VisualVM JProfiler ptrace ASM 测试工具 Junit Assert Mockito Specifications JMeter Postman Build/CI Jenkins Maven Ant DB MySQL Orac...

Posted by AlstonWilliams on April 21, 2019

Spark调用repartition()方法后相同的key没有被分到一起

最近在项目中，遇到过好几个问题，调试下来发现是中间我们为了加大partition的数量，调用了repartition()方法，但是调用完之后呢，原本相同key的数据处于同一个partition上，后来却不在一个partition上了。感觉特别奇怪。于是读了一下repartition()方法的源码，发现它是将每个partition中的数据，随机的分配到一个新的分区，而不会在乎是否会将相同的...

Posted by AlstonWilliams on April 19, 2019

Spark TableInput读HBase是通过直接读HFile么？

最近在做一件事情，需要读HBase中全表的数据进行处理，本来是通过一定的处理，然后得到需要读取的record，然后直接Get。但是最后发现这种方式中间总会遇到问题，即跟ZooKeeper的connection expired并且重试了好多次都失败，导致整个任务失败。后来经过同事提醒，可以直接通过Spark提供的newAPIHadoopRDD来全表读HBase，使用下来发现没有遇到上述的Z...

Posted by AlstonWilliams on April 19, 2019

HBase ZooKeeper Session Expired并且重试很多次都失败

最近在算数据的时候，碰到了这么一个问题。其实本身ZooKeeper Expired这个没什么问题，但是重试了很多次并且都没成功，就有问题了。其实出现Session Expired这种问题的原因，无非就是几种: ZooKeeper挂掉了 zookeepr连接数超出超时时间过小检查了一下，前几种情况，都是不存在的。那是什么原因呢？后来偶然看了一下官网的一篇文章，提到...

Posted by AlstonWilliams on April 19, 2019

如何学习一门新技术

最近要实现某个功能，我当时一听这个功能，说，这实现个毛啊．然后同事跟我说，这当然能实现，你知道Kylin吗?当时听他说完这句话，我默不作声．在想自己知道Kylin啊，但是怎样用Kylin来实现呢? 当时我甚至忘记了Kylin到底是干嘛用的．最近回过头来想这件事情，很可怕．我发现过去学习浅尝辄止的行为，其实并没有让我学到什么．特别是阅读一部大块头的书籍来学习一样东西的时候．而我通过自己读...

Posted by AlstonWilliams on April 14, 2019

《你的灯亮着吗》书评

上个周就读了这本书，这个周末才来写书评．总的来说，这本书确实很不错．这本书从五个方面阐述如何解决问题．问题出在哪儿->问题的本质是什么->问题应该由谁解决->你真的想解决问题吗->如何解决问题．这本书中对我影响最大，如醍醐灌顶般的几个观点是: 不要把别人的解决方案作为定义问题的方法，特别是这个解决方案是你提出来的时候为了改变局面，试着把责任归到...

Posted by AlstonWilliams on April 13, 2019

HBase ZooKeeper NullPointerException

今天在调试客户环境的时候，发现了这么一个很诡异的问题: java.lang.NullPointerException at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.getMetaReplicaNodes(ZooKeeperWatcher.java:489) at org.apache.hadoop.hbase.zookee...

Posted by AlstonWilliams on April 12, 2019

寻找本心

这两天，刚才苏州回来．本来三天的漫步计划，我只去了同里古镇，看了一圈，第二天便决定要回来了．为什么呢？因为我实在搞不明白，这种旅游有什么意思．记得去年去云南，我写了很长的随笔．回来以后觉得不能安心工作．现在想起来，当时感动的地方，也是白天和夜晚．我每天起的很早，六点多就会起．晚上我会去湖边散步，去书房读书，去酒吧听民谣．而我白天，丝毫没有感到感动的地方．除了依稀看...

Posted by AlstonWilliams on April 6, 2019