Tags

keep hungry keep foolish
Java

Java基础

Java基础介绍

Linux

2019-05-01最新Linux安装Ruby 安装Jekyll

github自建博客 GitHub Pages + Jekyll

shell脚本常用语法

shell脚本常用语法

报错：JAVA_HOME is not set

sudo 无法提交任务

linux新建用户应用于hadoop权限

给其他开发人员创建linux账号并只能操作hdfs指定目录下的文件

大数据

编译Spark2.4.2

手动编译

报错：JAVA_HOME is not set

sudo 无法提交任务

linux新建用户应用于hadoop权限

给其他开发人员创建linux账号并只能操作hdfs指定目录下的文件

Hadoop

spark脚本监控任务运行状态

如何根据appName监控spark任务,当任务不存在则启动（任务存在当超过多久没有活动状态则kill，等待下次启动）

配置Hadoop,Hive的存储与压缩

Orc,Parquet等存储和压缩

hadoop的压缩格式

列举了常用的hadoop压缩格式以及效率占比图

报错：JAVA_HOME is not set

sudo 无法提交任务

linux新建用户应用于hadoop权限

给其他开发人员创建linux账号并只能操作hdfs指定目录下的文件

Sehll

shell脚本常用语法

shell脚本常用语法

Hive

配置Hadoop,Hive的存储与压缩

Orc,Parquet等存储和压缩

scala

scala最大堆最小堆，通过堆取TopN

使用最小堆取最大的N个元素

Spark

编译Spark2.4.2

手动编译

WARN spark.yarn.jars falling back to uploading

spark on yarn 提交WARN

spark RDD五大特性并在源码中的体现

RDD的五大特性

RDD缓存及序列化缓存

JavaSerializer和KryoSerializer对比