博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark环境常用配置(profile)
阅读量:4663 次
发布时间:2019-06-09

本文共 1647 字,大约阅读时间需要 5 分钟。

 

# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))

# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).

if [ "$PS1" ]; then

if [ "$BASH" ] && [ "$BASH" != "/bin/sh" ]; then
# The file bash.bashrc already sets the default PS1.
# PS1='\h:\w\$ '
if [ -f /etc/bash.bashrc ]; then
. /etc/bash.bashrc
fi
else
if [ "`id -u`" -eq 0 ]; then
PS1='# '
else
PS1='$ '
fi
fi
fi

if [ -d /etc/profile.d ]; then

for i in /etc/profile.d/*.sh; do
if [ -r $i ]; then
. $i
fi
done
unset i
fi

######java######

export JAVA_HOME=/opt/jdk1.8.0_171
export CLASS_PATH=/opt/jdk1.8.0_171/lib
export PATH=$PATH:$JAVA_HOME/bin

######scala#####

export SCALA_HOME=/opt/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin

######spark######

export SPARK_HOME=/opt/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

#######nodejs#####
export NODEJS_HOME=/opt/node-v8.11.1-linux-x64
export PATH=$PATH:$NODEJS_HOME/bin

########Hadoop#######
export HADOOP_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS='-DJava.library.path=$HADOOP_HOME/lib'
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

########spark ipython notebook############

export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

#######Hbase############

export HBASE_HOME=/opt/hbase-2.0.0
export PATH=$PATH:$HBASE_HOME/bin

转载于:https://www.cnblogs.com/giserpan/p/9248389.html

你可能感兴趣的文章
15.3 Task 异常
查看>>
假如爱有天意
查看>>
php 过滤emoji表情
查看>>
Ubuntu下安装MySQL及简单操作
查看>>
scrollview里container拖动显示问题
查看>>
001使用gltf创建3d模型
查看>>
cas 持久化TGT到mysql JPA方式 增加自定义字段
查看>>
监听屏幕解锁事件
查看>>
idea 注册码 地址:
查看>>
接上个内容, 问题:首次进入时调用了两次接口
查看>>
图片放大不失真软件PhotoZoom如何使用?
查看>>
【dfs】POJ1321 棋盘问题
查看>>
opencv-python教程学习系列10-颜色空间转换
查看>>
1-4-07:收集瓶盖赢大奖
查看>>
cnblogs正式启用
查看>>
带参装饰器,迭代器与生成器
查看>>
sprint2第五天任务完成情况
查看>>
如何进行Apache虚拟机设置
查看>>
【水滴石穿】报错解决不了
查看>>
Qt之Tab键实现(自由切换焦点)
查看>>