`
Djava.sohu.com
  • 浏览: 63698 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Spark学习-3 运行一个example

阅读更多
开始学习Spark了,先看看Spark能做点什么吧。

最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。

我们在官方网站: http://spark.apache.org/downloads.html下载一个版本:
我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop2.3.tgz

下载解压后,进入到bin目录,运行 run-example.cmd SparkPi 10, 你就可以看到运行的结果了。

你可能会遇到以下这个问题:
===> 说null/bin/winutils.exe找不到,这是因为Spark引用Hadoop的包,而Hadoop需要检查这个文件。所以解决这个最简单方式是设置 HADOOP_HOME指向你Spark的根目录,然后把winutils.exe拷到bin目录。如果没有winutils.exe,你可以到网上搜下。
  a. 你可以 SET HADOOP_HOME=D:\Java\spark\spark-1.1.0-bin-hadoop2.3 (需要将这个路径改成你的实际路径.
  然后再运行命令就可以了。
  b. 或者修改bin/*.cmd文件,把下面这句加进去就可以了
     SET HADOOP_HOME=%~dp0..
    这句就是说设置HADOOP_HOME的路径为 bin的父目录。


分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics