当使用Maven构建好项目后,现在要开始学习Spark的设计及具体实现,就是源码了。
在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。
下了一个ScalaIDE,它的Eclipse的Scala订制版(http://scala-ide.org/),把构建好的Spark maven项目导进去, 一直有错误,大概就是一些类找不到的错误,在工作区查了一下,都是一些.scala对应的类。我猜想可能的原因就是那些Scala文件没有正确被编译, 于是Google,最后有一个方案是把spark-assembly-1.1.0-hadoopXXX.jar添加进来(这个文件可以从Spark的预编译包里获取),试了一下,类找不到的问题就不见了,但是修改了一下scala文件,那个scala文件就显示一堆错误,无法编译了。搞了好久,无果。查了Google,说Scala语言太灵活,现在的IDE都不能很好的支持,说是IntelliJ Idea对Scala语言的支持要好点,所以果断换IntelliJ Idea试一下,现在的版本是13.1.
以前JBuilder时代,IntelliJ Idea就是其中的主要竞争者,不过以前试用了n次,每次都放弃。究其原因,可能有几个:
1. 操作习惯与JBuilder及Eclipse有很大的不同,总之不顺手,
2. 另外一个原因就是处理大的项目速度慢,完全没办法和JBuilder和Eclipse比。Eclipse虽然有时候也"发发脾气",但整体来说,还是比较好用的,不过现在的版本是又大又不好用。说远了,
3. 功能太过强大,这样也给用户带来太多的复杂性。
导入项目以后,还要添加Scala和SBT的支持,具体的方法是:
File -> Setttings -> Plugins -> Browse Repositories , 在查找框里输入Scala,找到Scala,点右边窗口的Install Plugin, 找到SBT,并安装它,这个是用来构建Scala的工具。
这样我们就大功告成了。因为没有使用过IntelliJ Idea,所以我要花一点时间用一下,同时Spark是用Scala写的,另外听说Scala的学习曲线很陡,所以要学习Spark源代码,学习Scala也是必不可少的了。后面我会两至三天写一篇关于Spark学习的文档,希望大家一起来学习,探讨。
IntelliJ Idea 关于Scala相关的参考:
http://confluence.jetbrains.com/display/IntelliJIDEA/Scala+Development
Scala Console 使用: .scala -> Ctrl + Shift + D --> Ctrl + Enter执行
分享到:
相关推荐
1、实验环境: 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) ...(2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”
本Spark开发IDE模板项目基于Scala开发,包含22个文件,包括XML配置文件、GIT忽略文件、IDE模板文件、Scala源代码、LICENSE文件、MF文件、JAR文件、Properties配置文件。系统提供了Spark开发的IDEA模板项目,界面友好...
它还支持丰富的高级工具集,包括用于SQL和DataFrames的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX和用于流处理的Spark Streaming。在线文件您可以在找到最新的Spark文档,包括编程指南。 此自述文件仅...
Spark与Scala的集成:展示如何在Scala环境下搭建Spark开发环境,包括安装、配置Spark以及Scala的IDE支持。 Spark核心API:深入讲解Spark的核心API,包括RDD(弹性分布式数据集)、DataFrame、Dataset以及Spark SQL...
用了spark机器学习,以及参数的评估,代码在eclipse scalaIDE可直接运行,数据集为http://files.grouplens.org/datasets/movielens/ml-100k.zip,scala电影推荐
, 本书分为三篇:, 准备篇(第1~2章),介绍了Spark的环境搭建、设计理念与基本架构,帮助读者了解一些背景知识。, 核心设计篇(第3~7章),着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及...
它还支持丰富的高级工具集,包括用于SQL和DataFrames的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX和用于流处理的结构化流。 在线文件 您可以在找到最新的Spark文档,包括编程指南。 此自述文件仅包含...
, 本书分为三篇:, 准备篇(第1~2章),介绍了Spark的环境搭建、设计理念与基本架构,帮助读者了解一些背景知识。, 核心设计篇(第3~7章),着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及...
该存储库包含用于使用Spark进行机器学习入门会话的示例代码和示例数据。 请按照以下步骤克隆代码并设置计算机。 先决条件 Java Maven的3 2.获取代码 git clone ...
2. IDE:IDEA 3. 组件:Kafka、Redis、MongoDB 毕设项目:商品大数据实时推荐系统。前端:Vue + TypeScript + ElementUI,后端 Spring + Spark毕设项目:商品大数据实时推荐系统。前端:Vue + TypeScript + ...
本课程主要学习scala编辑器ide的安装以及maven插件的安装,快速将工具搭建起来。方便后期课程进行使用。
Sparkjava啤酒 * .beers项目的服务器端伴侣 我的各种Beers教程( , , 是独立的,可以在没有任何后端的情况下使用。但是恕我直言,可惜只做客户端并用普通文件模拟服务器API。所以这里我们有一个配套项目,我们将...
这边可以直接将项目下载下来导入到eclipse或则Intellij IDE中,每一个程序都能单独执行,里面给出了程序的详细注释,结合deployDoc对Spark进行相关分析。 ###该程序主要分为四个模块 spark包: 主要和spark相关的一些...
Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序 学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。 第一步 在EclipseIDE中安装Scala插件 在Eclipse中安装Scala插件 第二步 创建Scala ...
本文来自于csdn,本文主要介绍如何使用Scala编写Spark应用程序处理大数据,希望对您的学习有所帮助。安装ScalaIDE搭建Scala语言开发环境很容易,ScalaIDE官网下载合适的版本并解压就可以完成安装,本文使用的版本是...
创建可互操作的机器学习,并使用生产它们。 创建调用完整Spark API的或运行代码以支持新功能。 安装 您可以按照以下步骤从安装sparklyr软件包: install.packages( " sparklyr " ) 您还应该为开发目的安装本地...
python+spark 2.0+hadoop 机器学习与大数据实战 第十一章软件安装包,内含scala ide eclipse的scala-SDK-4.4.1-vfinal-2.11-linux.gtk.x86_64.tar.gz安装包和对应的PyDev 4.5.4.zip插件安装包
它还支持丰富的高级工具集,包括用于SQL和DataFrames的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX和用于流处理的结构化流。在线文件您可以在找到最新的Spark文档,包括编程指南。 该自述文件仅包含基本...