[Spark] Word Count 샘플 (Scala)

[Spark] Word Count 샘플 (Scala)

데이터 분석의 Hello Word라고 할 수 있는 Word Count를 Spark를 사용해서 만들어 보자.

Scala를 사용해 보겠다.

maven에 spark-core를 추가한다. (Scala version에 따라 2.10 or 2.11 중 하나를 선택하면된다)

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.0.1</version> </dependency>

정말 코드가 간단하다. SparkContext를 만들어서 파일에서 line을 읽고 RDD로 Word Count를 금방 만들어 낸다.

코드다. 정말 쉽다.

flatMap으로 line을 split한다.

map으로 word, 1로 String, Integer 형태로 바꾸고

reduceByKey로 couting한다.

foreach로 console에 출력 (saveAsTextFile로 file로 output할 수 있음)

import org.apache.spark.{SparkConf, SparkContext} object WordCountSample { def main(args : Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("wordCount") val sc = new SparkContext(conf) val fileRDD = sc.textFile("README.md") fileRDD.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) .foreach(tuple => println(tuple._1, tuple._2)) } }

다한거다. 출력을 하면 아래와 같이 나온다.

끝