Scala 썸네일형 리스트형 Mac OSX Brew 설치 & SBT 설치 1. Brew 설치 (http://brew.sh/index_ko.html)터미널에 아래 내용을 붙여넣기 하면 brew 가 설치 된다. ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 2. SBT 설치 아래 명령어로 실행 끝brew install sbt 더보기 [Scala] Scalikejdbc 시작 #1 ScalikeJDBCJust write SQL and get things done! http://scalikejdbc.org/ 를 보면 scalikejdbc는 ScalikeJDBC is a tidy SQL-based DB access library for Scala developers 라고 설명하고 있다. 즉, scala에서 JDBC를 쉽게 사용할 수 있도록 도와주는 Library 이다. scalikejdbc는 다음의 Dependencies 가지고 있다. JDBC Drivers you need Commons DBCP Joda Time 2.x SLF4J API 내가 사용할 JDBC driver와 Commons DBCP를 기본 베이스로 하고 있다. 그리고 JodaTime, SLF4J를 사용한다. 1.Simp.. 더보기 [Spark] Streaming Word Count 샘플 (Scala) Streaming Word Count 샘플 Spark Streaming 에서 Word Count 샘플 코드를 만들어보자 기존에 배치 프로세싱에서의 Word Counting 참고: http://gyrfalcon.tistory.com/110 Spark Streaming Dependency를 추가한다. Spark core와 동일버젼으로 추가한다. org.apache.spark spark-streaming_2.11 2.0.1 인풋 소스로 여러 다양한 방법이 있겠지만 가장 기본이 되는 Socket text 방식으로 text를 입력받는 방식을 사용한다. StreamingContext 으로 Stream Spark Context를 생성한다. 이때 시간 interval을 입력해야하는데 Spark Streaming은 일정.. 더보기 [Spark] Word Count 샘플 (Scala) [Spark] Word Count 샘플 (Scala) 데이터 분석의 Hello Word라고 할 수 있는 Word Count를 Spark를 사용해서 만들어 보자.Scala를 사용해 보겠다. maven에 spark-core를 추가한다. (Scala version에 따라 2.10 or 2.11 중 하나를 선택하면된다) org.apache.spark spark-core_2.11 2.0.1 정말 코드가 간단하다. SparkContext를 만들어서 파일에서 line을 읽고 RDD로 Word Count를 금방 만들어 낸다. 코드다. 정말 쉽다.flatMap으로 line을 split한다.map으로 word, 1로 String, Integer 형태로 바꾸고reduceByKey로 couting한다.foreach로 cons.. 더보기 IntelliJ로 Scala Maven 프로젝트 만들기 IntelliJ로 Scala Maven 프로젝트 만들기 1. IntelliJ에서 Create Project 선택한다. 2. Scala archetype을 등록한다. (있다면 skip) GroupId: net.alchim31.mavenArtifactId: scala-archetype-simpleVersion: 1.6 3. scala-archetype-simple을 선택하여 생성한다.생성하면 다음과 같이 프로젝트가 구성된다. 상단에 No Scala SDK in module 이란 메세지가 보인다. 4. scala SDK를 선택한다.설치된 Scala SDK를 선택해준다. 5. POX.xml 수정자동 생성되는 App object를 실행하면 -make:transitove 옵션 에러 메세지가 나온다 pom.xml에 .. 더보기 이전 1 다음
