전체 글 썸네일형 리스트형 [Scala] Scalikejdbc 시작 #1 ScalikeJDBCJust write SQL and get things done! http://scalikejdbc.org/ 를 보면 scalikejdbc는 ScalikeJDBC is a tidy SQL-based DB access library for Scala developers 라고 설명하고 있다. 즉, scala에서 JDBC를 쉽게 사용할 수 있도록 도와주는 Library 이다. scalikejdbc는 다음의 Dependencies 가지고 있다. JDBC Drivers you need Commons DBCP Joda Time 2.x SLF4J API 내가 사용할 JDBC driver와 Commons DBCP를 기본 베이스로 하고 있다. 그리고 JodaTime, SLF4J를 사용한다. 1.Simp.. 더보기 [Kafka] Kafka로 Log를 보내는 방법들 ELK 스택을 사용해 Log 관리 시스템을 만들때 Kafka가 중간에 메세지 큐로서 주로 사용된다. 여러 app들이 kafka로 log 메세지를 보내는 방법에는 여러가지가 있다. 참조: https://www.elastic.co/kr/blog/just-enough-kafka-for-the-elastic-stack-part1 1. logstash(shipper) 위 그림처럼 Logstash를 사용해서 Kafka로 app에서 생성한 로그파일을 메세지로 전달할 수 있다. https://www.elastic.co/kr/downloads/logstash 에서 logstash를 다운받아 압축을 푼다. config파일을 만들어서 logstash를 실행할 수 있다. input은 파일이고 output은 kafka가 되도록.. 더보기 kafka #3 Kafka-Manager 설치 Kafka-Manager 설치 Yahoo에서 만든 kafka-Manager로 Kafka를 쉽게 컨트롤이 가능하다.https://github.com/yahoo/kafka-manager 에서 쉽게 따라할 수 있다. 1. Download sourcehttps://github.com/yahoo/kafka-manager 에서 소스를 다운로드 한다. 그리고 압축을 풀어준다. 2. Buildsbt로 프로젝트를 build 한다. ./sbt clean dist./sbt run 단, java 8이 설치가 되어 있어야 하며, 환경변수에도 등록이 되어 있어야 한다. $ PATH=/usr/local/oracle-java-8/bin:$PATH \ JAVA_HOME=/usr/local/oracle-java-8 \ /path/to/.. 더보기 [SBT] Jar 파일 만들기 SBT로 Jar 파일 만들기 1. projectName/project/plugins.sbt 에 sbt-assembly 추가하기 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0") 2. projectName/build.sbt 에 MergeStrategy와 main class 추가 mainClass in assembly := Some("flink.sample.SampleApp")assemblyJarName := "flink.jar" assemblyMergeStrategy in assembly := { case PathList("META-INF", xs @ _*) => MergeStrategy.discard case x => MergeStrategy.first.. 더보기 Docker 컨테이너에서 network가 안될때... docker 컨테이너 안에서 network가 안된다면 http://odino.org/cannot-connect-to-the-internet-from-your-docker-containers/ 더보기 [IntelliJ] Export Jar IntelliJ에서 Export Jar 설정 http://progtrend.blogspot.kr/2017/07/intellij-gradle-java-project-runnable.html 프로젝트 Structure에서 Jar용 Artifact를 추가하면 된다. 추가 후 Build -> Build Artifact 로 설정한 Jar 를 선택하면 된다. %PROJECT_WORKSPACE%out/artifacts/Project_name.jar 파일이 생성된다. 끝 더보기 [Spark] Streaming Word Count 샘플 (Scala) Streaming Word Count 샘플 Spark Streaming 에서 Word Count 샘플 코드를 만들어보자 기존에 배치 프로세싱에서의 Word Counting 참고: http://gyrfalcon.tistory.com/110 Spark Streaming Dependency를 추가한다. Spark core와 동일버젼으로 추가한다. org.apache.spark spark-streaming_2.11 2.0.1 인풋 소스로 여러 다양한 방법이 있겠지만 가장 기본이 되는 Socket text 방식으로 text를 입력받는 방식을 사용한다. StreamingContext 으로 Stream Spark Context를 생성한다. 이때 시간 interval을 입력해야하는데 Spark Streaming은 일정.. 더보기 [Spark] Spark Standalone 설치 Spark Standalone 설치 1. Spark Downloadhttps://spark.apache.org/downloads.html 에서 2.0.1을 다운받는다. PreBuilt for Hadoop으로 선택하고 받아 압출을 풀면 된다. 2. Master 실행다운받은 zip파일을 압출을 풀고 sbin/start-master.sh 를 실행하면 master가 실행된다. 데몬으로 백그라운드로 돌아가기 때문에 터미널을 그대로 사용하면 된다. Spark는 기본 WEB UI를 제공하기 때문에 정상적으로 실행됬는디 localhost:8080 에서 확인하자. 현재 Worker가 등록안되어 있기 때문에 아래 와같이 나타난다. 3. Worker 실행 실행한 Master에 Worker를 등록한다. 현재 테스트로 동일노드.. 더보기 이전 1 2 3 4 5 6 7 ··· 18 다음
