1. Introduction You can read more about Big Data in Wikipedia which is also a company that generates and processes huge amounts of data itself. MapReduce and Apache Hadoop are the technologies we will be talking about more in this course. 2. Data Sources According to IBM: “Every day, 2.5 billion gigabytes of high-velocity data are created in a variety of forms, such as social media posts, information gathered in sensors and medical devices, videos and transaction records”

Continue reading

github page는 무엇인가? https://pages.github.com/ 는 깃허브에서 다이렉트로 호스팅해주는 서비스이다. 무료이다. 단 깃허브 계정 하나에 한 페이지만 만들 수 있다. 개발자들은 주로 포트폴리오나 cv, 또는 개인 블로그로 사용하고있다. 내 블로그인 sanghun.xyz도 깃허브 리포지터리를 이용한 페이지이다. 도메인은 aws에서 구매해 연결했다. 참조 나는 codecademy의 deploy-a-website를 따라해서 만들었다. 쉽고 친절한 수업이라 따라만 해도 쉽게 웹사이트를 배포할 수 있다. 물론 배포까지만! 그 다음은 개인의 웹개발 역량에 달려있다. 나는 괜찮아보이는 공개 theme를 가져다 썼다. 아래의 방법은 codecademy의 수업을 요약한 것이다.

Continue reading

참조: appsflyer pull api 가이드 push api가 아닌 pull api를 사용하는 이유. 앱스플라이어 이벤트를 많이 정의할수록 push api가 빈번하게 호출된다. 이는 서비스 품질 저하로 이어질 수 있음. (완벽한 분석용 DB가 따로 구축되어 있다면 상관 없다.) 그러므로 실시간 데이터 적재보다는 하루에 한번, 전일자 데이터를 적재하기로 결정했고 이런 용도에는 pull api가 적합하다. product와 archive에 동시에 적재하는 이유. 앱스플라이어에서 데이터를 무한정 제공하진 않는다. 가입한 플랜에 따라 최근 x일자 데이터만 조회가 가능하다.

Continue reading

참조: appsflyer pull api 가이드 push api가 아닌 pull api를 사용하는 이유. 앱스플라이어 이벤트를 많이 정의할수록 push api가 빈번하게 호출된다. 이는 서비스 품질 저하로 이어질 수 있음. (완벽한 분석용 DB가 따로 구축되어 있다면 상관 없다.) 그러므로 실시간 데이터 적재보다는 하루에 한번, 전일자 데이터를 적재하기로 결정했고 이런 용도에는 pull api가 적합하다. product와 archive에 동시에 적재하는 이유. 앱스플라이어에서 데이터를 무한정 제공하진 않는다. 가입한 플랜에 따라 최근 x일자 데이터만 조회가 가능하다.

Continue reading

제플린 빌드 후 오른쪽 상단에서 Interpreter 클릭 jdbc에서 DB 정보 입력 common.max_count: 한번에 몇개의 row를 조회할 것인지 설정 default.driver: org.postgresql.Driver default.password: DB 패스워드 default.url: DB 주소. jdbc:postgresql://DNS_ADDRESS:PORT/DBNAME 형태로 입력. default.user: DB user name 입력 notebook에서 첫줄에 %jdbc입력 후 테스트 쿼리를 날려보면 잘 되는걸 확인 할 수 있다.

Continue reading

dynamic form을 이용하면 충분히 쓸만한 custom dashboard를 만들 수 있다.

Continue reading

python3 설치 간단하게 brew로 설치하자 brew install python3 opencv3 설치 3은 아직 베타라고 한다. 안전한 버전을 원하면 opencv2를 설치하자. 나는 그냥 3설치 했다. brew tap homebrew/science brew install opencv3 --with-python3 --with-ffmpeg --with-tbb --with-contrib 2016.12.04 임시 설치법 현재 mac OS Sierra에서 Opencv 설치에 문제가 있다. –HEAD를 추가해 아래 방법대로 하면 된다. (16.12.4 기준) https://github.com/Homebrew/homebrew-science/issues/4104#issuecomment-249362870 brew install opencv3 --HEAD --with-python3 --with-ffmpeg --with-tbb --with-contrib lookup 만들어주기 Ln -s {opencv의 site-packages} {사용하는 python환경의 site-packages} 형태로 lookup을 만들어 준다.

Continue reading