뉴스를 통해 본 빅데이터 트렌드(10월 10일, 이현종, 빅스터)

이현종

 

뉴스를 통해 본 빅데이터 트렌드

㈜ 빅스터 대표 컨설턴트

HTTP://www.bigster.co.kr

 

1)     Bicdata 커뮤니티 운영

2)     뉴스를 통해 주식 분석

 

오늘 과제

l  주제선정을 하기

A.     무엇을 할것인가? 데이터가 무엇이며 어떻게 확보할 것인가?

                         i.         뉴스에 나오는 아이돌과 인기의 상관관계

                        ii.         특정 영화가 개봉되기 전 흥행 수익에 예측- 사전마케팅 비용/ 개봉관 수 도출

1.      영화에 대한 흥행 수익/실제 관객수를 어떻게확보?

2.      네이버 영화 사이트 확보

3.      뉴스에 나타나는 연예인들의 몸값? 몸값을 알수 없다.

l  코스콤-뉴스를 통한 주식 예측

A.     주식에는 태마주가 있고, 작전주가 있으며 동반 상승 동반 하락이 묶인다.

B.      EX A가 테마주인 것을 알고 있으나 차후 C도 테마주라는 것을 나중에 알게 될 경우 C를 미리 확인한다면 이익

 

빅데이터의 형태

l  정형 반정형 비정형 기준은

l  구조화 할 수 있는가? : 정형 반정형

l  수치화 할 수 있는가? : 비정형

l  고유 스키마가 있어서, 분류가능한가?

l  형태소 분석기 : 자연어 처리

l  이미지 데이터 : 픽셀-수치화

l  오디오/ 동영상 : 이미지/픽셀 다 처리한다.

 

종목별 주가데이터 필요: 야후닷컴 파이낸스

형태소 분석 : 키워드 뉴스기사 작성일 / 나타나는 빈도/ 몇번째 키워드에 대한 위치

코스피 종목별 일자별 자료

 

특정 반복 키워드 – 이슈

특정 임계치 이상의 상승 또는 하락

키워드 를 날짜별 종목별 매칭

결과 : 불용어 (기자 / 신문….) TF IDF

텊프리퀀시 / invert Document Frequency

1)     주가에 대한 지식

A.     택스트 분석기 : 자바에 대한 기술

B.      자바 분석 및 스크립트 분석

C.      R 클러스터링 모델

 

법대-검색앤진10년-2011년부터 빅데이터 준비

내부: 휴먼(분석CRM과 겹침, /시스템(넥스알)

외부: 소셜(다음소프트)

월마트랩

휴먼데이터: 고객데이터

방문로그 /장바구니 데이터

피드백데이터 - 1달러 쿠폰 – 소셜 계정확보

팔로잉 팔로워 데이터 수집- 매년 수집

SNA=소셜 네트워크분석- 팔로잉, 팔로워

SCA=소셜 컨텍스트 분석-

한나- 줄리아 친구관계이구나,한나는 영화이야기를 한다, 구매데이터는 영화예매권, I love salt

한나 생일이고, salt 는 영화다.

현대해상 (보험) 케이스

 

역방향가치: 순방향가치

로그데이터-시스템 빅데이터, 내부직원 감시

트윗데이터- 정량적,

 

통계분석-리눅스 공부!!

빅스타-빅데이터-교육(40%(1억)