한국 기업과 정부는 타 국가 대비 빅데이터에 대해 많은 관심을 가지고 있다. 때문에 다양한 기업과 여러 부처에서 다양한 데이터를 확보하고 있으며, 이를 공유, 보급하려는 노력을 보이고 있어, 다양한 데이터를 무료로 확보하기가 매우 쉽다. 문제는 이 다양한 데이타들이 어디에 있는지, 또 이것들을 가지고 무엇을 할 수 있는 지에 대해 파악하기가 어렵다는 점이다.
일반인, 기업들이 쉽게 접근가능하며, 유용한 데이터를 보유하고 있는 정부, 기업 사이트를 소개하고자 한다. 물론, 끊임없이 변하고 있는 분야이기에 아래 정리한 곳들은 지속적으로 업데이트가 필요한 부분임을 이해 바란다.
방안 1) 인터넷 검색 엔진을 활용하라.
대부분은 이미 인터넷 검색엔진을 잘 활용하고 있을 것이다. 빅데이타 관점에서 보면 좀더 추가로 소개할 유용한 정보원들이 다수 존재한다.
• 검색엔진
* 빅데이터 관련 국내 주요 기업/서비스
- 소셜메트릭스 분석 서비스
○ 일반 검색 엔진: 모든 검색의 시작은 일반 검색 엔진으로 시작하자. 국내, 국외 데이터를 찾는 다면, 각각 네이버와 구글을 통해 검색을 시작하는 것이 바람직하다.
구글, 네이버, 다음
○ 전문 검색 엔진: 데이터를 검색하는 데 특화된 곳으로, 일반 검색 엔진에서 찾기 어렵거나, 잘 정제된 데이터를 찾을 수 있는 곳이다.
계산용 프로그램인 매스매티카의 개발자인 물리학자 스티븐 울프럼이 만든 검색엔진으로서 슈퍼컴퓨터를 통한 인공지능을 통해 웹 상의 지식을 재구성하여 사용자에게 제공한다 (위키피디아). 중요한 점은 이 서비스 경우, 특히 데이타를 잘 수집, 정리하여 제공하고 있어 데이터를 찾는 사람에게 특히 유용하다.
• 데이터 특화 웹사이트
○ 프리베이스 Freebase.com
다양한 데이터를 구할 수 있는 데이터 커뮤니티 (위키피디아와 같은 위상)
필요한 데이터를 다운로드, 활용 가능
○ 인포침스 Infochimps.org
데이터 무료 제공도 하고, 거래가 벌어지는 데이터 거래소
○ 아마존 공공 데이터 aws.amazon.com
상당한 규모의 데이터 제공
○ 넘브러리 Numbrary
사람, 장소, 사물에 대한 다양한 정형 데이터 소개
○ 위키피디아 https://ko.wikipedia.org/
데이타 특화 검색 엔진이라고 하기는 어려우나,
검색시 유용한 데이터 소스를 제공하거나, 데이타 잘 정리된 표를 제공하는 곳.
검색시 유용한 데이터 소스를 제공하거나, 데이타 잘 정리된 표를 제공하는 곳.
특히, 전세계 국가 공공 부분 데이터 검색시 가장 먼저 확인해 볼 가치가 있다.
* 공공데이타 포털 https://www.data.go.kr/main.do
정부에서 공개한 매우 다양한 공공정보가 다 모여있다. 참고로 한국은 전세계에서 가장 공공정보를 많이 공개한 나라이다. (한국에서 빅데이타 활용하기는 그래서 더욱 매력적이다.) 건축, 교통, 의료, 상권 정보 특히 유용하다.
정부에서 공개한 매우 다양한 공공정보가 다 모여있다. 참고로 한국은 전세계에서 가장 공공정보를 많이 공개한 나라이다. (한국에서 빅데이타 활용하기는 그래서 더욱 매력적이다.) 건축, 교통, 의료, 상권 정보 특히 유용하다.
• 신문 기사
기사에서 인용된 인포그래픽의 출처를 통해 가장 가장 최근의 데이터를 확보할때 매우 유용하다. 데이터 그 자체보다, 어떤 데이타가 최근에 어디에서 제공되고 있는 지를 파악하는데 도움이 된다.
○ 조선일보, 매일경제, 한국경제
• 정부, 국가 차원 데이터
○ 유엔데이터 http://data.un.org/
가장 풍부하고, 공신력있는 정형 데이타를 찾는 경우,
전세계 국가별 비교가 필요한 데이터는 일단 이곳에서 찾자.
전세계 국가별 비교가 필요한 데이터는 일단 이곳에서 찾자.
예) 전세계 기후변화, 금융 시장 변화 (금리, 주가, 환율), 소비지수 데이터
○ 세계은행 data.worldbank.org
유엔과 유사한 데이타 제공. 세계 경제 지표 데이터터 제공.
○ 국가별 통계청
한국 통계청 http://kostat.go.kr/
서울연구데이터서비스 (서울지역) http://data.si.re.kr/statistics-seoul
미국 통계청 census.gov
* 빅데이터 관련 국내 주요 기업/서비스
- 소셜메트릭스 분석 서비스
* 빅데이터 관련 해외 주요 기업/서비스
트위터 메시지 수집, 분석
트위터 (b2b) 데이타 제공 https://developer.twitter.com/
TWEET ARCHIVIST http://www.tweetarchivist.com/ (Twitter Analytics)
TWEET ARCHIVIST http://www.tweetarchivist.com/ (Twitter Analytics)
SNS(페이스북, 트위터, 인스타그램등) 데이타 대쉬보드 서비스 https://supermetrics.com/
유통 데이터 분석 Edited: https://edited.com/
마이닝 중심 Dataminr https://www.dataminr.com/
Social Bakers https://www.socialbakers.com/
ICONO SQUARE https://pro.iconosquare.com/
