[경영빅데이터분석사 2급] 1과목 빅데이터 이해 - 빅데이터 개념

 

1. 빅데이터 개념

 

ㅇ 개념

 - 기존의 관심 및 분석 체계로는 감당할 수 없을 정도의 거대한 데이터의 집합

 - 과거 빅데이터는 천문, 항공, 우주정보, 인간게놈 정보 등 특수 분야에 한정되었다.

 - 대규모 데이터와 관계된 기술 및 도구도 빅데이터 범주에 포함된다.

 - 전세계 데이터 중 90%가 과거 3년 이내에 생성된다는 것을 파악한 IBM이 최초로 정의

 

ㅇ 출현배경

 - 기술발전에 따른 데이터 저장 및 처리 비용의 하락

 - 소셜 네트워크 서비스의 확대 등으로 막대한 데이터 폭발

 - 도로, 건축물 등에 내장된 임베디드 시스템의 증가

 - 인터넷의 일상화

 - 오답 : 항공 분야 산업 발달, 컴퓨터 생산 기술의 발달, 개인용 컴퓨터의 확산

 

ㅇ 빅데이터의 구성요소

 - 3V : 규모(Volume), 다양성(Variety), 속도(Velocity) + 1V : 가치(Value)/복잡성(Complexity)

 - 3V를 어떻게 정의하고 처리 하느냐에 따라 새로운 부가가치를 창출 (자체적으로 부가가치 창출X)

반응형

ㅇ 빅데이터의 효용성

 - 새로운 의미를 산출, 유용한 정보 제공, 문제제기, 현실 마이닝, 사전 방지 (사후 대책X)

 

ㅇ 영향

 - ICT의 일상화가 이루어지는 스마트 시대에는 소셜, 사물, 라이프 로그 데이터 등이 결합되며 빅데이터의 영향력이 증대되고 있다.

 - 실시간 연결과 소통의 스마트혁명으로 데이터가 폭증하였다.

 - 기존의 데이터 저장, 관리, 분석기법은 한계와 도전에 직면

 - 데이터는 정보사회를 움직이는 핵심 연료인만큼 빅데이터로의 환경변화는 정보사회의 패러다임을 견인할 정도의 큰 힘을 발휘

 - 정보량이 산술적으로 증가하여 2020년에는 정보량이 현재보다 50배 급증할 것으로 전망

 - 빅데이터의 가공과 분석에 따라 상황인식, 문제해결, 미래전망이 가능해지고 데이터가 경제적 자산과 경쟁력의 척도로 부각

 - 빅데이터 분석은 지속적인 향상을 꾀하게 되었다. (일시에 폭발적인 향상 X)

 - 각 기업은 매년 8 엑사바이트의 비즈니스 데이터를 생성할 것이다.

 

ㅇ 정보사회 패러다임 변화와 ICT 이슈

 - PC시대 - 디지털화/전산화 - PC통신

 - 인터넷 시대 – 온라인화/정보화 – 초고속인터넷, WWW, 웹서버

 - 모바일시대 – 소셜화/모바일화 – 스마트폰, SNS, 소통, 페이스북, 트위터

 - 스마트시대 – 지능화/개인화/사물정보화 – 사물네트워크, 빅데이터, 미래전망, 상황인식, 개인 맞춤형 서비스, ICT everywhere, 신가치창출, 아직 드러나지 않음

320x100

ㅇ 정보화 시대와 스마트 시대의 데이터 관련 이슈 변화

 - 저장측면의 변화는 정보화 시대의 관계형/정형 데이터베이스, DW에서 스마트시대의 비관계형/비정형 DB, 가상화, 클라우드 서비스로 변모

 - 검색 측면의 변화는 정보화 시대의 검색엔진, 포털서비스에서 스마트 시대의 자연어/음성, 영상/ 시멘틱 검색서비스로 변모

 - 관리, 공유 측면의 변화는 정보화 시대의 KWS, Web2.0에서 스마트 시대의 플랫폼, 소셜네트워크, 집단지성으로 변모

 - 분석 측면의 변화는 정보화 시대의 경영정보/고객정보/자산정보 분석(ERP, CRM, 데이터마이닝 등)에서 스마트 시대의 빅데이터 분석(소셜분석, 고급분석, BI, 시각화)으로 변모

 - 추록 측면은 전에 없던 영역으로 스마트 시대에 상황인식 서비스(미래전망, 사전대응, 자동화 서비스), 개인화 서비스가 등장

 

ㅇ 빅데이터 처리 순환과정

 - 추출 > 저장 > 분석 > 시각화 > 예측 > 적용

 

ㅇ 빅데이터 시장 동향

 - IDC와 가트너 모두 빅데이터 시장규모가 두 자리 수의 연간 성장을 보일 것으로 예상

 - IDC에 따르면 빅데이터 시장은 2015년 169억 달러로 성장해 연평균 40%의 성장률을 보일 것

 - 2011년 맥킨지의 보고서에 따르면 유럽 공공 분야에서 빅데이터를 활용하면 2500억 유로의 절감 효과가 있을 것

 - 빅데이터 기술을 위한 어플라이언스, 클라우드, 아웃소싱 거래가 성장할 것으로 전망되며, 기술 그 자체보다는 비즈니스 가치에 더 역점을 두고 있는 모습이다.

 - 우리 정부도 정부 3.0 정책을 발표하면서 국민 맞춤형 서비스를 제공함과 동시에 일자리 창출과 창조 경제를 지원하고자 하고 있다.

 

ㅇ 빅데이터 기술요소와 오픈소스

 - 데이터수집 : 원자료로부터 안전한 저장 공간을 확보하여 각 데이터의 특징 실행 (lume, Scribe, Chukwa)

 - 원자료의 저장 : 수집된 자료를 안전하게 저장하는 저장 공간 (HDFS)

 - 실시간 분석 플랫폼 : 동시에 자료수집과 분설 실행 (S4, Storm)

 - 할당분석 실행 : 전체 혹은 부분 자료에 복잡하고 다양한 분석 (Hadoop MapReduce, Giraph, GoldenOrb)

 - 군집관리와 모니터링 : 분산시스템으로 구성되어 있어 전체군집의 관리와 모니터링 (Zoo Keeper, Hue, Cloumon)

 - 자료의 연속성 : 이종의 플랫폼과 다양한 솔루션을 사용하기 때문에 송신과 처리의 표준프레임워크사용 필요 (Thrift, Avro, ProtoBuf)

 - 데이터마이닝 : 군집, 분류 등과 같은 데이터마이닝을 위한 기본 알고리즘 라이브러리와 툴 (R, Mahout)

 

< 경영빅데이터분석사2급 요약자료 다운로드 (바로가기) >