빅데이터분석전문가에게 필요한 빅데이터수집 어떻게 배워야 하는가? Part1

빅데이터분석전문가에게 필요한 빅데이터수집 어떻게 배워야 하는가? Part1

 

 

안녕하세요. IT국비지원전문가입니다.
요즘에 빅데이터라는 말들이 참으로 많이 나오고 있네요.  뉴스뿐만 아니라 IT새로운 기술이 나오면 꼭 빅데이터가 같이 나오고 있네요.
이러한 현상이 예전에 안드로이드와 비슷한 느낌도 들지만 이번 기회에 한번 필자는 빅데이터분석에 필요한 능력이 무엇인지를 NCS사이트를 통해서 한번 정리를 하고 있어요.

 

그래서 필자는 산업현장에서 빅데이터분석이 어떻게 활용이 되고 있는지 그리고 빅데이터분석에서 빅데이터수집에 포함된 능력과 무엇을 알고 있어야 하는지를 이번에 한번 정리를 해서 빅데이터쪽으로 잘 몰랐던 필자뿐만 아니라 빅데이터취업을 희망하는 분들에게 좋은 정보가 될 수 있도록 하겠습니다.

 

 

빅데이터분석을 하기 위해서는 먼저 빅데이터수집을 하는 것이 매우 중요해요.

그래서 빅데이터수집을 배우는 단계도 크게 6단계로 나누어져 있어요.  1번쨰 단계인 데이터 수집 계획 수립하기를 보면

 

빅데이터수집 배우는 1번째 단계 : 데이터 수집 계획 수립하기
- 빅데이터분석을 하는 목표에 맞게 데이터 수집을 위한 비즈니스, 프로세스 영역으로부터 기초 자료를 수집
- 수집할 데이터의 종류, 크기, 보관 방식, 수집 주기를 파악하여 세부 계획에 반영
- 데이터 수집이 가능한 데이터 소스, 확보 비용, 데이터 이관 절차를 조사하여 세부 계획에 반영
- 수집된 데이터의 적정성을 검증하기 위한 방식을 세부 계획에 반영
- 정보보안 관련 법령 및 지침, 내규에 따라서 데이터 수집 계획이 적절한지 검토

 

빅데이터분석을 하기 위해서는 당연히 목표에 맞는 데이터를 수집을 하는 방법과 그리고 종류, 크기, 보관방식, 수집 주기를 파악해서 정확하게 준비를 해야 빅데이터분석을 하기 위한 빅데이터수집이 매우 값어치가 높아질 것이에요.

그래서 빅데이터수집을 배우는 단계인 데이터 수집 계획을 먼저 수립하는 것입니다.

 

그리고 이를 통해서 얻게 되는 기술은
- 현행 개선 요구, 리스크, 이슈, 제약 사항 식별 능력
- 요구사항 분석/명세화 능력
- 데이터 수집 요건 분석 및 설계 능력
- 수집 대상 데이터 기반 네트워크 및 저장소 용량 산정 능력
- 수집 데이터 수집 가능성, 수집 주기, 수집 비용 결정 능력

 

빅데이터수집을 하기전에 먼저 빅데이터분석의 요구사항과 데이터 수집 요건 및 설계하는 방법을 얻게 되고 수집 대상의 데이터기반 네트워크와 저장소 용량 산정하는 방법을 알게 되며 이를 바탕으로 수집 가능성, 주기, 비용을 결정할 수 있게 됩니다.

 

 

1단계에서 데이터 수집 계획을 세우게 되었다면 이제 계획된 내용대로 빅데이터를 수집할 수 있는 시스템을 구성을 해야 하는 단계일 거예요.

그래서 2번째 단계에서는 배우는 내용은 빅데이터를 수집하는 시스템을 구성하는 내용으로

 

빅데이터수집 배우는 2번째 단계 : 빅데이터 수집 시스템 구성하기
- 데이터 수집 계획에 따라 수집 유형과 방법을 구축하기 위한 시스템 사양을 설계하여 구축 방법을 배움
- 데이터 수집 계획에 따라 소프트웨어 아키텍쳐를 구성
- 설계된 내용을 기준으로 수집 시스템을 구성 한 뒤 운영

 

데이터 수집 계획에 따라서 빅데이터분서게 필요한 수집 유형과 방법을 구축할 수 있는 시스템 사양을 설계하고 소프트웨어 아키텍처와 수집 시스템을 구축하는 방법과 운영하는 방법을 배우게 되요.

 

그래서 이를 통해서 배우게 되는 기술내용은
- 데이터 유형별 데이터 수집 기술
- 정보 시스템 및 데이터 인터페이스 설계 기술
- 고 가용성/부하 분산 방식의 데이터 전송 채널 구축 기술
- 수집 어댑터 및 플러그인 개발 능력
- 수집 시스템 구성 요소들의 구동/설정 배포/상태 모니터링 등 운영을 위한 관리 도구 구축 기술
- 데이터 필터링, 정제 기능 구축 능력
- 반정형 데이터 저장 NoSQL(Not Only SQL) 용량 산정 능력
- 정형 데이터 저장 관계형 데이터베이스 용량 산정 능력
- 관계형 데이터베이스 테이블 모델링 설계 및 구축 기술
- NoSQL(Not Only SQL) 테이블 모델링 설계 및 구축 기술
- 사용자 요구 사항 파악을 위한 자료 수집 능력
- 요구 사항별 최적 데이터 추출 기술 설계 및 결정 능력

 

 데이터 수집 계획 수립과 빅데이터 수집 시스템 구성하는 방법을 배우게 되면 데이터 유형별로 어떻게 데이터를 수집하고 정보시스템과 데이터 인터페이스에 대한 설계를 할 수 있게 되며 그리고 수집한 데이터를 원활하게 주고받을 수 있도록 데이터 전송 채널을 구축하는 방법을 알게 되요.

 

그리고 별도로 데이터의 형태에 따라서 어떻게 저장하고 운영하고 필요한 용량을 산정하는 방법을 알게 되어서 사용자 요구 사항에 맞는 자료 수집능력과 최적 데이터 추출 기술 설계와 결정을 능력을 갖추게 됩니다.

 

 

 데이터 수집 계획 수립과 빅데이터 수집 시스템 구성하는 방법을 알게 되었다면 이제 수집을 하게 빅데이터의 종류중에 내부 데이터를 어떻게 수집할 지에 대해서 알고 있어야 해요.

그래서 빅데이터 수집의 3번째 단계인 내부 데이터 수집하는 내용을 확인하면

 

빅데이터수집 배우는 3번째 단계 : 내부 데이터 수집하기
- 원천 데이터 담당자와 협의하여 데이터의 수집 주기 및 방법을 결정할 수 있다.
- 데이터 수집 세부 계획에 따라서 내부 시스템에 저장된 데이터를 수집할 수 있다.
- 데이터 수집 세부 계획에 따라서 내부에서 발생하는 실시간성 데이터를 수집할 수 있다.
- 내부 원천 데이터와 수집된 데이터의 건수 및 크기를 비교하여 검증할 수 있다.

 

내부 데이터를 수집하는 주기와 방법을 결정하고 계획에 따라 시스템에 저장된 데이터를 실시간으로 데이터를 수집을 하면서 건수와 크기를 비교하여 검증할 수 있게 되며

 

이를 통해서 이 단계에서 배우면 얻게 되는 기술은
- 수집 데이터 활용 능력
- 수집 어댑터 및 플러그인 개발 기술
- 데이터 필터링, 정제 기능 구축 기술
- 요구 사항별 최적 데이터 추출 기술

 

빅데이터 수집 계획에 따라 시스템을 구축하고 그 다음에 빅데이터를 수집하는 내부 데이터를 수집하는 방법에서 수집 데이터를 활용하는 방안과 수집 어댑터와 플러그인을 개발하고 수집한 데이터를 필터링과 정제, 요구 사항별 최적 데이터를 추출하는 방법을 통해서 빅데이터분석을 하기 전에 빅데이터를 수집하는 방법을 이해하게 될 것입니다.

그리고 빅데이터분석전에 수집이 중요한 이유는 컴퓨터업계의 명언인 쓰레기데이터를 입력하면 쓰레기가 출력이 되기때문에 빅데이터수집을 할 때에 목푝에 맞는 적합한 정보를 수집할 수 있습니다.

 

다음에는 빅데이터분석전문가에게 필요한 빅데이터수집 어떻게 배워야 하는가? Part2에서 남은 4~6 단계를 정리해드리도록 하겠습니다.