최보름달

보호되어 있는 글입니다.

기술통계 수집된 자료를 정리, 요약하여 그 집단의 특성을 알기 쉽게 정보화 하는 방법. 자료란? 관심의 대상이 되는 사물이나 사건의 속성을 일정한 규칙에 따라 관찰, 측정한 값. 자료의 분류 질적자료: 문자로 표시되는 자료 (예: 직업, 성별 등) 양적자료: 숫자로 표시되는 자료 (예: 키, 몸무게 등) 양적자료의 분류 이산형 자료: 셀 수 있는 자료 (예: 고객 수 등) 연속형 자료: 셀 수 없는 자료 (예: 길이, 온도 등 모든 가능한 측정값을 세는 것이 불가능한 자료) (? 길이는 셀 수 있는데 왜 셀 수 없는 자료라고 하는 것일까? 잘 모르겠는 부분...) 변수 관심의 대상이 되는 사물이나 사건의 속성으로, 서로 다른 두 개 이상의 값을 가지는 것 변수의 분류 질적변수 명목척도(범주형 자료): 측..

자주 나오는 용어 모집단: 관심 대상이 되는 집단 전체 모수: 모집단의 특성 통계량: 표본의 특성 통계적 추론: 모집단에서 추출된 표본의 통계량으로부터 모수를 추정하고 예측하는 과정 통계의 정의 관심의 대상이 되는 전체집단으로부터 최적의 방법으로 자료를 수집하고, 수집한 자료를 과학적이고 논리적인 이론을 바탕으로 정리 분석하여 최적의 의사결정을 할 수 있도록 정확한 정보를 제공하는 방법론을 연구하는 것. 통계의 분류 기술통계 : 수집된 자료를 정리, 요약하여 그 집단의 특성을 알기 쉽게 정보화 하는 방법. 추측통계 : 모집단의 일부인 표본의 특성을 이용하여 모집단의 특성을 추정하거나 검정하는 방법. 시대고시기획에서 출간한 경영빅데이터 분석사 2급을 요약했습니다.

빅데이터의 어두운 면 사생활 침해 조지 오웰의 1984에서 다뤘더 빅브라더가 사람들의 일상 생활 전반을 감시할 수 있는 기술적 기반이 빅데이터 시대를 통해 구축될 수 있다. 또한, 2, 3차 목적으로 활용될 수 있기에 사회, 경제적 위협으로 변형될 수 있다. 익명화 기술이 발전되고 있지만 아직은 부족함. 책임 원칙 훼손 마이너리티 리포트 처럼 범죄 예측 프로그램에 의해 범행을 저지르기 전에 체포될 수 있다. 지금까지 민주주의 국가에서 채택한 형사 처벌은 잠재적 위협이 아닌 명확한 행동에 대한 결과에 대한 책임이었다. 빅데이터로 행위를 할 가능성이 높다고 처벌하면 민주주의 사회 원칙이 훼손된다. 데이터 요용 데이터를 과신할 때 문제가 발생할 수 있다. 데이터는 미래를 예측하지만 항상 맞는 것은 아니다. 잘..

빅데이터의 정의 big data. 큰 데이터. 단순히 용량만 큰 것이 아니라 복잡성도 증가해서 관리 툴로 다루기 어려운 데이터세트의 집합. 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터. 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 3V : 데이터의 양, 데이터 유형과 소스 측면의 다양성, 데이터 수집과 처리 측면에서 속도가 급격히 증가하면서 나타난 현상. 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해 내는 일. 나아가 이를 활용해 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일. 기존의 작은 ..

용어의 연역 1950년대 데이터베이스 탄생 1963년 데이터 베이스 용어 공식 사용 1965년 시스템을 통한 체계적 관리와 저장 등의 의미를 담은 '데이터베이스 시스템' 용어 등장 1970년대 데이터 베이스 용어 일반화 데이터베이스 정의 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠(데이터, 정보, 지식, 저작물 등)를 정보 처리 및 정보의 집합체 데이터베이스 특징 일반적 특징 통합된 데이터이다. 동일한 내용의 데이터는 중복되어 있지 않다. 저장된 데이터다. 컴퓨터가 접근할 수 있는 저장 매체에 저장되어 있어야 한다. 공용 데이터다. 여러 사용자가 서로 다른 목적으로 데이터 베이스의 데이터를 공동으로 이용할 수 있다. 변화된다. 항상 현재의 정확한 데이터를 유지한다. 다양한 측면에서의 ..

데이터의 정의 데이터 = 추론과 추정의 근거를 이루는 사실 데이터는 '객관적 사실'(fact, raw material) 이라는 존재적 특성을 갖는 동시에 '추론, 예측, 전망, 추정을 위한 근거'(basis) 로 기능하는 당위적 특성을 갖고 있다. 데이터와 정보의 관계 DIKW 피라미드 : Data, Information, Knowledge, Wisdom hierarchy 데이터, 정보, 지식을 통해 최종적으로 지혜를 얻어내는 과정을 계층구조로 설명함. 데이터: 개별 데이터 자체로는 의미가 중요하지 않은 객관적인 사실 정보: 데이터의 가공, 처리와 데이터간 연관관계 속에서 의미가 도출된 것 (다만, 정보는 유용하지 않을 수도 있다) 지식: 데이터를 통해 도출된 다양한 정보를 구조화하여 유의미한 정보를 분..

오라클에서 제공하는 연습 사이트가 있다. https://livesql.oracle.com/ Oracle Live SQL livesql.oracle.com 여기서 회원가입을 하면 연습을 해볼 수 있다. 홈화면에서 start coding now 를 선택하면 쿼리를 날려볼 수 있는데... 하지만 첫 가입한 상태에는 아무런 테이블도 없기 때문에 code library 에서 이미 만들어둔 쿼리를 수행시켜서 테스트를 해볼 수 있다. 예를들면 아래 화면에서 EMP and DEPT 테이블 선택하면 이런식으로 create table 과 insert 데이터까지 쿼리가 작성이 되어 있으니까, run script 를 누르면 쿼리가 실행되어 emp 와 dept 테이블을 조회할 수 있다. sql worksheet 에서 run 버..

NL JOIN 외부에 있는 테이블을 선행 테이블 또는 외부테이블이라 하고, 반복문 내부에 있는 테이블을 후행 테이블 또는 내부 테이블 이라고 한다. NL 조인은 프로그래밍에서 사용하는 중첩된 반복문과 유사한 방식으로 조인을 수행한다. FOR 선행 테이블 읽음 -> 외부 테이블 FOR 후행 테이블 읽은 -> 내부 테이블 (선행 테이블과 후행 테이블을 조인) NL 조인은 랜덤 방식으로 데이터를 액세스 하기 때문에 처리 범위가 좁은게 유리하다. NL JOIN 의 작업 방법 선행 테이블에서 주어진 조건을 만족하는 행을 찾음 선행 테이블의 조인 키 값을 가지고 후행 테이블에서 조인 수행 선행 테이블의 조건을 만족하는 모든 행에 대해 1번 작업 반복 수행 HASH JOIN 해슁 기법을 이용하여 조인을 수행한다. 조..

전체 테이블 스캔 테이블에 존재하는 모든 데이터를 읽으면서 조건에 맞으면 결과로 추출하고, 조건에 맞지 않으면 버리는 방식 모든 결과를 찾을 때까지 시간이 오래 걸릴 수 있다. 옵티마이저가 전체 테이블 스캔을 하는 이유는 다음과 같다. SQL문에 조건이 존재하지 않는 경우 : 테이블에 존재하는 모든 데이터가 답이 되는 경우를 의미한다. SQL문에 주어진 조건에 사용 가능한 인덱스가 존재하지 않는 경우 : 인덱스가 없다면 데이터 액세스 가능한 방법은 모든 테이블의 데이터를 읽는 방법 뿐이다. 또한, 주어진 조건에 사용 가능한 인덱스는 존재하지만 함수를 사용해서 컬럼을 변경한 경우에도 인덱스 사용이 불가하다. 옵티마이저 취사 선택 : 조건을 만족하는 데이터가 많은 경우, 인덱스가 존재해도 전체 테이블 스캔을..