일상 정리하기

※ 요구사항 1. Hive를 통해 HDFS에 로컬 파일을 저장한다. 2. MySQL로 확인했을 때, HDFS에 있는 파일을 테이블로 읽어들일 수 있어야 한다. 3. HDFS에 저장한 로컬 파일을 삭제한다. 4. Sqoop을 사용하여 MySQL에 있는 데이터를 Hive를 거쳐 HDFS 영역에 다시 저장한다. 0. CSV파일 전처리 기존 파일을 확인하니 오타가 있어서 이를 처리하기 위해, 전처리를 시행 import sys import csv with open('biostats.csv', 'w', newline='') as f: writer = csv.writer(f) header = sys.stdin.readline(); for line in sys.stdin.readlines(): tmp_list = li..

※ Sqoop(정형 데이터 수집) * MySQL -> Sqoop -> HDFS * RDB -> HDFS * HDFS -> RDB * 대용량 데이터 전송 솔루션 * 커넥터(Connector)를 사용하여 RDBMS에서 HDFS로 데이터를 수집하거나 HDFS에서 RDBMS로 데이터를 보내는 기능 수행 * Oracle, MS-SQL, DB2와 같은 상용 RDBMS와 MySQL과 같은 오픈소스 RDBMS 지원 ※ 설치 1. File Download wget https://downloads.apache.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz https://downloads.apache.org/sqoop/1.4.7/ Index of /sqoop/1.4.7 dow..