일상 정리하기

※ 개요 - Login 서블릿 작성 및 테스트 LoginForm.html에 포함된 id, pwd 파라미터를 Login 서블릿에 전송하고 Login 서블릿은 파라미터를 접수하여 다음과 같은 방법으로 인증한다. 이용자의 id는 'smith'이고, pwd는 '0000'인지 확인하여 맞으면 '로그인 성공', 아니면 '로그인 실패' 메시지를 이용자의 웹 브라우저에 표시한다. - LoginServlet.java, Login.java, LoginResult.jsp으로 구성한다. (생각) - LoginServlet.java: service() 를 이용하여 웹 브라우저로부터 데이터를 입력받고, Login.java를 이용해 결과를 알아내어(Business Logic), LoginResult.jsp에 전달한다(Present..

※ 개요 - 웹 서버가 실행할 수 있는 자바 프로그램 - 모든 웹 서비스는 웹 서버로부터 웹 클라이언트에게 정보 제공 - 정보 제공 형태는 HTML, CSS, Java Script(클라이언트로 도착해서 실행되는 코드) - 웹 브라우저가 프로그램이 실행되는 플랫폼이 되어가는 추세 * 정보 교환 과정 - 웹 브라우저(웹 클라이언트)를 사용해 구글 웹 서버에 접속한다. - 웹 브라우저 주소창에 http://google.com을 입력하고 엔터(웹 서버 접속) - Domain Name: google.com * 구성 - 물리적인 웹 서버 컴퓨터 - 접속 요청에 응답할 웹 서버 소프트웨어 - 웹 클라이언트 - 웹 서버 간의 통신 규약(HTTP) * Web Server SW 종류 - Apache Web Server: ..

※ 개요 - 웹 크롤링(Web Crawling) - 웹 스크래핑(Web Scraping): 웹 페이지 내에서 정보를 수집 - 수집 툴 * requests * BeautifulSoup * Selenium: 동적인 컨텐츠까지 접근하여 수집 가능 - 웹 페이지 동작 순서 사용자 클릭 or 동작 -> 요청이 서버로 전달 -> 서버는 해당 컨텐츠 서칭 -> 웹 브라우저로 컨텐츠 다운로드(html 형태, 안에는 실행 가능한 Javascript 내장) -> 추가로 Javascript가 서버에 또 다른 컨텐츠 요청 가능 ※ Requests(웹서버에 대한 요청 전달) - 웹 서버에 접속 - 요청 ≒ 웹 브라우저 주소창에 URL을 입력하고 엔터를 치는 행위 ≒ URL 클릭(링크) - request response(형식: ..

※ 빅데이터 분석 기획 1. 데이터 수집 기술 정형 데이터 수집 기술 ETL, FTP, API(솔루션 제조사 및 3rd party 소프트웨어로 제공되는 도구), DBToDB, RSync, Sqoop 비정형 데이터 수집 기술 크롤링, RSS, Open API, Scrapy, Apach Kafka(Publish, Scribe로 구성) 반정형 데이터 수집 기술 센싱, 스트리밍, 플럼, 스크라이브, 척와 2. 데이터 활용성의 품질 특성 유용성, 접근성, 적시성, 보안성 [ 유/접/적/보 ] 3. 데이터 특성 - 데이터 정확성: 정확성, 사실성, 적합성, 필수성, 연관성 [ 정/사/적/ 필/연] - 데이터 일관성: 정합성, 일치성, 무결성 [ 정/일/무 ] 4. 하둡 에코 시스템 - 데이터 가공: Pig, Hiv..

0. 공통 import pandas as pd import numpy as np # 전처리(Encoder) from sklearn.preprocessing import LabelEncoder, OneHotEncoder, OrdinalEncoder # 전처리(Scaler) from sklearn.preprocessing import MinMaxScaler, MaxAbsScaler, RobustScaler, StandardScaler, maxas_scale, minmax_scale, robust_scale # 분류 정확도 측정 from sklearn.metrics import roc_auc_score, accuracy_score # 값 정확도 측정(Regression metrics) from sklearn...

※ 예제 작업형 1 mtcars 데이터셋(data/mtars.csv)의 qsec 컬럼을 최소최대 척도(Min-Max Scale)로 변환한 후 0.5보다 큰 값을 가지는 레코드 수를 구하시오. * dataset위치: data/mtcars.csv # 출력을 원하실 경우 print() 활용 # 예) print(df.head()) # 답안 제출 예시 # print(레코드 수) import pandas as pd import numpy as np df = pd.read_csv('data/mtcars.csv') max_value = df['qsec'].max() min_value = df['qsec'].min() tmp_list = (df['qsec'] - min_value ) / (max_value - min_v..

※ employees.csv를 spark DataFrame으로 읽은 후, 아래 질의를 수행 - 급여(Salary)가 5000이상인 50번 부서 소속의 직원들을 대상으로 이름, 부서번호, 급여액을 표시 employee_sdf = spark.read.csv('C:\\labs\\employees.csv', header = True, inferSchema = True) employee_sdf.printSchema() employee_sdf.show() # SQL을 사용한 결과 employee_sdf.createOrReplaceTempView('employees') spark.sql('SELECT LAST_NAME, DEPARTMENT_ID, SALARY FROM employees WHERE SALARY >= 5..

※ 3행 3열의 정수 행렬을 생성하고, pandas DataFrame으로 로드한다. import pandas as pd import numpy as np matrix = pd.DataFrame(np.random.randint(0, 100, size = (3, 3)), columns = ['a', 'b', 'c']) matrix ※ pandas DataFrame을 다시 spark.DataFrame으로 변환하여 example.csv로 저장한다. sdf = spark.createDataFrame(matrix) sdf.show() sdf.toPandas().to_csv('C:\\labs\\random.csv', sep=',', index=False) ※ example.csv 파일을 읽어서 spark DataFr..

※ 환경 Windows 10 Java version: 1.8.0_281 Python version: 3.8.5 RAM: 8.00GB ※ 설치 1. Apache Spark 다운로드 https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built ..

※ Apache Spark - RDD(Resilitent(유연한, 탄력적인) Distributed Dataset): 분산된 데이터를 처리할 수 있는 시스템 -> DataFrame으로 발전(가상의 테이블을 만들기 때문에 SQL을 적용할 수 있음) - MLlib: Machine Learning Library, 머신러닝이 가능한 모듈을 가지고 있음 - GraphFrame: 시각화도구 ※ 설치 1. File Download wget https://downloads.apache.org/spark/spark-3.0.2/spark-3.0.2-bin-hadoop3.2.tgz https://downloads.apache.org/spark/spark-3.0.2/ Index of /spark/spark-3.0.2 downl..