일상 정리하기

※ 환경 Windows 10 Java version: 1.8.0_281 Python version: 3.8.5 RAM: 8.00GB ※ 설치 1. Apache Spark 다운로드 https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built ..

※ Apache Spark - RDD(Resilitent(유연한, 탄력적인) Distributed Dataset): 분산된 데이터를 처리할 수 있는 시스템 -> DataFrame으로 발전(가상의 테이블을 만들기 때문에 SQL을 적용할 수 있음) - MLlib: Machine Learning Library, 머신러닝이 가능한 모듈을 가지고 있음 - GraphFrame: 시각화도구 ※ 설치 1. File Download wget https://downloads.apache.org/spark/spark-3.0.2/spark-3.0.2-bin-hadoop3.2.tgz https://downloads.apache.org/spark/spark-3.0.2/ Index of /spark/spark-3.0.2 downl..