데니의 Techlog

Create DataFrame from Dictionary Array from pyspark.sql import Row valuesA = [('Pirate',1),('Monkey',2),('Ninja',3),('Spaghetti',4)] rdd1 = sc.parallelize(valuesA) rddA = rdd1.map(lambda x: Row(name = x[0], id = x[1])) TableA = sqlContext.createDataFrame(rddA) # TableA1 = spark.createDataFrame(valuesA, ['name', 'id']) valuesB = [('Rutabaga',1),('Pirate',2),('Ninja',3),('Darth Vader',4)] rdd2 = s..

HDFS(Hadoop Distributed File System) : Cluster에 데이터를 저장 Map Reduce : Cluster의 데이터를 처리 RDD(Resilent Distributed Dataset) - Core data structure in Spark - Distributed, resilient, immutable(수정이 안됨) - lazy evaluated : evaluation command가 나올 때 evaluation된다. - Abstract Data Set - Distribution은 System이 수행함. - Fault가 발생하면 System이 복구함. Big Issues in Distributed System Fault Tolerant : Distributed PC에 고장이..