Spark의 sort () 대 orderBy ()

Apache Spark에서 sort ()와 orderBy ()의 차이점은 무엇입니까?

소개

Spark DataFrame 정렬은 아마도 가장 일반적으로 사용되는 작업 중 하나 일 것입니다. sort()또는 orderBy()내장 함수를 사용하여 특정 DataFrame을 하나 이상의 열에 대해 오름차순 또는 내림차순으로 정렬 할 수 있습니다 . 두 함수 모두 Spark DataFrame에서 데이터를 정렬해야하지만 한 가지 중요한 차이점이 있습니다.

오늘의 기사에서 우리는 사이의 차이를 논의하려고 sort()하고 orderBy()다른 이상을 사용하는 경우 이해합니다.

먼저의 입증 방법 모두에 기사를 통해 사용 예제 DataFrame 만들 수 sort()및 orderBy()작업. Python API를 사용할 것이지만 오늘 논의하는 내용은 Scala에도 적용 할 수 있습니다.

df = spark.createDataFrame(
   [
      ('Andrew', 'Johnson', 'Engineering', 'UK', 34),
      ('Maria', 'Brown', 'Finance', 'US', 41),
      ('Michael', 'Stevenson', 'Sales', 'US', 31),
      ('Mark', 'Anderson', 'Engineering', 'Ireland', 28),
      ('Jen', 'White', 'Engineering', 'UK', 29)
  ],
  ['first_name', 'last_name', 'department', 'country', 'age']
)
df.show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|    Andrew|  Johnson|Engineering|      UK| 34|
|     Maria|    Brown|    Finance|      US| 41|
|   Michael|Stevenson|      Sales|      US| 31|
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
+----------+---------+-----------+--------+---+

이제 우리는 오름차순으로 직원의 국가와 나이를 기준으로 sort()DataFrame을 정렬하는 방법 을 사용할 수 있습니다 df.

df.sort('country', 'age').show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
|    Andrew|  Johnson|Engineering|      UK| 34|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

예를 들어, 직원의 경우 Jen와 Andrew인스턴스에 대한 최종 순서가 잘못되었을 수도 있습니다 다른 파티션에 저장되어 있습니다 :

+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|    Andrew|  Johnson|Engineering|      UK| 34|
|       Jen|    White|Engineering|      UK| 29|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

같은 방법으로 orderBy()직원의 국가 및 연령을 기준으로 DataFrame을 오름차순으로 주문할 수 있습니다.

df.orderBy('country', 'age').show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
|    Andrew|  Johnson|Engineering|      UK| 34|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

마지막 단어

양 sort()및 orderBy()기능 적어도 하나의 열을 정렬 점화 DataFrames하는데 사용될 수 있고 모든 즉 오름차순 또는 내림차순으로 순서를 원하는.

sort()orderBy()데이터가 각 파티션에서 개별적으로 정렬되므로 출력 데이터의 순서가 보장되지 않기 때문에 보다 효율적 입니다.

반면에 orderBy()모든 데이터를 단일 실행기로 수집 한 다음 정렬합니다. 즉, 출력 데이터의 순서가 보장되지만 이는 비용이 많이 드는 작업 일 수 있습니다.

따라서 순서가 그다지 중요하지 않은 데이터 프레임을 정렬해야하는 동시에 가능한 한 빨리 원하는 경우 sort()더 적합합니다. 순서가 중요한 경우 orderBy()출력 데이터가 사용자 매개 변수를 기반으로 정렬되도록 보장하는 것을 사용하십시오 .

당신은 또한 좋아할 수 있습니다