sort() vs orderBy() no Spark

Qual é a diferença entre sort() e orderBy() no Apache Spark

Introdução

A classificação de um Spark DataFrame é provavelmente uma das operações mais usadas. Você pode usar uma sort()ou orderBy()funções internas para classificar um DataFrame específico em ordem crescente ou decrescente em pelo menos uma coluna. Embora ambas as funções devam ordenar os dados em um Spark DataFrame, elas têm uma diferença significativa.

No artigo de hoje vamos discutir a diferença entre sort()e orderBy()entender quando usar um sobre o outro.

Primeiro vamos criar um DataFrame de exemplo que será usado ao longo do artigo para demonstrar como ambos sort()e orderBy()funcionam. Observe que usarei a API Python, mas o que discutimos hoje também é aplicável para Scala.

df = spark.createDataFrame(
   [
      ('Andrew', 'Johnson', 'Engineering', 'UK', 34),
      ('Maria', 'Brown', 'Finance', 'US', 41),
      ('Michael', 'Stevenson', 'Sales', 'US', 31),
      ('Mark', 'Anderson', 'Engineering', 'Ireland', 28),
      ('Jen', 'White', 'Engineering', 'UK', 29)
  ],
  ['first_name', 'last_name', 'department', 'country', 'age']
)
df.show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|    Andrew|  Johnson|Engineering|      UK| 34|
|     Maria|    Brown|    Finance|      US| 41|
|   Michael|Stevenson|      Sales|      US| 31|
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
+----------+---------+-----------+--------+---+

Agora podemos usar sort()o método para classificar o DataFrame dfcom base no país e na idade dos funcionários em ordem crescente.

df.sort('country', 'age').show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
|    Andrew|  Johnson|Engineering|      UK| 34|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

Por exemplo, se os funcionários Jene Andrewestão armazenados em uma partição diferente, o pedido final pode estar errado, por exemplo:

+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|    Andrew|  Johnson|Engineering|      UK| 34|
|       Jen|    White|Engineering|      UK| 29|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

Da mesma forma, podemos usar orderBy()para ordenar nosso DataFrame com base no país e na idade dos funcionários em ordem crescente:

df.orderBy('country', 'age').show(truncate=False)
+----------+---------+-----------+--------+---+
|first_name|last_name| department||country|age|
+----------+---------+-----------+--------+---+
|      Mark| Anderson|Engineering| Ireland| 28|
|       Jen|    White|Engineering|      UK| 29|
|    Andrew|  Johnson|Engineering|      UK| 34|
|   Michael|Stevenson|      Sales|      US| 31|
|     Maria|    Brown|    Finance|      US| 41|
+----------+---------+-----------+--------+---+

Uma palavra final

Ambas as funções sort()e orderBy()podem ser usadas para classificar Spark DataFrames em pelo menos uma coluna e qualquer ordem desejada, ou seja, ascendente ou descendente.

sort()é mais eficiente em comparação com orderBy()porque os dados são classificados em cada partição individualmente e é por isso que a ordem nos dados de saída não é garantida.

Por outro lado, orderBy()coleta todos os dados em um único executor e depois os classifica. Isso significa que a ordem dos dados de saída é garantida, mas esta é provavelmente uma operação muito cara.

Portanto, se você precisa classificar um DataFrame onde o pedido não é tão crítico e ao mesmo tempo deseja que seja o mais rápido possível, sort()é mais adequado. Caso a ordem seja crítica, certifique-se de usar orderBy()que garanta que os dados de saída sejam ordenados com base nos parâmetros do usuário.

você pode gostar