Kỹ thuật băm phân tích

Spark SQL Chức năng để đơn giản hóa cuộc sống của bạn

Nguồn ảnh: https://unsplash.com/@swimstaralex

Bất kỳ ai làm việc trong lĩnh vực phân tích và học máy cuối cùng sẽ cần tạo các khóa nhóm tổng hợp mạnh mẽ và các mã định danh trung tâm cho dữ liệu mà họ đang làm việc. Những số nhận dạng mạnh mẽ về mặt mật mã này giúp giảm thiểu nỗ lực cần thiết để thực hiện việc bán vé phức tạp, chống sao chép và một loạt các nhiệm vụ quan trọng khác.

Chúng ta sẽ xem xét hai cách tạo băm:

  1. Sử dụng mã hóa Base64 và ghép chuỗi
  2. Sử dụng Murmur Hashing & Mã hóa Base64

Các lõi spark thư viện chức năng sql là một thư viện được xây dựng sẵn với hơn 300 chức năng SQL thông thường. Tuy nhiên, việc nhìn vào chỉ mục các hàm và chỉ đơn giản là liệt kê những thứ không đáng nhớ bằng việc chạy chính mã. Nếu bạn có spark-shell , thì bạn có thể theo dõi và tìm hiểu một số kỹ thuật băm phân tích.

Quay lên Spark

$SPARK_HOME/bin/spark-shell

      
Above: Reference to my Shell Environment

Nhập các Thư viện và Hàm ý

import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._
import spark.implicits._

val schema = new StructType()
  .add(StructField("name", StringType, true))
  .add(StructField("emotion", StringType, true))
  .add(StructField("uuid", IntegerType, true))
val df = spark
  .createDataFrame(
    spark.sparkContext.parallelize(
      Seq(
        Row("happy","smile", 1),Row("angry", "frown", 2))
      ),
      schema
    )

scala> df.show()
+-----+-------+----+
| name|emotion|uuid|
+-----+-------+----+
|happy|  smile|   1|
|angry|  frown|   2|
+-----+-------+----+

Băm chuỗi

Giá trị chuỗi được mã hóa Base64

val hashed = df.withColumn(
  "hash", base64(
    concat_ws("-", $"name", $"emotion")
  )
)

df.withColumn("concat",
  concat_ws("-",$"name",$"emotion"))
  .select("concat")
  .show
+-----------+
|     concat|
+-----------+
|happy-smile|
|angry-frown|
+-----------+

scala> hashed.show()
+-----+-------+----+----------------+
| name|emotion|uuid|            hash|
+-----+-------+----+----------------+
|happy|  smile|   1|aGFwcHktc21pbGU=|
|angry|  frown|   2|YW5ncnktZnJvd24=|
+-----+-------+----+----------------+

Kế tiếp. Chúng ta có thể xem xét kỹ thuật băm mạnh hơn. Điều này sử dụng thuật toán băm Murmur3 và các phép biến đổi nhị phân rõ ràng trước khi đưa vào bộ mã hóa base64.

Murmur Hashing và mã hóa nhị phân

Có nhiều cách để tạo một hàm băm và ứng dụng của phép băm có thể được sử dụng từ tiếp thị giá trị cho đến truyền tải biểu đồ. Khi bạn muốn tạo mã băm mạnh, bạn có thể dựa vào các kỹ thuật băm khác nhau từ Kiểm tra dự phòng theo chu kỳ (CRC) đến Murmur Hash hiệu quả (v3) . Chúng tôi sẽ sử dụng những gì chúng tôi có thể nhận được miễn phí trong Spark, đó là Murmur3.

hashed.withColumn("binhash",
  base64(bin(hash($"name",$"emotion")))
)
.select("uuid", "hash", "binhash")
.show(false)

+----+----------------+--------------------------------------------+
|uuid|hash            |binhash                                     |
+----+----------------+--------------------------------------------+
|1   |aGFwcHktc21pbGU=|MTAxMTEwMDAxMTAwMDAwMTAwMDAwMDEwMTExMDAxMA==|
|2   |YW5ncnktZnJvd24=|MTEwMTAwMDEwMTExMTExMDEwMDAwMDExMDAxMTAxMA==|
+----+----------------+--------------------------------------------+

Nếu bạn tò mò muốn xem Spark hoạt động như thế nào thì có một tính năng mới tuyệt vời của chức năng giải thích sẽ cho phép bạn xem mã mà Spark tạo (và tối ưu hóa) cho các chuyển đổi của bạn. Để xem điều này, tất cả những gì bạn cần làm là như sau.

hashed.withColumn("binhash",
  base64(bin(hash($"name",$"emotion")))
)
.select("binhash")
.explain("codegen")

Ảnh trên: Nhìn vào thế hệ mã Spark

Mã này là một phần của Trình tối ưu hóa chất xúc tác của Spark và may mắn là có khả năng cao là bạn sẽ không bao giờ phải làm việc ở cấp độ thấp hơn này và có thể sẽ tiếp tục cuộc sống của mình. Nhưng nếu bạn đang viết trình đọc và người viết nguồn dữ liệu tùy chỉnh thì đây có thể là thứ bạn sẽ muốn đi sâu vào. Nếu không có gì khác, bạn có thể tìm hiểu thêm về cơ chế cơ bản, trong trường hợp sử dụng ví dụ từ trên, trình tạo mã nêu chi tiết việc sử dụng thư viện băm âm thầm đang được sử dụng. Đây là một công cụ tốt để gỡ lỗi và dành cho những người chỉ muốn học theo mô hình 360 độ.

Tóm lược

Bây giờ bạn có thêm hai kỹ thuật mà bạn có thể sử dụng để tạo ra các phím tổng hợp chắc chắn hoặc sử dụng như một bảng lò xo để tạo ra các phím không cần thiết. Tôi chỉ nghĩ rằng sẽ rất vui khi chia sẻ những kỹ thuật này vì chúng rất hữu ích và sử dụng lại các thư viện cốt lõi được cung cấp cùng với Spark. Những con đường hạnh phúc.

Suggested posts

BARD VS ChatGPT: Thử nghiệm trên các bài toán Phân tích

Sự khác biệt, tương đồng và thử nghiệm của cả hai Mô hình ngôn ngữ và so sánh

BARD VS ChatGPT: Thử nghiệm trên các bài toán Phân tích

CHÚNG TA CÓ THỂ KẾT NỐI TRÊN :| LIÊN KẾT | TWITTER | VỪA | PHỤ TRÁCH | Vào ngày 10 tháng 5, đối thủ cạnh tranh mạnh mẽ và được thổi phồng nhất của Google với ChatGPT, BARD, đã có mặt tại Ấn Độ. Niềm đam mê của tôi không cho phép tôi ngừng so sánh Bard với ChatGPT và đây là một số so sánh tuyệt vời.

Tôi đã chuyển từ Toán sang CS như thế nào

Tôi đã chuyển từ Toán sang CS như thế nào

Quá trình nhập học mùa thu năm 2023 sắp kết thúc và việc hoãn/từ chối đang diễn ra. Xin chúc mừng nếu bạn đã được nhận vào chương trình mơ ước của mình tại UW.

Related posts

3 cách đã được chứng minh để cải thiện kỹ năng viết của bạn

Lợi ích của việc viết và các chiến lược giúp bạn làm điều đó

3 cách đã được chứng minh để cải thiện kỹ năng viết của bạn

Vào năm 2022, với việc phát hành GPT-3, kỹ năng viết dường như trở nên ít quan trọng hơn. Với AI, những người viết kém cũng có thể tạo ra đội ngũ nhân viên chất lượng.

Sự xói mòn chậm: Hé lộ những cách mọi người lãng phí trong sự nghiệp của họ

Sự xói mòn chậm: Hé lộ những cách mọi người lãng phí trong sự nghiệp của họ

Trong thế giới có nhịp độ nhanh và cạnh tranh ngày nay, sự nghiệp của một người đóng một vai trò quan trọng trong sự phát triển cá nhân, ổn định tài chính và sự hài lòng trong cuộc sống nói chung. Tuy nhiên, nhiều cá nhân thấy mình bị mắc kẹt trong một chu kỳ trì trệ và không hài lòng không ngừng, dần dần lãng phí trong cuộc sống nghề nghiệp của họ.

"Hé lộ rãnh Mariana: Hé lộ những sự thật kinh hoàng ẩn giấu của vực thẳm"

"Hé lộ rãnh Mariana: Hé lộ những sự thật kinh hoàng ẩn giấu của vực thẳm"

Giới thiệu: Chào mừng những độc giả dũng cảm đến với cuộc hành trình sẽ đưa chúng ta đến những nơi sâu thẳm nhất của hành tinh chúng ta. Trong blog này, chúng tôi đi sâu vào thế giới bí ẩn của Rãnh Mariana, khám phá những bí mật ẩn giấu của nó và khám phá những sự thật lạnh thấu xương nằm bên dưới bề mặt của nó.

Tại sao một số dịch giả tự do đang giả mạo cuộc sống của họ

Tại sao một số dịch giả tự do đang giả mạo cuộc sống của họ

Gần đây, tôi đã truy cập Linkedin, mạng xã hội chuyên nghiệp lớn nhất thế giới và tìm thấy các bài đăng của các nhà thiết kế tự do mà tôi theo dõi, những người đã thu hút sự chú ý của tôi. Tất cả họ đều đăng ảnh chụp từ máy bay, trên bãi biển với máy tính xách tay của họ, từ bể bơi và văn phòng với những khung cảnh tuyệt vời.