“Revolucionando la gestión de datos: el poder de Apache Hudi”

Upserts, Deletes y Procesamiento Incremental en Big Data.


| id | name   | company  | skill 
+ — — + — — -+ — — — — + — — — -+
| 101|Vijay   | TCS       | Spark 
| 102|Sanish  | Axis      | scala 
| 103|Avinash | Paytm     | java 
| 104|Ashish  | Jio       | Nifi 
| 105|Rahul   | Accenture | ETL

import org.apache.spark.sql.SaveMode
import org.apache.hudi.DataSourceWriteOptions
import org.apache.hudi.config.HoodieWriteConfig
import org.apache.spark.sql.functions.col

val df = spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("employee_data.csv")

val hoodieOptions = Map[String, String](
  HoodieWriteConfig.TABLE_NAME -> "employee_data",
  DataSourceWriteOptions.RECORDKEY_FIELD_OPT_KEY -> "id",
  DataSourceWriteOptions.PARTITIONPATH_FIELD_OPT_KEY -> "company",
  DataSourceWriteOptions.KEYGENERATOR_CLASS_OPT_KEY -> "org.apache.hudi.keygen.SimpleKeyGenerator"
)

val updatedData = Seq(
  (103, "Avinash", "Airtel", "java")
).toDF("id", "name", "company", "skill")

updatedData
  .write
  .format("org.apache.hudi")
  .options(hoodieOptions)
  .mode(SaveMode.Append)
  .save("../../employee_data")

| id | name   | company  | skill 
+ - - + - - -+ - - - - + - - - -+
| 101|Vijay   | TCS       | Spark 
| 102|Sanish  | Axis      | scala 
| 103|Avinash | Airtel     | java 
| 104|Ashish  | Jio       | Nifi 
| 105|Rahul   | Accenture | ETL

Hacer un trabajo remoto conduce a muchísimos más candidatos (Parte 3 de 3: análisis de texto/coincidencia con el título del trabajo)

En la Parte 2, comencé a usar la coincidencia exacta gruesa en un intento de responder a mi pregunta de investigación, que pregunta cómo una oportunidad de trabajo para el trabajo remoto en lugar del trabajo en persona afecta el interés en ella. Las variables coincidentes que utilicé (ubicación, industria, tamaño de la empresa, información salarial, años de experiencia requeridos y edad de publicación) parecen haber contribuido en gran medida a eliminar el tipo de sesgo ascendente indicado por el simple análisis exploratorio de datos realizado en la Parte 1. .

Hacer un trabajo remoto conduce a muchísimos más candidatos (Parte 2 de 3: Coincidencia exacta simplificada)

En mi última publicación, mostré que la lejanía de una oportunidad de trabajo se correlaciona con mucho más interés del solicitante, pero también mostré por qué esta correlación puede ser engañosa, o quizás al menos una indicación exagerada de lo que una empresa puede esperar razonablemente en términos de solicitante. interés si hace una oferta de trabajo remota en lugar de en el sitio. Las ofertas de trabajo con arreglos de trabajo anunciados de manera diferente (en el sitio, híbrido o remoto) también tienden a variar, al menos en mi muestra, en términos de otros impulsores de interés en una publicación de trabajo, que van desde cuánta experiencia requieren hasta qué industrias están en los títulos que tienden a tener.

Cómo salvar el planeta y ganar dinero

¿Cuántas veces has tirado una botella de plástico, un tarro de cristal, una lata de aluminio o un paquete de energía verde sin pensarlo dos veces? ¿Cuántas veces has deseado poder obtener algo a cambio de reciclarlos? Si usted es como la mayoría de las personas, la respuesta probablemente sea muchas veces. El reciclaje a menudo se ve como una molestia, una tarea o un deber que no brinda ningún beneficio inmediato o tangible.

3 formas comprobadas de mejorar su habilidad de escritura

Los beneficios de escribir y estrategias para ayudarte a hacerlo

En 2022, con el lanzamiento de GPT-3, la habilidad de escritura parece perder importancia. Con IA, las personas con mala escritura también pueden generar personal de calidad.

¿Es el arte alguna vez apolítico?

Ayer cerramos la puerta del Festival de la Canción de Eurovisión de este año con una gran final brillante y caótica en la que la cantante sueca Loreen se llevó a casa el trofeo, convirtiéndose en la primera mujer en ganar dos veces y devolviendo la corona a Suecia 50 años después de que ABBA ganara la competencia. con “Waterloo”. Se convirtieron en uno de los actos más grandes en el canon de la música pop.