เมื่อวันศุกร์ที่ผ่านมา Data Twitter เต็มไปด้วยทวีตของ Josh Wills เกี่ยวกับข้อมูลเมตาและข้อมูลทางธุรกิจ

ที่Atlanเราเริ่มต้นในฐานะทีมข้อมูล และเราล้มเหลวสามครั้งในการใช้แคตตาล็อกข้อมูล ในฐานะผู้นำข้อมูลที่เห็นโครงการเหล่านี้ล้มเหลว ฉันพบว่าสาเหตุที่ใหญ่ที่สุดที่แคตตาล็อกข้อมูลล้มเหลวคือประสบการณ์ของผู้ใช้ นี่ไม่ใช่แค่อินเทอร์เฟซผู้ใช้ที่สวยงามเท่านั้น มันเกี่ยวกับการทำความเข้าใจอย่างแท้จริงว่าผู้คนทำงานอย่างไรและมอบประสบการณ์ที่ดีที่สุดให้พวกเขา

คนอย่าง Josh ต้องการบริบทว่าพวกเขาอยู่ที่ไหน เมื่อพวกเขาต้องการ

ตัวอย่างเช่น เมื่อคุณอยู่ในเครื่องมือ BI เช่น Looker คุณคิดว่า "ฉันเชื่อถือแดชบอร์ดนี้หรือไม่" อย่างหลีกเลี่ยงไม่ได้ หรือ “ตัวชี้วัดนี้หมายความว่าอย่างไร” และสิ่งสุดท้ายที่ทุกคนต้องการจะทำคือเปิดเครื่องมืออื่น (หรือที่เรียกว่าแคตตาล็อกข้อมูลแบบเดิม) ค้นหาแดชบอร์ด และเรียกดูข้อมูลเมตาเพื่อตอบคำถามนั้น

ลองนึกภาพโลกที่แคตตาล็อกข้อมูลไม่ได้อยู่ใน "เว็บไซต์ที่สาม" ของตนเอง ผู้ใช้สามารถรับบริบททั้งหมดได้ตามต้องการ ไม่ว่าจะในเครื่องมือ BI ที่พวกเขาเลือกหรือเครื่องมือใดก็ตามที่มีอยู่แล้ว ไม่ว่าจะเป็น Slack, Jira, เครื่องมือแก้ไขคิวรี หรือคลังข้อมูล

ฉันเชื่อว่านี่คืออนาคตของแคตตาล็อกข้อมูล โดยจะเปิดใช้งานข้อมูลเมตาและนำข้อมูลเมตากลับมาสู่เวิร์กโฟลว์ประจำวันของทีมข้อมูล

ในคำพูดของ Josh "มันเหมือนกับ ETL ย้อนกลับแต่สำหรับข้อมูลเมตา"

เหตุใดแคตตาล็อกข้อมูลจึงไม่ทำงานเช่นนี้ในปัจจุบัน

ตามเนื้อผ้า แค็ตตาล็อกข้อมูลถูกสร้างขึ้นเพื่อให้เป็นแบบพาสซีฟ พวกเขานำข้อมูลเมตาจากเครื่องมือต่างๆ มาไว้ในเครื่องมืออื่นที่เรียกว่า "แคตตาล็อกข้อมูล" หรือ "เครื่องมือกำกับดูแลข้อมูล"

ปัญหาของแนวทางนี้ — จะพยายามแก้ปัญหา "มีไซโลมากเกินไป" โดยการเพิ่มเครื่องมือแยกส่วนเพิ่มอีกหนึ่งเครื่องมือ นั่นไม่ได้แก้ปัญหาที่ผู้ใช้อย่าง Josh ต้องเผชิญทุกวัน ในที่สุด การยอมรับของผู้ใช้ก็ประสบ!

ผู้นำข้อมูลอาวุโสในบริษัทขนาดใหญ่เรียกแคตตาล็อกข้อมูลเหล่านี้ว่า " ชั้นวาง ราคาแพง " หรือซอฟต์แวร์ที่วางอยู่บนชั้นวางและไม่เคยถูกใช้งาน

เราจะบันทึกแคตตาล็อกข้อมูลไม่ให้กลายเป็นชั้นวางได้อย่างไร

ลองนึกถึงเครื่องมือที่ทันสมัยที่เราใช้และชื่นชอบในปัจจุบัน — GitHub , Figma , Slack , Notion , Superhumanฯลฯ

สิ่งหนึ่งที่พบได้ทั่วไปในเครื่องมือทั้งหมดนี้คือแนวคิดของโฟล ว์ ในคำพูดของราหุล โวรา (ผู้ก่อตั้งยอดมนุษย์):

“กระแสคือความรู้สึกมหัศจรรย์

เวลาจะละลายหายไป นิ้วของคุณเต้นข้ามแป้นพิมพ์ คุณถูกขับเคลื่อนด้วยพลังงานที่ไร้ขอบเขตและความคิดสร้างสรรค์ คุณจะถูกดูดซึมโดยงานของคุณอย่างสมบูรณ์

โฟลว์เปลี่ยนงานเป็นการเล่น”

ความลับของประสบการณ์ข้อมูลมหัศจรรย์อยู่ในกระแส ประสบการณ์ผู้ใช้ที่ยอดเยี่ยมเหล่านี้ไม่ได้เกี่ยวกับกระแสมาโคร เป็นเรื่องเกี่ยวกับไมโครโฟลว์ เช่น ไม่ต้องสลับไปยังแค็ตตาล็อกข้อมูลแยกต่างหากเพื่อรับบริบทสำหรับแดชบอร์ดในเครื่องมือ BI ของคุณ มีไมโครโฟลว์จำนวนมากเช่นนี้ที่สามารถขับเคลื่อนประสบการณ์มหัศจรรย์และเปลี่ยนวิธีที่ผู้ใช้ข้อมูลรู้สึกเกี่ยวกับงานของตนโดยสิ้นเชิง

ในนั้นสัญญาของข้อมูลเมตาที่ใช้งานอยู่

ข้อมูลเมตาที่ใช้งานอยู่คืออะไร?

แทนที่จะรวบรวมข้อมูลเมตาจากสแต็กที่เหลือและนำกลับเข้าไปในแค็ตตาล็อกข้อมูลแบบพาสซีฟ เมตาดาต้าที่ใช้งานอยู่ทำให้สามารถเคลื่อนย้ายข้อมูลเมตาแบบสองทางได้ โดยส่งข้อมูลเมตาที่สมบูรณ์กลับเข้าไปในทุกเครื่องมือในสแต็กข้อมูล

คำอธิบายที่ฉันชอบที่สุดเกี่ยวกับ "ข้อมูลเมตาที่ใช้งานอยู่" และความแตกต่างจากวิธีการแบบพาสซีฟแบบเดิมๆ ที่จริงแล้วจะย้อนกลับไปที่... พจนานุกรมได้อย่างไร

“ถ้าคุณอธิบายใครซักคนว่าไม่โต้ตอบ คุณหมายความว่าพวกเขาไม่ดำเนินการ แต่ปล่อยให้สิ่งต่าง ๆ เกิดขึ้นกับพวกเขาแทน”

— คอลลินส์พจนานุกรม

การ “กระตือรือร้น” เป็นเรื่องเกี่ยวกับการมีส่วนร่วมและก้าวไปข้างหน้าเสมอ แทนที่จะนั่งเฉยๆ และปล่อยให้สิ่งต่างๆ เกิดขึ้นรอบตัวคุณ

ใช้เวลาสักครู่เพื่อคิดเกี่ยวกับความหมายนี้ในบริบทของข้อมูลเมตา และให้ภาพว่าข้อมูลเมตาที่ใช้งานอยู่เป็นอย่างไร เมื่อข้อมูลเมตาเปลี่ยนเป็น "การดำเนินการ" เพื่อทำให้ประสบการณ์ข้อมูลของเราดีขึ้น

บรรลุโฟลว์ผ่านข้อมูลเมตาที่ใช้งานอยู่

ความเป็นจริงเพียงอย่างเดียวในทีมข้อมูลคือความหลากหลาย — ความหลากหลายของผู้คน เครื่องมือ และเทคโนโลยี ความหลากหลายที่นำไปสู่ความโกลาหลและประสบการณ์ที่ไม่เหมาะสมกับทุกคนที่เกี่ยวข้อง

กุญแจสำคัญในการโต้เถียงความหลากหลายนี้และบรรลุโฟลว์อยู่ในข้อมูลเมตา เป็นชุดข้อความทั่วไปในเครื่องมือทั้งหมดของเราที่ให้บริบทที่เราขาดหายไปทุกครั้งที่เราตีกลับระหว่างเครื่องมือต่างๆ เพื่อค้นหาว่าเกิดอะไรขึ้นกับโครงการข้อมูล

• เมื่อคุณเรียกดูข้อมูลในสายเลือดของสินทรัพย์ข้อมูลและพบปัญหา คุณสามารถสร้างตั๋ว Jira ได้ทันที
• เมื่อคุณถามคำถามเกี่ยวกับสินทรัพย์ข้อมูลใน Slack บอทจะนำบริบทเกี่ยวกับเนื้อหานั้นมาให้คุณโดยตรงใน Slack
• เมื่อคุณผลักดันสู่การผลิตใน GitHub บอทจะทำงานผ่านสายเลือดและการพึ่งพาและให้สถานะ "สีเขียว" ที่คุณจะไม่ทำลายสิ่งใด - ใน GitHub

“แคตตาล็อกข้อมูล” เป็นเพียงกรณีการใช้งานครั้งเดียวของข้อมูลเมตา ซึ่งช่วยให้ผู้ใช้เข้าใจเนื้อหาข้อมูลของตน แต่นั่นแทบไม่ทำให้เกิดรอยขีดข่วนบนพื้นผิวของข้อมูลเมตาที่สามารถทำได้

การเปิดใช้งานข้อมูลเมตาถือเป็นกุญแจสำคัญสำหรับกรณีการใช้งานหลายสิบกรณี เช่น ความสามารถในการสังเกต การจัดการต้นทุน การแก้ไข คุณภาพ ความปลอดภัย การกำกับดูแลด้วยโปรแกรม ไปป์ไลน์ที่ปรับแต่งอัตโนมัติ และอื่นๆ

ยิ่งฉันคิดเกี่ยวกับสิ่งนี้มากเท่าไหร่ ฉันก็ยิ่งเริ่มเชื่อว่าเมตาดาต้าที่แอ็คทีฟสามารถทำให้ความฝันของข้อมูลอัจฉริยะเป็นจริงได้

นี่คือตัวอย่างวิธีการทำงาน:

1. ด้วยข้อมูลเมตาที่ใช้งานอยู่ คุณสามารถใช้ข้อมูลเมตาของการใช้งานที่ผ่านมาจากเครื่องมือ BI เพื่อทำความเข้าใจว่าแดชบอร์ดใดถูกใช้มากที่สุดและเมื่อใดที่ผู้คนใช้งาน
2. สายผลิตภัณฑ์จากต้นทางถึงปลายทางเชื่อมต่อแดชบอร์ดเหล่านี้กับตารางที่ขับเคลื่อนในคลังข้อมูล
3. ข้อมูลเมตาการดำเนินงานแสดงปริมาณงานการประมวลผลที่เชื่อมต่อ ไปป์ไลน์ข้อมูลที่เกี่ยวข้อง และเวลารัน

นอกจากนั้น ยังรู้สึกเหมือนกับว่ากรณีการใช้งานของข้อมูลเมตาที่ใช้งานอยู่นั้นไร้ขีดจำกัด มีศักยภาพที่จะนำความฉลาดและการไหลของข้อมูลไปยังทุกส่วนของกองข้อมูล และทำหน้าที่เป็นประตูสู่กองข้อมูลในฝันของเราอย่างแท้จริง ซึ่งเป็นระบบข้อมูลที่ชาญฉลาดอย่างแท้จริง

• อนุมานเจ้าของและผู้เชี่ยวชาญโดยอัตโนมัติสำหรับตารางข้อมูลหรือแดชบอร์ดตามบันทึกการสืบค้น SQL
• หยุดไปป์ไลน์ดาวน์สตรีมโดยอัตโนมัติเมื่อตรวจพบปัญหาด้านคุณภาพของข้อมูล และใช้บันทึกที่ผ่านมาเพื่อคาดการณ์สิ่งที่ผิดพลาดและแก้ไขโดยไม่ต้องมีการแทรกแซงจากมนุษย์
• ล้างผลิตภัณฑ์ข้อมูลที่มีคุณภาพต่ำหรือล้าสมัยโดยอัตโนมัติ
• และอีกมากมาย

ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับแคตตาล็อกข้อมูลรุ่นที่สามและการเพิ่มขึ้นของข้อมูลเมตาที่ใช้งานอยู่หรือไม่ ตรวจสอบ ebook ของเรา

ต้องการพูดคุยเกี่ยวกับความเป็นไปได้ไม่รู้จบของข้อมูลเมตาที่ใช้งานอยู่หรือไม่ ฉันชอบที่จะคว้ากาแฟ! ติดต่อPrukalpaหรือ ทีมงาน ที่Atlan