Thuật ngữ Kho dữ liệu lần đầu tiên được đặt ra vào những năm 1970. Về bản chất, kho dữ liệu là một hệ quản trị cơ sở dữ liệu (DBMS) chứa tất cả dữ liệu của doanh nghiệp. Kho dữ liệu đóng vai trò là một nguồn trung thực duy nhất cho tất cả các truy vấn liên quan đến kinh doanh.

Tại sao lại là một kho dữ liệu

Trong bài trước , chúng ta đã tìm hiểu về sự cần thiết của cơ sở dữ liệu báo cáo để chứa các loại mẫu truy cập dữ liệu khác nhau.

Bằng cách tạo một DBMS riêng biệt với lược đồ của riêng nó, chúng tôi có thể tránh được căng thẳng quá mức đối với hệ thống hoạt động, đồng thời làm cho dữ liệu dễ tiếp cận hơn đối với các nhà phân tích kinh doanh. Điều này là tốt và tốt về lý thuyết, tuy nhiên, trong thực tế, mọi thứ có thể trở nên lộn xộn.

Giả sử gần đây bạn đã gia nhập một công ty thương mại điện tử với tư cách là nhà khoa học dữ liệu và được giao nhiệm vụ tạo hệ thống khuyến nghị. Bạn cố gắng làm nổi tiếng bản thân bằng dữ liệu có thể được sử dụng để đào tạo mô hình của mình, tuy nhiên, bạn nhận thấy rằng có nhiều bảng cho thực thể khách hàng. Một bảng do bộ phận pháp lý tạo ra để phát hiện gian lận của người bán, một bảng khác do bộ phận tiếp thị tạo để thực hiện phân khúc khách hàng, v.v. hàng đêm, hàng tuần), dữ liệu trong một bảng có thể bị thiếu từ bảng khác, do đó thay đổi giá trị của tổng hợp. Thêm vào đó là khả năng có các bảng trung gian và những gì có thể được hiểu là các tính năng giống nhau có các giá trị hoàn toàn khác nhau.

Như bạn có thể hình dung, kịch bản trước không tự giới hạn về thứ nguyên khách hàng. Trong toàn tổ chức, ngày càng khó tìm được phiên bản dữ liệu nào là phù hợp để sử dụng trong số nhiều cơ sở dữ liệu hiện có. Khi người dùng cuối không tìm thấy phiên bản dữ liệu phù hợp, điều đó dẫn đến các quyết định kinh doanh kém hiệu quả. Theo thời gian, mọi người hiểu rằng cần phải có một kiến ​​trúc khác. Đây là nơi mà kho dữ liệu đi vào.

Kho dữ liệu giải quyết vấn đề toàn vẹn dữ liệu.

Kho dữ liệu thực hiện điều này bằng cách lưu trữ và quản lý toàn bộ dữ liệu của doanh nghiệp tại một vị trí trung tâm. Quay trở lại ví dụ của chúng tôi, thay vì có nhiều bảng khách hàng, mỗi bảng được tạo bởi một kho khác nhau, chúng tôi sẽ lưu trữ một thứ nguyên khách hàng duy nhất trong kho dữ liệu.

Sự phát triển của kho dữ liệu

Theo thời gian, một số vấn đề với kiến ​​trúc kho dữ liệu bắt đầu bộc lộ.

Ví dụ, kho dữ liệu không phù hợp với dữ liệu phi cấu trúc vì trên thực tế, kho dữ liệu là một DBMS quan hệ. Do đó, người dùng cuối không thể sử dụng những tiến bộ mới nhất trong kỹ thuật máy học cụ thể cho dữ liệu văn bản, hình ảnh, âm thanh, v.v.

Mặc dù chúng tôi đã đạt được nhiều tiến bộ về mặt hệ thống phân tán kể từ khi các kho dữ liệu được giới thiệu lần đầu tiên, nhưng DBMS truyền thống vẫn gặp khó khăn với tốc độ và khối lượng dữ liệu tuyệt đối do các tổ chức ngày nay tạo ra.

Một vấn đề lớn khác với kiến ​​trúc kho dữ liệu là nó đắt tiền. Giống như chúng tôi đã đề cập trước đây, kho dữ liệu có xu hướng bao gồm DBMS (tức là Oracle). Mô hình cấp phép cho cơ sở dữ liệu thường tính phí khách hàng đối với lượng dữ liệu được lưu trữ ở trạng thái còn lại. Con số này có xu hướng đắt hơn vài lần so với lưu trữ đám mây.

Chính vì những lý do này mà các tổ chức bắt đầu sử dụng hồ dữ liệu làm bãi đáp cho tất cả dữ liệu của họ. Khi đến hồ dữ liệu, dữ liệu có cấu trúc sẽ được đưa đến kho dữ liệu thông qua các đường ống ETL.

Phần kết luận

Khi mọi nhóm được phép tạo và quản lý cơ sở dữ liệu báo cáo của riêng họ , chúng tôi gặp phải các vấn đề về tính nhất quán của dữ liệu. Một số người đang tìm cách tận dụng một số thứ mà các nhóm khác đã phát triển gặp khó khăn khi xác định mô hình nào trong số nhiều mô hình là mô hình thực tế chính xác nhất. Kho dữ liệu giải quyết vấn đề này bằng cách cung cấp một điểm dừng (tức là các kho dữ liệu ở dạng lược đồ hình sao) cho tất cả dữ liệu của doanh nghiệp. Tuy nhiên, khi được sử dụng trong kho dữ liệu thời trang này nổi tiếng là tốn kém, gặp phải các vấn đề về khả năng mở rộng và không đáp ứng được nhu cầu của các nhà khoa học dữ liệu để truy cập dữ liệu phi cấu trúc.