Năm lợi ích của Data Endpoint Visibility

cloudFun

eWEEK.logo.DataPoints-blue.border2020.jpg
Khi các team trên toàn thế giới có xu hướng sử dụng kiến trúc cloud native, thay thế c waterfall bằng CI / CD, các ứng dụng monolith bằng nhiều lớp microservices và đổi từ sử dụng cơ sở dữ liệu đơn lẻ sang data mesh - khả năng hiển thị theo thời gian thực trên các lớp này và các mẫu giao tiếp của chúng trở nên quan trọng đối với việc quản lý, xử lý sự cố và độ tin cậy.   
Mặc dù có nhiều công cụ hiển thị trên thị trường, chúng chủ yếu hoạt động trên lớp ứng dụng và cơ sở hạ tầng và bỏ lỡ dấu hiệu cung cấp khả năng hiển thị chi tiết vào các data endpoint (cơ sở dữ liệu, pipeline, kho dữ liệu, v.v.). Việc theo dõi các chỉ số sử dụng và hiệu suất data endpoint khác nhau vẫn luôn là một thách thức và khiến việc trả lời các câu hỏi thông thường cũng trở nên khó khăn, chẳng hạn như: 
  • Những dịch vụ nào chịu trách nhiệm về phần lớn thời gian thực hiện yêu cầu?
  • Số lượng yêu cầu từ mỗi dịch vụ truy cập thay đổi như thế nào theo thời gian và có thể xác định được các điểm nghẽn không?
  • Những người dùng nào đang thể hiện các kiểu đọc dữ liệu đáng ngờ?
Khả năng hiển thị theo thời gian thực đối với các data endpoint cho phép các team nhanh chóng xác định điều gì là chậm, điều gì không mong muốn và điều gì bị hỏng. Trong bài viết, hãy cùng thảo luận một số ví dụ và lợi ích của khả năng hiển thị này.   

Data Point No. 1: Giám sát hoạt động của các SaaS BI tool
Nhiều công cụ BI như Looker truy cập cơ sở dữ liệu bằng cách sử dụng một người dùng dịch vụ duy nhất được chia sẻ bởi các yêu cầu đến từ tất cả người dùng nó. Khi một yêu cầu không hợp lệ từ bất kỳ người dùng đơn lẻ nào gây ảnh hưởng đến các workload khác đang chạy trên data endpoint, thì việc phân bổ yêu cầu cho các cá nhân chịu trách nhiệm thực hiện chúng trở nên khó khăn.  
Tăng cường khả năng hiển thị data endpoint với thông tin chi tiết về người dùng cuối giúp doanh nghiệp có thể theo dõi các yêu cầu đang hoạt động lâu dài và theo dõi chúng trở lại các cá nhân cụ thể để cảnh báo kịp thời và khắc phục nhanh chóng.

Data Point No. 2: Giám sát DBaaS credits usage
Các DBaaS hiện đại như Snowflake và BigQuery tính phí khách hàng dựa trên việc sử dụng, điều này bị ảnh hưởng trực tiếp bởi thời gian thực thi tích lũy mà người dùng dịch vụ đã bỏ ra. Khả năng theo dõi thời gian thực hiện hàng ngày / hàng tuần cho các cá nhân sử dụng tích lũy cao và tìm hiểu lý do sử dụng nhiều của họ giúp quản lý tài khoản và thanh toán một cách dễ dàng, từ đó có thể dự báo chi phí dịch vụ và thực hiện các bước khắc phục để giảm chi phí.

Data Point No. 3: Chuẩn đoán vấn đề thông lượng ETL
Thông lượng và hiệu suất của một ETL job (trích xuất, chuyển đổi, load) thường bị ảnh hưởng bởi một số yếu tố, chẳng hạn như kích thước kết nối, kích thước lô nhập và tần suất commit. Data endpoint thường thiếu thông tin cần thiết để lý giải tại sao ETL job này hoạt động kém vì chúng không theo dõi các số liệu này.
Cải thiện khả năng hiển thị data endpoint với các chỉ số chi tiết như vậy giúp team DevOps và SRE dễ dàng theo dõi các ETL job của họ và chẩn đoán các vấn đề do những thay đổi vô tình ảnh hưởng đến hiệu suất.

Data Point No. 4: Phát hiện đánh cắp dữ liệu
Quá trình đánh cắp dữ liệu thường có các cơ chế tinh vi để tách dữ liệu từ một endpoint. Mục tiêu của hacker là "né khỏi tầm ngắm" của các công cụ giám sát mạng và bảo mật bằng cách áp dụng phương pháp xâm nhập thấp và chậm.
Tất cả các cuộc tấn công xâm nhập nhỏ giọt dựa trên những gì được gọi là called point request (tìm nạp một tập hợp nhỏ các hàng cụ thể), range request (tìm nạp một phạm vi nhỏ hàng) và offset request (tìm nạp một tập hợp nhỏ các hàng từ một khoảng chênh lệch khác nhau mỗi lần).
Theo dõi các chỉ số như tỷ lệ yêu cầu và số lượng bản ghi dữ liệu được đọc theo thời gian và tương quan với hoạt động dữ liệu khác trong khung thời gian đó giúp tăng cường khả năng hiển thị giúp dễ dàng phát hiện khi hacker hoặc người trong cuộc tích cực tham gia vào việc đánh cắp dữ liệu nhạy cảm.

Data Point No. 5: Phát hiện hành vi bất thường
Việc trộm cắp và lạm dụng thông tin xác thực dành cho các ứng dụng như ETL job thường khó phát hiện vì các data endpoint không có phương tiện để phân biệt các ứng dụng thông thường với một ứng dụng giả mạo. Có thể phát hiện các thay đổi trong hành vi, chẳng hạn như khi một ETL job giả định kết thúc việc ghi vào một data endpoint từ nơi nó thường đọc, cho phép DevOps và các team bảo mật xác định xem liệu thông tin đăng nhập của data endpoint của họ có bị xâm phạm hay không. 

Nguồn: https://www.eweek.com/cloud/five-benefits-of-data-endpoint-visibility
 
Top