Як Amazon Web Services покращили пошук корпоративних даних за допомогою Amazon SageMaker

У міру масштабування екосистем даних організаціям стає дедалі складніше керувати однією ключовою проблемою — фрагментованим пошуком даних. Різні команди часто створюють локальні набори даних, дашборди, метрики та бізнес-активи поза централізованими корпоративними каталогами, через що користувачам складно ефективно знаходити, перевіряти та повторно використовувати інформацію.

Щоб вирішити цю проблему, команда Amazon Business Data Technologies (BDT) розширила стратегію корпоративного каталогу даних, інтегрувавши внутрішні системи управління з Amazon SageMaker. Мета була очевидною: створити єдиний механізм пошуку та управління як для структурованих наборів даних, так і для ширшого спектра бізнес-активів.

Для організацій, які будують сучасні платформи даних та AI на базі Amazon Web Services, цей підхід надає цінні інсайти щодо того, як централізоване каталогізування та управління можуть покращити співпрацю, аналітику та готовність до AI у масштабах підприємства.

Проблема: фрагментовані каталоги та роз’єднане управління

Amazon уже використовувала централізований корпоративний каталог даних під назвою Andes, створений для безпечного обміну наборами даних відповідно до суворих політик управління. Однак багато команд також підтримували окремі каталоги для:

• Локальних наборів даних
• Дашбордів
• Метрик
• Бізнес-документів
• ML-активів
• Неструктурованих ресурсів

У результаті користувачам доводилося шукати дані в кількох системах залежно від типу активу. Це збільшувало операційні витрати, уповільнювало аналітичні процеси та знижувало видимість доступних ресурсів даних.

Команда BDT визначила чотири ключові вимоги до модернізації:

1. Підтримка мультимодальних каталогів

Командам була потрібна єдина платформа, здатна каталогізувати:

• Корпоративні набори даних
• Локальні бізнес-набори даних
• Дашборди та KPI
• Файли та звіти
• Аналітичні активи

2. Єдине управління та контроль доступу

Організаціям було потрібне централізоване управління з:

• Єдиними процесами погодження
• Послідовними політиками доступу
• Авторизацією з урахуванням ідентифікації користувачів
• Корпоративним аудитом

3. Багаторівневі процеси погодження

Різні типи активів часто потребують різних моделей погодження. Рішення мало підтримувати кілька сценаріїв управління зі збереженням централізованої видимості.

4. Делеговане володіння

Бізнес-підрозділам була потрібна гнучкість для збагачення метаданих, управління тегами та підтримки доменно-орієнтованого управління без втрати корпоративного контролю.

Розширення можливостей корпоративного каталогу за допомогою Amazon SageMaker

Для вирішення цих завдань Amazon розширила середовище корпоративного каталогу, використовуючи можливості каталогізації та управління Amazon SageMaker.

Замість підтримки кількох розрізнених каталогів Amazon створила єдиний корпоративний домен, який об’єднує набори даних та інші активи в єдину систему пошуку.

Архітектура інтегрує:

• Amazon SageMaker
• AWS IAM Identity Center
• Корпоративні системи ідентифікації
• Наявні механізми управління
• Внутрішні інструменти погодження

Це дозволило створити централізований каталог зі збереженням наявних стандартів безпеки та управління.

Ключові переваги інтегрованої архітектури

Єдине вікно пошуку даних

Тепер користувачі можуть шукати набори даних, дашборди, метрики та аналітичні активи через єдиний інтерфейс замість роботи з кількома системами. Це значно скорочує час пошуку надійних джерел даних.

Розширене управління для різних типів активів

Політики управління тепер поширюються не лише на традиційні набори даних, а й на ширший спектр бізнес-активів, забезпечуючи єдиний контроль у всіх середовищах.

Покращена спостережуваність та аудит

Використовуючи Trusted Identity Propagation (TIP) разом із AWS IAM Identity Center, організації отримують детальну прозорість щодо:

• Хто отримував доступ до конкретних активів
• Коли активи використовувалися
• Які системи були залучені

Це посилює можливості комплаєнсу та корпоративного аудиту.

Інтеграція з наявними корпоративними процесами

Платформа інтегрується з Git-репозиторіями, системами погодження та внутрішніми інструментами для автоматизації дозволів, онбордингу та операційних процесів.

Ключові компоненти реалізації

Конектори каталогів та пайплайни завантаження

Amazon створила конектори для синхронізації активів із різних джерел у SageMaker зі збереженням моделей управління та метаданих.

Це включало:

• Інтеграцію з наборами даних Andes
• Автоматизацію підключення AWS-акаунтів
• Мапінг доступу з урахуванням ідентифікації користувачів

Делеговане володіння та бізнес-глосарії

Бізнес-команди тепер можуть визначати та підтримувати:

• Бізнес-глосарії
• Доменні словники
• Визначення метаданих
• Класифікаційні теги

Це покращує пошук даних та стандартизацію в межах організації.

Інтегровані інструменти аналітики та розробки

Користувачі можуть працювати з каталогізованими активами безпосередньо через:

• SageMaker Unified Studio
• SQL Query Editors
• Середовища розробки ML
• Git-інтегровані процеси
• AWS-сервіси аналітики

Середовище нативно інтегрується з:

• Amazon Athena
• AWS Glue
• Amazon EMR
• Amazon Redshift

Це дозволяє командам знаходити, аналізувати та впроваджувати дані в межах єдиного робочого процесу.

Результати: швидший пошук і посилення співпраці

Інтегрований каталог SageMaker тепер підтримує широкий спектр корпоративних активів, включаючи:

• Набори даних
• Дашборди
• Метрики
• ML-моделі
• Бізнес-документи
• Результати аналітики

За даними Amazon, ініціатива забезпечила кілька вимірюваних покращень:

Швидший доступ до надійних даних

Команди витрачають менше часу на пошук даних і більше — на отримання інсайтів.

Зменшення кількості ізольованих сховищ даних

Спільне управління та централізований пошук сприяють повторному використанню авторитетних наборів даних замість створення дублюючих копій.

Покращена взаємодія між командами

Стандартизовані метадані та єдина прозорість спрощують співпрацю між різними бізнес-доменами.

Чому це важливо для сучасних AI- та аналітичних стратегій

У міру того як організації інвестують в AI, аналітику та data-driven прийняття рішень, фрагментовані каталоги стають серйозним операційним вузьким місцем.

Єдина каталогізація з Amazon SageMaker допомагає організаціям:

• Створювати AI-ready основу даних
• Покращувати управління та комплаєнс
• Спрощувати аналітичні процеси
• Підвищувати довіру до корпоративних даних
• Прискорювати взаємодію між командами

Як Softprom допомагає модернізувати пошук даних на AWS

Як офіційний AWS Partner, Softprom допомагає організаціям проєктувати та впроваджувати масштабовані платформи даних та AI з використанням технологій AWS, включаючи:

• Amazon SageMaker
• AWS-сервіси аналітики
• Фреймворки управління даними
• AI- та ML-середовища
• Інтеграцію ідентифікації та доступу
• Стратегії модернізації корпоративних даних

Поєднуючи сервіси AWS із найкращими практиками управління, організації можуть створювати єдині екосистеми даних, які підтримують аналітику, AI та корпоративну співпрацю в масштабах підприємства.