Модернізація оркестрації робочих процесів з Apache Airflow 3 на Amazon MWAA

Amazon Web Services представила Apache Airflow 3 на Amazon Managed Workflows for Apache Airflow (Amazon MWAA) — масштабне оновлення, що змінює підхід організацій до автоматизації та оркестрації дата-конвеєрів у хмарі.

Після виходу Apache Airflow 3 у спільноті у квітні 2025 року AWS інтегрувала його нові можливості в Amazon MWAA, забезпечивши користувачам повністю кероване, безпечне та масштабоване середовище. Результат: швидше розгортання, краща видимість робочих процесів і посилена безпека на кожному етапі.

Оновлення включає:

• Оновлений, інтуїтивний інтерфейс для спрощеної оркестрації.
• Новий інтерфейс виконання завдань (Task API) для гнучкого керування процесами.
• Подійно-орієнтовані робочі процеси, що реагують на тригери AWS та зовнішніх систем.
• Кероване планувальником відновлення (backfill) для централізованої обробки історичних даних.
• Підтримку Python 3.12, що забезпечує кращу продуктивність і сучасні можливості мови.

Організації вже можуть використовувати Apache Airflow 3 на Amazon MWAA — розгортаючи нові середовища через AWS Management Console, AWS CLI, CloudFormation або AWS SDK лише за кілька хвилин.

Архітектурні покращення та безпека

Посилена безпека та ізоляція компонентів

Amazon MWAA з Airflow 3 посилює модель безпеки, вводячи ізоляцію компонентів за замовчуванням — процесор DAG тепер працює незалежно від планувальника. Таке розділення зменшує ризики та підвищує стабільність робочих навантажень під час розгортання.

Новий API Server виконує роль захищеного посередника між завданнями та базою метаданих Airflow. Така архітектура зменшує прямий доступ до бази, застосовує принцип мінімальних привілеїв і підвищує стабільність системи завдяки стандартизованій взаємодії через API.

Від керування даними до подійно-орієнтованої оркестрації

Airflow 3 означає перехід від розкладів за часом до подійно-орієнтованого управління. Завдяки введенню об’єктів (раніше datasets) робочі процеси тепер можуть запускатися за зміною даних або зовнішніх подій.

Новий декоратор @asset дозволяє розробникам визначати дата-об’єкти безпосередньо в коді, зменшуючи складність і дозволяючи Airflow автоматично створювати відповідні DAG.

Asset Watchers — нова функція Amazon MWAA — дозволяє Airflow реагувати на події з Amazon SQS та інших зовнішніх систем, забезпечуючи справжню подійно-орієнтовану автоматизацію без постійного опитування.

Ці можливості дають змогу командам створювати адаптивні, розумні конвеєри, що динамічно реагують на наявність даних і бізнес-тригери.

Сучасний високопродуктивний інтерфейс

Airflow 3 має повністю оновлений інтерфейс на базі React та FastAPI — швидший, чистіший і більш інтуїтивний. Основні покращення:

• Покращений вигляд сітки для моніторингу історії та прогресу завдань.
• Підтримка темного режиму для зручності.
• Підвищена продуктивність для великих DAG.
• Спрощена навігація та візуалізація робочих процесів.

Старий інтерфейс повністю вилучено, що забезпечує єдиний і сучасний користувацький досвід.

Оптимізація планувальника та продуктивності

Оновлений планувальник у Airflow 3 забезпечує швидше виконання завдань і краще управління навантаженнями. Він ефективніше обробляє паралельні операції та динамічно масштабується для кількох DAG.

Нова функція backfill, керована планувальником, дозволяє обробляти історичні дані безпосередньо з інтерфейсу, з покращеним моніторингом і меншою нагрузкою на базу даних. Це спрощує роботу з історичними даними та підвищує надійність у реальному часі.

Досвід розробників: простіше та потужніше

Airflow 3 пропонує покращення для розробників, спрощуючи створення, тестування та підтримку робочих процесів.

Task SDK

Новий Task SDK дозволяє розробникам створювати DAG і завдання за допомогою простого синтаксису Python, що забезпечує кращу візуалізацію потоків даних і підтримку в IDE. Це робить код більш зручним для читання, тестування та супроводу.

Версіонування DAG

Airflow 3 тепер включає автоматичне версіонування DAG, дозволяючи командам переглядати та порівнювати попередні версії робочих процесів прямо в інтерфейсі. Це сприяє кращій співпраці, відстеженню змін та аудиту в великих командах.

Підтримка Python 3.12

Amazon MWAA тепер підтримує Python 3.12, забезпечуючи доступ до найновіших покращень продуктивності та сумісності для сучасних дата-додатків.

Майбутні оновлення

Хоча більшість можливостей Apache Airflow 3 уже доступні, AWS планує розширити підтримку для:

• Заміни Flask AppBuilder (AIP-79)
• Edge Executor та ізоляції завдань (AIP-69)
• Підтримки завдань кількома мовами (AIP-72)

Ці оновлення ще більше розширять гнучкість Airflow для багатомовних, розподілених і гібридних моделей виконання.

Висновок

З випуском Apache Airflow 3 на Amazon MWAA AWS пропонує платформу нового покоління для оркестрації робочих процесів — поєднуючи покращену безпеку, подійно-орієнтовану автоматизацію та зручність для розробників у повністю керованому сервісі.

Для організацій, що прагнуть модернізувати конвеєри даних, підвищити надійність і зменшити операційні витрати, це оновлення є важливим кроком уперед.

Як офіційний партнер AWS, Softprom допомагає компаніям впроваджувати та інтегрувати ці нові можливості — оптимізуючи автоматизацію робочих процесів, обробку даних і аналітику в хмарі AWS.

Розпочніть свій шлях з Apache Airflow 3 на Amazon MWAA вже сьогодні та дізнайтесь, як ці інновації можуть прискорити вашу трансформацію, засновану на даних.