Модернизация оркестрации рабочих процессов с Apache Airflow 3 на Amazon MWAA

Amazon Web Services представила Apache Airflow 3 на Amazon Managed Workflows for Apache Airflow (Amazon MWAA) — масштабное обновление, которое переопределяет подход организаций к автоматизации и оркестрации конвейеров данных в облаке.

После выхода Apache Airflow 3 в сообществе в апреле 2025 года AWS интегрировала его новые возможности в Amazon MWAA, предоставив пользователям полностью управляемую, безопасную и масштабируемую среду. Результат: более быстрые развертывания, улучшенная видимость рабочих процессов и усиленная безопасность на каждом этапе.

Обновление включает:

• Обновленный, интуитивно понятный интерфейс для упрощённой оркестрации.
• Новый интерфейс выполнения задач (Task API) для гибкого управления задачами.
• Событийно-ориентированные рабочие процессы, реагирующие на триггеры AWS и внешних систем.
• Управляемое планировщиком восстановление (backfill) для централизованной обработки исторических данных.
• Поддержку Python 3.12, обеспечивающую улучшенную производительность и современные возможности языка.

Организации уже могут начать использовать Apache Airflow 3 на Amazon MWAA — развертывая новые среды через AWS Management Console, AWS CLI, CloudFormation или AWS SDK всего за несколько минут.

Архитектурные улучшения и повышение безопасности

Усиленная безопасность и изоляция компонентов

Amazon MWAA с Airflow 3 усиливает модель безопасности, вводя изоляцию компонентов по умолчанию — процессор DAG теперь работает независимо от планировщика. Такое разделение снижает риски и повышает стабильность рабочих нагрузок при развертывании.

Новый API Server выполняет роль защищённого посредника между задачами и базой данных метаданных Airflow. Такая архитектура уменьшает прямой доступ к базе данных, применяет принцип минимальных привилегий и повышает устойчивость системы за счёт стандартизированной коммуникации через API.

От управления данными к событийно-ориентированной оркестрации

Airflow 3 представляет переход от временных расписаний к событийно-ориентированному управлению. С введением объектов (ранее datasets) рабочие процессы теперь могут запускаться при изменении данных или внешних событий.

Новый декоратор @asset позволяет разработчикам определять объекты данных прямо в коде, снижая сложность и позволяя Airflow автоматически создавать соответствующие DAG.

Asset Watchers — новая функция Amazon MWAA — позволяет Airflow реагировать на события из Amazon SQS и других внешних систем, обеспечивая настоящую событийно-ориентированную автоматизацию без необходимости постоянного опроса.

Эти возможности позволяют командам разрабатывать адаптивные, интеллектуальные конвейеры, которые динамически реагируют на доступность данных и бизнес-триггеры.

Современный, высокопроизводительный интерфейс

Airflow 3 представляет полностью переработанный интерфейс на базе React и FastAPI — более быстрый, чистый и интуитивный. Основные улучшения включают:

• Усовершенствованный вид сетки для мониторинга истории и прогресса задач.
• Поддержку тёмного режима для удобства использования.
• Увеличенную производительность для крупных DAG.
• Упрощённую навигацию и визуализацию рабочих процессов.

Старый интерфейс полностью выведен из эксплуатации, обеспечивая единый и современный пользовательский опыт для всех.

Оптимизация планировщика и производительности

Обновлённый планировщик в Airflow 3 обеспечивает более быстрое выполнение задач и улучшенное управление нагрузкой. Он эффективнее обрабатывает параллельные операции и динамически масштабируется для нескольких DAG.

Новая функция управляемого планировщиком backfill позволяет обрабатывать исторические данные прямо из интерфейса с улучшенным мониторингом и сниженной нагрузкой на базу данных. Это упрощает работу с историческими данными и повышает надёжность рабочих процессов в реальном времени.

Опыт разработчиков: проще и мощнее

Airflow 3 приносит улучшения, ориентированные на разработчиков, упрощая определение, тестирование и поддержку рабочих процессов.

Task SDK

Новый Task SDK позволяет разработчикам определять DAG и задачи с помощью простого Python-синтаксиса, что обеспечивает лучшую визуализацию потоков данных и поддержку IDE. Это делает код рабочих процессов более удобным для чтения, тестирования и сопровождения.

Версионирование DAG

Airflow 3 теперь включает автоматическое версионирование DAG, что позволяет командам просматривать и сравнивать предыдущие версии рабочих процессов прямо в интерфейсе. Это способствует лучшему сотрудничеству, отслеживанию изменений и аудиту в больших инженерных командах.

Поддержка Python 3.12

Amazon MWAA теперь поддерживает Python 3.12, предоставляя доступ к последним улучшениям производительности и совместимости для современных приложений обработки данных.

План развития и будущие обновления

Хотя большинство функций Apache Airflow 3 уже доступны, AWS планирует добавить поддержку:

• Замены Flask AppBuilder (AIP-79)
• Edge Executor и изоляции задач (AIP-69)
• Поддержки задач на разных языках (AIP-72)

Эти обновления ещё больше повысят гибкость Airflow для многоязычных, распределённых и гибридных моделей исполнения.

Заключение

С выпуском Apache Airflow 3 на Amazon MWAA AWS представляет платформу нового поколения для оркестрации рабочих процессов — сочетая усиленную безопасность, событийно-ориентированную автоматизацию и высокую производительность в полностью управляемом сервисе.

Для организаций, стремящихся модернизировать конвейеры данных, повысить надёжность и снизить операционные издержки, это обновление становится важным шагом вперёд.

Как официальный партнёр AWS, Softprom помогает компаниям внедрять и использовать эти новые возможности — оптимизируя автоматизацию рабочих процессов, обработку данных и аналитику в облаке AWS.

Начните свой путь с Apache Airflow 3 на Amazon MWAA уже сегодня и узнайте, как эти инновации ускоряют вашу цифровую трансформацию.