Apache Airflow

Apache Airflow
Логотип программы Apache Airflow
Тип проект Фонда Apache[вд] и Python-библиотека[вд]
Разработчик Apache Software Foundation
Написана на Python
Последняя версия 2.9.0 (24 апреля 2024)
Репозиторий github.com/apache/airflow
Лицензия Apache License 2.0[1] и лицензия Apache
Сайт airflow.apache.org (англ.)
Логотип Викисклада Медиафайлы на Викискладе

Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.

Изначально разработан в Airbnb в октябре 2014 году[2][3]. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation в январе 2019 года.

Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации[4]). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive[5]).

Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer)[6], Amazon Web Services (с ноября 2020 года)[7] и Yandex Cloud (с сентября 2023 года)[8].

Примечания

  1. ↑ https://airflow.incubator.apache.org/license.html
  2. ↑ Apache Airflow  (неопр.). Apache Airflow. Дата обращения: 30 сентября 2019. Архивировано 12 августа 2019 года.
  3. ↑ Airflow  (неопр.). Дата обращения: 30 сентября 2019. Архивировано 6 июля 2019 года.
  4. ↑ AirflowProposal  (неопр.). Apache Software Foundation (28 марта 2019). Дата обращения: 1 октября 2019. Архивировано 7 апреля 2022 года.
  5. ↑ Trencseni, Marton Обзор Airflow  (неопр.). BytePawn (16 января 2016). Дата обращения: 1 октября 2019. Архивировано 28 февраля 2019 года.
  6. ↑ -automation-tool-for-developers/ Google запускает Cloud Composer, новый инструмент автоматизации рабочих процессов для разработчиков (англ.). TechCrunch. Дата обращения: 18 сентября 2019.
  7. ↑ -airflow-mwaa/ Введение в управляемые рабочие процессы Amazon для Apache Airflow (MWAA) (англ.) (недоступная ссылка — -airflow-mwaa/ история). Amazon Web Services (24 ноября 2020). Дата обращения: 17 декабря 2020.
  8. ↑ Новый сервис Yandex Managed Service for Apache Airflow  (рус.). Yandex Cloud (26 сентября 2023). Дата обращения: 19 января 2024.
Перейти к шаблону «Apache»
Apache Software Foundation
Проекты верхнего уровня
Подпроекты
Apache Commons
Lucene
DB[вд]
  • Derby
  • Torque[англ.]
  • DdlUtils[англ.]
  • OJB[англ.]
  • JDO[англ.]
Apache Web Services[англ.]
  • Axis[англ.]
  • Axis2[англ.]
  • CXF
  • WS-Commons[англ.]
  • EWS[англ.]
  • JaxMe[англ.]
  • jUDDI[англ.]
  • Kandula[англ.]
  • Mirae[англ.]
  • Muse[англ.]
  • Pubscribe[англ.]
  • Sandesha[англ.]
  • Scout[англ.]
  • SOAP[англ.]
  • Synapse[англ.]
  • TSIK[англ.]
  • Tuscany[англ.]
  • Woden[англ.]
  • WSIF[англ.]
  • WSRF[англ.]
  • WSS4J[англ.]
  • XML-RPC[англ.]
Другие проекты
Развивающиеся проекты (Incubator)
  • XAP[англ.]
  • River[англ.]
  • OpenEJB[англ.]
  • OpenJPA[англ.]
  • Graffito[англ.]
  • Tuscany[англ.]
  • Log4Net[англ.]
  • Roller
  • Felix
  • Abdera[англ.]
  • CeltiXfire[англ.]
  • FtpServer[англ.]
  • Heraldry[англ.]
  • Ivy[англ.]
  • JuiCE[англ.]
  • Kabuki[англ.]
  • Lokahi[англ.]
  • Lucene.Net[англ.]
  • mod_ftp[англ.]
  • NMaven[англ.]
  • Ode?!
  • stdcxx[англ.]
  • Woden[англ.]
  • WSRP4J[англ.]
  • Yoko[англ.]
  • WADI[англ.]
  • Qpid
  • TripleSoup[англ.]
  • UIMA[англ.]
  • Adobe Flex
Списанные проекты (Attic)
  • AxKit[англ.]
  • Beehive[англ.]
  • Cactus[англ.]
  • ECS[англ.]
  • Excalibur[англ.]
  • Harmony
  • HiveMind[англ.]
  • iBATIS[англ.]
  • Jakarta
  • ORO[англ.]
  • Regexp[англ.]
  • Shale
  • Slide[англ.]
  • Taglibs[англ.]