Перейти к основному содержимому

Быстрый запуск проекта Almalife-ETL

Необходимое окружение​

Для запуска проекта необходим Docker Compose.

Порядок установки и запуска​

  1. Скопировать файл .env-example в файл .env в корне проекта или рядом с файлом file_tester.py

  2. Файл .env-docker-example скопировать с именем .env-docker

  3. В файлах .env и .env-docker установить любой одинаковый пароль в переменной POSTGRES_PASSWORD

  4. В корне проекта запустить команду

    docker compose up -d

  5. Дождаться сообщения в log-ах запущенного приложения superset текста:

    Running on http://127.0.0.1:8088

  6. На данном этапе будет запущена инфраструктура работы с данными

Запуск тестовых примеров​

Преобразования данных можно запускать двумя путями:

  • файловым запуском
  • отправкой конфигурации преобразований на FastAPI сервер

Файловый запуск преобразований​

Для запуска преобразований необходимо запустить на выполнение в Python файл [file_tester.py]https://github.com/Enroi/almalife/blob/main/api_server/file_tester.py) с первым параметром в виде пути к файлу конфигураций преобразований. Пример:

python .\file_tester.py .\etl\configs\xml_to_db.yaml

В результате работы Almalife из файла usd_currencies.xml будет создана таблица базы данных usd_currencies которую можно посмотреть через UI Prisma по адресу http://localhost:8089/#schema=public&table=usd_currencies&view=table

Запуск трансформаций с помощью FastAPI сервера​

Almalife может работать в серверном режиме предоставляя REST API метод трансформации.
Для запуска трансформаций через FastAPI сервер в Docker необходимо:

  1. Открыть ссылку FastAPI сервера запущенного в Docker
  2. В открывшемся окне "Swagger UI" выбрать метод /api/transform
  3. Нажать на "Try it out"
  4. Выбрать любой файл из раздела конфигураций трансформации
  5. Проверить результат в UI Prisma Studio