Skip to main content

Базы данных

MADD позволяет импортировать данные из внешних баз данных под управлением различных СУБД.

Предусмотрен импорт из следующих СУБД:
  • PostgreSQL;
  • MySQL;
  • Oracle;
  • MSSQL.

Чтобы создать новый источник, нужно нажать правой кнопкой мыши по папке и в контекстном меню выбрать объект Новый источник. В результате в текущей папке отобразится новый объект. Сразу после создания источника его название в дереве объектов можно изменить или нажать Enter и перейти к работе с объектом.

MADD interface

Вызов модального окна настройки нового источника выполняется нажатием на кнопку Настроить подключение в рабочей области.

MADD interface

Для подключения к базе данных в модальном окне настройки подключения необходимо:

  • выбрать тип подключения БД;
  • выбрать тип СУБД;
  • указать ip-адрес или имя сервера БД;
  • указать порт сервера БД;
  • указать логин и пароль для подключения;
  • указать наименование БД;
  • нажать на кнопку Подключиться.

MADD interface

После подключения к источнику откроется модальное окно, содержащее перечь доступных таблиц БД. Нажатие на управляющий элемент MADD interface слева от названия таблицы добавляет её к числу импортируемых данных. Также можно выполнять поиск таблиц в источнике с помощью строки поиска, расположенной в верхней части модального окна.

MADD interface

Для добавленных в перечень импорта таблиц отображается прогресс извлечения данных.

Прогресс импорта

Прогресс импорта отображается в рабочей области сразу после выбора импортируемых данных. Пользователь может остановить или запустить импорт по нажатию на кнопки MADD interface или MADD interface соответственно. Для импорта предусмотрены следующие статусы:

  • в процессе: осуществляется импорт данных из источника;
  • завершен: данные успешно импортированы;
  • провален: импорт остановлен из-за ошибки загрузки данных;
  • остановлен: импорт остановлен вручную.

MADD interface

Все колонки импортируемых таблиц будут преобразованы к строковому типу данных средствами СУБД-источника, для извлечения данных без потерь.

При повторном импорте данные будут удалены и полностью импортированы заново. Дальнейшая работа с извлеченными данными происходит в объектах типа Etl-flow, которые содержат инструменты подготовки и преобразования данных.

Периодичность обновления данных#

Периодичность обновления данных в источнике позволяет настроить автоматическое извлечение данных из внешнего ресурса путем определения интервала обновления. Madd позволяет указать следующие периоды обновления:

  • никогда: пользователь запускает импорт данных вручную;
  • единожды: импорт запускается один раз после сохранения настроек источника;
  • часы: импорт запускается сразу после сохранения настроек источника, в следующий раз импорт начнется автоматически через несколько часов от конца предыдущего импорта (количество часов в интервале указывается пользователем);
  • дни: импорт запускается сразу после сохранения настроек источника, в следующий раз импорт начнется автоматически через несколько суток от конца предыдущего импорта (количество дней в интервале указывается пользователем).

MADD interface

Примеры:
  • если при создании источника была указана периодичность обновления «часы» со значением «3», и первый импорт из этого источника был завершен в 16:20, то следующий импорт будет запущен автоматически в 19:20.
  • если при создании источника была указана периодичность обновления «дни» со значением «2», и первый импорт из этого источника был завершен 20 сентября в 16:20 , то следующий импорт будет запущен автоматически 22 сентября в 16:20.