4 ключевых шаблона для загрузки данных в хранилище данных

Введение

Загрузка данных в хранилище данных является ключевым компонентом большинства конвейеров данных. Если вам интересно

Как обрабатывать SQL-загрузки?
Какие шаблоны используются для загрузки данных в хранилище данных?

тогда эта статья для вас. В этой статье мы рассмотрим 4 ключевых шаблона для загрузки данных в хранилище данных. Конвейеры данных обычно используют один или несколько шаблонов, показанных ниже. Распознавание этих шаблонов может помочь вам разработать лучшие и понять существующие конвейеры данных.

Шаблоны

1. Конвейеры пакетных данных

Это конвейеры данных, которые запускаются с запланированным интервалом не менее 5 минут.

1.1 Процесс => Хранилище данных

Обычно сюда входит один процесс, который извлекает данные из некоторого источника и загружает их в хранилище. Количество сетевых обращений к хранилищу данных должно быть низким за счет группирования нескольких (или всех, если позволяет память процесса) вставок в один вызов вставки-базы данных (т. е. микро-/мини-пакетирование).

Например, если вы используете Python и Postgres (в качестве хранилища данных), вы можете использовать execute_values для вставки нескольких строк одним сетевым вызовом.

Плюсы:

Простота настройки, запуска, мониторинга и отладки.
Большие машины могут обрабатывать значительный объем данных.

Минусы:

Не масштабируется за пределы одной машины. Это станет проблемой, если размер ваших данных очень велик.
Вставки в хранилище данных будут узким местом. Этого можно избежать, запустив несколько процессов параллельно. Однако это может привести к неправильному порядку вставок, если не соблюдать осторожность.

1.2 Процесс => Облачное хранилище => Хранилище данных

Обычно это включает распределенный процесс (иногда одиночный процесс), который параллельно записывает данные в облачную систему хранения. Затем следует процесс параллельного копирования данных из облачной системы хранения в хранилище данных.

Некоторые хранилища данных поддерживают внешние таблицы, которые позволяют считывать данные непосредственно из S3. Это избавит от необходимости выполнять команду COPY .

Плюсы:

Может загружать очень большие объемы данных.
Запись в облачную систему хранения и вставка ее в хранилище данных распараллелены, что делает этот подход быстродейственным.

Минусы:

Управление кластером распределенных систем может быть дорогостоящим.
Для внешних таблиц для создания новых разделов может потребоваться выполнение команды ALTER TABLE ADD PARTITION.

2. Конвейеры данных почти в реальном времени

Это постоянно работающие конвейеры данных. Обычно время между созданием данных и моментом, когда они стают доступны в хранилище данных составляет менее минуты. Например: Конвейер данных для приема кликов и показов с веб-сайта в хранилище данных.

2.1 Поток данных => Потребитель => Хранилище данных

Обычно сюда входит поток данных (от другого процесса) и есть получатель этого потока данных. Процесс-получатель потребляет записи, выполняет обогащение данных (необязательно), собирает пакет записей в памяти и вставляет его в хранилище данных.

Примечание. Некоторые проекты, такие как ksqldb и clickhouse, позволяют напрямую запрашивать данные в теме Kafka. Однако они не заменяют хранилище данных.

Плюсы:

Широкий выбор готовых коннекторов.
В большинстве хранилищ данных установлены коннекторы (например, коннектор Snowflake Kafka).
Получателя можно легко распараллелить с группами потребителей.

Минусы:

Обратите особое внимание на семантику вставки хотя бы раз, как того требует ваша система.
Когда несколько потребителей вставляют данные в хранилище данных, не гарантируется, что порядок вставки будет таким же, как когда они входят в поток данных. Вам нужно будет работать с этим осторожно, если это необходимо. Ссылка: Порядок сообщений в Kafka.

2.2 Облачное хранилище => процесс => хранилище данных

Как правило сюда входят данные (обычно небольшой пакет строк), попадающие в облачную систему хранения (от другого процесса) и систему мониторинга, которая обнаруживает их и запускает процесс для вставки этих данных в хранилище данных.

Например, вы можете настроить триггер s3 для запуска лямбда-процесса для вставки данных в хранилище данных, когда данные попадают в S3.

Плюсы:

У большинства поставщиков облачных услуг есть поддержка для мониторинга своей системы облачного хранения и запуска процесса (обычно называется бессерверным).
Некоторые хранилища данных также поддерживают этот шаблон (например, Snowpipe).
Необработанные данные, хранящиеся в облачной системе хранения, обеспечивают дополнительную избыточность данных.

Минусы:

Обратите особое внимание на ограничения на количество процессов, которые могут быть запущены при сильном трафике.
Когда несколько процессов вставляют данные в хранилище данных, не гарантируется, что порядок вставки будет таким же, как и в облачной системе хранения. Вам нужно будет обращаться с этим осторожно, если это необходимо.

Вывод

Надеюсь, эта статья даст вам хорошее представление об общих шаблонах, которые используются для загрузки данных в хранилище данных. В большинстве случаев используется один или комбинация вышеперечисленных шаблонов.

В следующий раз, когда вы будете создавать конвейер для загрузки данных в хранилище данных, попробуйте один из этих шаблонов загрузки. Вы будете удивлены тем, как большинство инструментов, облачных провайдеров и сред оркестровки поддерживают и продвигают эти шаблоны.

Если вы использовали другой шаблон или у вас есть какие-либо вопросы или комментарии, пожалуйста, оставьте их в разделе комментариев ниже.