N8n merge

N8n Merge: Полное руководство по слиянию и агрегации данных

N8n merge (слияние) — это фундаментальная операция в платформе автоматизации N8n, предназначенная для объединения данных из нескольких потоков или веток выполнения в единый, структурированный набор. В отличие от простой конкатенации, операции слияния в N8n предоставляют детальный контроль над тем, как данные сопоставляются и комбинируются на основе ключевых полей, индексов или условий. Эта функциональность критически важна для создания сложных рабочих процессов, где необходимо агрегировать информацию из различных источников: API, баз данных, файлов, сервисов SaaS и других нод.

Основные принципы и типы операций слияния

В N8n слияние данных осуществляется преимущественно с помощью специализированных нод, главной из которых является нода «Merge» (ранее известная как «Merging»). Ее логика строится вокруг понятия входных веток (Inputs). Нода может иметь от 2 до 5 входов, каждый из которых представляет собой отдельный поток данных. Основная задача — определить правила объединения элементов из этих потоков.

Режимы работы ноды Merge

Нода Merge предлагает несколько алгоритмических режимов для слияния, каждый из которых решает определенный класс задач.

1. Режим «Merge By Fields» (Слияние по полям)

Это наиболее мощный и часто используемый режим, аналогичный операциям JOIN в SQL. Он выполняет объединение двух наборов данных на основе совпадения значений в указанных ключевых полях.

• Внутреннее слияние (Inner Merge): Возвращает только те элементы, для которых найдены совпадения ключей в обоих входах. Если элемент из левого входа не имеет пары в правом, он исключается из результата.
• Левое внешнее слияние (Left Outer Merge): Возвращает ВСЕ элементы из первого (левого) входа. Если для элемента найдено совпадение во втором входе, данные объединяются. Если совпадения нет, поля из второго входа будут содержать пустые значения (null).
• Полное внешнее слияние (Full Outer Merge): Возвращает все элементы из обоих входов. Совпадающие элементы объединяются. Элементы без пары заполняются пустыми значениями для полей из отсутствующего входа.

Пример: Слияние списка заказов (Вход 1) с данными о клиентах из CRM (Вход 2) по полю «customer_id». Левое слияние гарантирует, что все заказы попадут в итог, даже если по каким-то клиентам нет информации в CRM.

2. Режим «Merge By Position» (Слияние по позиции)

Объединяет элементы из разных входов на основе их порядкового номера в потоке. Первый элемент из Входа 1 сливается с первым элементом из Входа 2, второй — со вторым и так далее. Этот режим полезен, когда потоки данных уже заранее синхронизированы по порядку и не требуют сопоставления по ключу. Если количество элементов входах разное, лишние элементы отбрасываются (по умолчанию).

3. Режим «Multiplex» (Мулытиплексирование)

Этот режим создает декартово произведение (все возможные пары) элементов из двух входов. Каждый элемент из первого входа будет объединен с КАЖДЫМ элементом из второго входа. Количество итоговых элементов равно произведению количеств элементов входов. Полезен для задач перебора всех комбинаций (например, рассылка уведомлений всем пользователям по всем событиям).

4. Режим «Remove Matches» (Удаление совпадений) и «Keep Matches» (Сохранение совпадений)

Эти режимы предназначены для фильтрации, а не для объединения данных.

• Remove Matches: Передает дальше только те элементы из первого входа, для которых НЕ найдено совпадение по ключу во втором входе (операция «разность»).
• Keep Matches: Передает дальше только те элементы из первого входа, для которых найдено совпадение по ключу во втором входе (операция «пересечение»).

Пример использования «Remove Matches»: получение списка новых email-адресов, которых еще нет в вашей рассылочной базе.

Практическая реализация слияния в рабочем процессе

Для корректной работы ноды Merge необходимо правильно подготовить данные. Часто перед нодой Merge используются ноды «Set» или «Code» для приведения ключевых полей к единому формату (например, приведение к нижнему регистру, обрезка пробелов, преобразование типов данных). После ноды Merge обычно следует нода «Spreadsheet File» для экспорта объединенной таблицы или нода «HTTP Request» для отправки агрегированных данных в другую систему.

Важный аспект — структура данных. Нода Merge работает с массивами JSON-объектов. Если на вход приходит одиночный объект, его необходимо обернуть в массив (это можно сделать в ноде «Code»).

Альтернативные методы агрегации данных в N8n

Помимо ноды Merge, в N8n существуют другие способы комбинирования потоков:

• Нода «Wait» (Ожидание): Позволяет сначала собрать данные из одной асинхронной ветки, а затем передать их вместе с данными из другой ветки. Не является слиянием в строгом смысле, но решает задачу синхронизации потоков.
• Нода «Code» (Код): Предоставляет максимальную гибкость. Используя JavaScript/TypeScript, можно написать произвольную логику для агрегации массивов данных, включая сложные преобразования и фильтрации, которые невозможны в стандартной ноде Merge.
• Нода «Aggregate» (Агрегация): Предназначена для объединения данных не «бок о бок», а путем группировки и вычисления агрегатных функций (сумма, среднее, количество) по определенным полям, аналогично GROUP BY в SQL.

Сравнение режимов ноды Merge

Режим	Аналог в SQL	Основное назначение	Кол-во выходных элементов
Merge By Fields (Inner)	INNER JOIN	Объединение связанных данных из двух таблиц	≤ min(Вход1, Вход2)
Merge By Fields (Left Outer)	LEFT JOIN	Добавление дополнительных данных к основному списку	Кол-во в Входе1
Merge By Position		Попарное объединение упорядоченных последовательностей	min(Вход1, Вход2)
Multiplex	CROSS JOIN	Создание всех возможных комбинаций	Вход1 Вход2
Keep Matches	INNER JOIN (только данные 1-го входа)	Фильтрация элементов, имеющих пару	≤ Кол-во в Входе1
Remove Matches	LEFT JOIN WHERE … IS NULL	Фильтрация элементов, не имеющих пары	≤ Кол-во в Входе1

Типичные сценарии использования

• Обогащение данных: Объединение основного списка объектов (товары, транзакции) со справочной информацией из другой системы (категории, курсы валют, данные пользователей).
• Консолидация отчетов: Сбор данных из различных отделов или филиалов (файлы Excel, Google Таблицы, запросы к разным БД) в единый отчет.
• Синхронизация между системами: Сравнение списков записей в CRM и в системе поддержки для выявления расхождений и последующего обновления.
• Подготовка массовых операций: Создание комбинаций «клиент-шаблон письма» для персонализированной рассылки с помощью режима Multiplex.

Ответы на часто задаваемые вопросы (FAQ)

Как объединить более двух потоков данных?

Нода Merge поддерживает до 5 входов напрямую. Однако для сложных многоступенчатых слияний рекомендуется использовать каскадное соединение нод Merge. Например, сначала объединить потоки 1 и 2, затем результат этого слияния объединить с потоком 3 в новой ноде Merge. Это обеспечивает лучшую контролируемость и понятность логики.

Что делать, если ключевые поля имеют разные названия в разных потоках?

Перед нодой Merge необходимо привести названия полей к единому стандарту. Используйте для этого ноду «Set» (Установить), чтобы переименовать поле, или ноду «Code», чтобы выполнить более сложное преобразование структуры данных.

Почему нода Merge возвращает пустой результат, хотя данные на входах есть?

Наиболее вероятные причины:

• Несовпадение значений в ключевых полях (разный регистр, пробелы, формат даты).
• Выбран режим «Inner Merge», а совпадений по ключам действительно нет.
• Данные на одном из входов пришли не в виде массива. Убедитесь, что выход предыдущей ноды является массивом объектов. Используйте ноду «Code» для приведения к массиву, если это необходимо.

Чем отличается Merge от Aggregate?

Нода Merge объединяет данные «горизонтально», добавляя новые поля (столбцы) к существующим записям. Нода Aggregate объединяет данные «вертикально», группируя несколько записей в одну и вычисляя для них агрегатные функции (сумма, счетчик), что уменьшает общее количество строк на выходе.

Можно ли выполнить слияние по составному ключу (нескольким полям)?

Да, в режиме «Merge By Fields» можно указать несколько полей для сопоставления. Совпадение будет считаться успешным только если значения ВСЕХ указанных полей у пары элементов совпадают.

Как обрабатываются дубликаты ключей?

Поведение зависит от режима. В «Merge By Fields» если в одном из входов есть несколько записей с одинаковым ключом, будут созданы все возможные пары (декартово произведение для этих дубликатов), что может привести к умножению данных. Рекомендуется перед слиянием убедиться в уникальности ключей или использовать агрегацию для устранения дублей.

Каковы ограничения на объем данных для слияния?

Прямых ограничений в ноде нет, но производительность зависит от ресурсов сервера, на котором развернут N8n. Слияние очень больших массивов (сотни тысяч записей) может потребовать значительной оперативной памяти и времени. Для работы с Big Data рекомендуется фильтровать и предварительно агрегировать данные на стороне источника или разбивать процесс на этапы.