NiFi, основанный на парадигме потокового программирования (FSB), рассматривает приложения как сети «черных ящиков», обменивающихся данными (FlowFile). FlowFile – основной элемент, содержащий атрибуты (метаданные) и контент (данные). Важно помнить, что процессоры в NiFi изолированы: они обрабатывают только входящие данные и не имеют прямого доступа к другим процессорам или глобальным переменным.
Атрибуты FlowFile содержат метаинформацию, важную для маршрутизации и обработки данных. Они включают имя файла, путь, уникальный идентификатор, дату создания и размер. NiFi предоставляет процессоры для извлечения, хеширования, идентификации типа и обновления атрибутов, а также мощный язык выражений (EL) для манипулирования ими. EL позволяет, например, сравнивать атрибуты, использовать переменные и системные свойства, упрощая автоматизацию сложных задач, таких как выявление проблемных записей в наборах данных.
Контент FlowFile, представляющий собой последовательность байт, хранится на диске и загружается только при необходимости, обеспечивая высокую производительность. NiFi предлагает широкий спектр процессоров для работы с контентом, включая загрузку, выгрузку, трансформацию, доступ к базам данных, взаимодействие с системой, разделение и соединение данных.
Для эффективной обработки больших объемов данных рекомендуется использовать подход, ориентированный на записи (Record-Oriented NiFi). Вместо обработки всего контента целиком, NiFi «пробегает» по нему, преобразуя данные в записи с помощью Record Readers. Обработанные записи затем сериализуются обратно в контент с помощью RecordSetWriters. Этот подход позволяет NiFi эффективно обрабатывать большие наборы данных структурированно, гибко и с возможностью повторного использования настроенных компонентов.
Изображение носит иллюстративный характер
Атрибуты FlowFile содержат метаинформацию, важную для маршрутизации и обработки данных. Они включают имя файла, путь, уникальный идентификатор, дату создания и размер. NiFi предоставляет процессоры для извлечения, хеширования, идентификации типа и обновления атрибутов, а также мощный язык выражений (EL) для манипулирования ими. EL позволяет, например, сравнивать атрибуты, использовать переменные и системные свойства, упрощая автоматизацию сложных задач, таких как выявление проблемных записей в наборах данных.
Контент FlowFile, представляющий собой последовательность байт, хранится на диске и загружается только при необходимости, обеспечивая высокую производительность. NiFi предлагает широкий спектр процессоров для работы с контентом, включая загрузку, выгрузку, трансформацию, доступ к базам данных, взаимодействие с системой, разделение и соединение данных.
Для эффективной обработки больших объемов данных рекомендуется использовать подход, ориентированный на записи (Record-Oriented NiFi). Вместо обработки всего контента целиком, NiFi «пробегает» по нему, преобразуя данные в записи с помощью Record Readers. Обработанные записи затем сериализуются обратно в контент с помощью RecordSetWriters. Этот подход позволяет NiFi эффективно обрабатывать большие наборы данных структурированно, гибко и с возможностью повторного использования настроенных компонентов.
