Datagram

Технологии Big Data

Neoflex Datagram – это программная платформа предназначенная для преобразования данных и разработки приложений Big Data.
Datagram является одним из основных инфраструктурных элементов Neoflex Reporting Big Data Edition.

Высокое качество кода
Генерируемый код соответствует Best Practice, обеспечивает выcокую производительность и простую поддержку
Быстрая разработка
Визуальное проектирование и генерация Scala-кода способствует
сокращению ошибок
Версионность и teamwork
Блокировка одновременных обновлений, поддержка иерархии проектов и интеграция Apache Subversion
Низкий порог входа
Не требует специальных знаний в технологиях Big Data, уровень сложности как в стандартных ETL-процессах

Интерфейс

Развитый интерфейс позволяет визуально и интуитивно конструировать иерархические процессы извлечения данных, обработки и сохранения результатов

Дизайнер трансформаций

Интерфейс для визуальной разработки потоков преобразования данных и маппирования данных.

Основные возможности

Дизайнер трансформаций позволяет просматривать содержимое источников и приемников данных, структуру потока данных, поступающего на вход элемента схемы, устанавливать происхождение отдельных полей потока данных и проверять структуру потока на выходе элемента.
Выполнять частичные преобразования с просмотром промежуточных результатов и просмотром сгенерированного кода приложения.
Дает возможность валидации трансформаций на основе данных о наиболее частых ошибках.

Дизайнер Workflow

Интерфейс для визуальной разработки потоков управления последовательностями преобразований данных.

Основные возможности

Дизайнер Workflow позволяет создавать схемы параллельного, последовательного, или зависящего от условий исполнения преобразования данных. Создавать схемы управления последовательностями преобразований с использованием вложенных объектов. Планировать исполнение Workflow по времени или событиям файловой системы. Поддерживает shell scripts и java.

Работа с данными

Источники/приемники данных

RDBMS источники/приемники данных использующие соединение JDBC (включая хранимые процедуры);
Сложноструктурированные источники/приемники: XML, AVRO и JSON;
Источники/приемники данных файловой системы HDFS поддерживают форматы файлов: ORC, PARQUET;
Источники/приемники CSV, Apache Hive, Apache Kafka.

Типы преобразований данных

Операции реляционной алгебры: join, sort, aggregation, union, selection, projections, pivot, explode arrays, sequence generation;
Spark SQL;

Анализ на основе библиотеки машинного обучения Spark MLLib (decision trees, SVM, logistic regression и т.д.);
Jboss Rules (Drools).

Поддержка рабочей среды

Исполняющие среды

Apache Livy

Запуск приложения из сред разработки/отладки

Apache Oozie

Запуск готовых приложений

Дополнительно

Инструменты

Консоль HDFS: просмотр, сохранение файлов из/в файловой системы HDFS;
Консоль Livy: просмотр задач на сервере Livy, просмотр журналов, отмена задачи;
Консоль Oozie: обзор workflow и задач координатора на сервере Oozie, просмотр журналов, отмена или перезапуск задач;
Обозреватель объектов: просмотр дерева объектов метаданных

Безопасность

Централизованная аутентификация пользователей с использованием корпоративного сервера каталогов (LDAP);
Ролевая авторизация. Возможные роли: developer, operator, viewer;
Шифрование паролей для доступа к внешним системам;
Использование алгоритма аутентификации Kerberos для подключения к исполняющим средам

Связаться с нами для демонстрации системы

Нажимая на кнопку отправить, вы принимаете политику обработки персональных данных и даете согласие на обработку персональных данных

+7 (495) 984-25-13
info@neoflex.ru
127051 Москва, ул. Вятская, д. 35, стр. 4.

Ответим на все вопросы!