Peraspera Data Hunter - Автоматизация управления поиском, сбором и анализом данных
Основные функции:
- управление кластером краулеров
- управление поиском, сбором и анализом данных
Преимущества:
- Отчуждаемость - Возможность установки на территории заказчика
- Прозрачность - Контроль качества данных на всех этапах от поиска до визуализации
- Адаптивность - Возможность встроить дополнительные краулеры других разработчиков
- Универсальность - Возможность работать с внешними и внутренними данными
Решаемые проблемы
- Нерелевантные данные, отсутствие автоматизации
- Отсутствие регулярности получения и обработки данных
- Динамическое изменение источников парсинга
- Отсутствие унификации процесса сбора и обработки данных и высокие издержки
Предустановленные краулеры
| Краулер | Функции | Элементы контента |
|---|---|---|
| Яндекс-краулер |
Поиск/сбор данных из результатов поиска Яндекса* |
Ссылка из поисковой выдачи |
| Google-краулер |
Поиск/сбор данных из результатов поиска Google* |
Ссылка из поисковой выдачи |
| Telegram-краулер |
Поиск/сбор данных из открытых каналов/групп Telegram* |
Сообщение из Telegram-канала |
| Вконтакте-краулер |
Поиск/сбор данных из открытых профилей/групп VK* |
Сообщение из группы |
| Одноклассники-краулер |
Сбор данных из открытых профилей/групп OK* |
Группа |
| Универсальный краулер сайтов |
Сбор данных из открытых сайтов* |
— |
| Краулер для баз данных |
Поиск/сбор данных из различных баз данных |
Строка таблицы базы данных |
| Яндекс-дзен краулер |
Поиск/сбор новостей |
Новость |
| Краулер реестров |
Сбор файлов с реестрами |
Файл с реестром |
*По текстовым запросам
