elEywa
Назначение elEywa
1.1
elEywa — это автоматизированный инструмент для парсинга каналов и чатов Telegram на основе Искусственного Интеллекта, отбора подходящего контента по семантическим (смысловым) фразам (упоминаниям или темам) и публикации отобранного контента (от имени нового источника) в таргетированные каналы и чаты пользователя с предварительным перефразированием и переводом с любой заданной пользователем тональностью и стилем. Контент в картинках распознается и также используется для парсинга, медиа контент подвергается автоматическому транскрибированию. elEywa — позволяет полностью автоматизировать создание очищенного контента без участия человека

1.2
elEywa работает в связке из двух модулей: Web-интерфейса для настройки, и переносимой версии клиента Telegram (user аккаунт) для поиска и подписок на наблюдаемые каналы. Для подвязки к инструменту можно использовать как свой действующий аккаунт, так и новый созданный аккаунт под эти цели. Оба варианта абсолютно безопасны, блокировки от Telegram за использование инструмента исключены.

1.3
Общий алгоритм работы инструмента такой:
- Создаем от имени user аккаунта находит нужные каналы или чаты и подписывается на них;
- Создаем в Web-интерфейсе интересующие его топики с указанием таргетов (куда публиковать отобранный контент);
- По каждому топику независимо создаем список наблюдения (откуда берется контент);
- По каждому топику независимо создаем список семантических ключевых фраз (упоминаний или тем) для отбора контента;
- Наблюдаем за статистикой в разделе мониторинг, и полагаясь на объяснения ИИ корректируем упоминания или создаем стоп-фразы (запрещенные темы) для блокировки контента;
- При необходимости используем встроенный чат с ИИ для тестирования упоминаний перед их добавление в правила отбора контента;

Пункты инструкции:
2 - Авторизация
3 - Настройка
4 - Чистка контента
5 - Мониторинг отбора
6 - Настройка API ИИ
7 - Аналитика
8 - Лицензия
9 - Обновления
ДЕМО-период
Авторизация
2.1
elEywa имеет кнопку аутентификации в Web-интерфейсе, с помощью которой можно проверить статус аутентификации и при необходимости отменить аутентификацию и/или провести аутентификацию заново
Окно авторизации
2.2
При первом пуске, будет создана демо-лицензия инструмента со сроком валидности 7 дней, и с ограничениями на число каналов и таргетов

2.3
Web-интерфейс по умолчанию рендерится локально по ссылке: http://
Внимание! InternetExplorer не поддерживается. Для просмотра Web-интерфейса используйте современные браузеры: Chrome, Firefox, Opera
Настройка
3.1
Вся настройка производится в Web-интерфейсе инструмента после его запуска

3.2
Первым следует создать список топиков (тем)
в вкладке КОНФИГУРАЦИЯ (Темы парсинга): Названия топиков используются как условные текстовые метки таргетов для публикации контента и могут быть произвольными (target - то куда будет постить, стоит задать уже после всех настроек, чтобы избежать публикации не по правилам так как система может парсить и без правил если необходим пересыл всего контента из источника)
Задаем топики
3.3
После создания топиков следует выбрать текущий топик в селекторе «Текущая тема» и все дальнейшие настройки будут относится только к данной Текущей теме

3.4
Список наблюдения
задается в таблице «Источники Парсинга» для данной текущей выбранной темы
Задаем источники
В каждой теме могут быть как одни и те-же каналы так и разные и могут быть заданы как в виде публичных ссылок, так и в виде названий диалогов (заголовков) в точном написании внутри клиента Telegram. Используя переносимую версию клиента Telegram следует найти нужные каналы и чаты и предварительно подписаться на них любым доступным способом. Бот сверяет диалоги своего user-аккаунта с Source в таблице каналов для парсинга.

3.5
Семантический отбор контента
на LLM модели Искусственного Интеллекта настраивается на вкладке ОБУЧЕНИЕ в таблице «Правила отбора контента» Для добавления правил, задействуем красный и зеленый плюс "+"; "+"
в открывшемся окне задаем наше правило.
Задаем правила отбора
3.6
Семантические фразы (упоминания) делятся на ключевые темы (отмечаются в таблице зеленым цветом) и запрещенные темы (отмечаются в таблице красным цветом).

3.7
Ключевые темы в разных строчках объединяются как логическое «И». Контент считается подходящим если смысловое совпадение темы и контента наступит в каждой зеленой строчке таблицы правил отбора контента, то есть — контент должен соответствовать всем зеленым темам одновременно! Чем больше ключевых фаз, — тем уже смысл, тем точнее должно быть совпадение смыслов, чтобы инструмент посчитал контент подходящим. Если ключевых фраз нету, то инструмент считает весь контент подходящим.

Важно! Для отбора контента по различным (непересекающимся) темам рекомендуются создавать различные топики для парсинга или, как альтернатива, прописывать ключевые темы в одной строчке правил отбора контента через союз "ИЛИ".


3.8
Запрещенные темы в разных строчках объединяются как логическое «ИЛИ», то есть контент отбрасывается если в любой красной строчке наступит смысловое совпадение. В этом случае контент отбрасывается вне зависимости от того было ли совпадение по ключевым фразам. Если стоп-фраз (запрещенных тем) нет, то механизм блокировки контента не работает (отбор идет только по ключевым темам)

Чтобы исключить попадание в ленту рекламного контента, необходимо задать в правилах исключения реклам, например:
- Предложения отслеживать экспертов в социальных сетях
- Предложения о сотрудничестве
- обучающие курсы и семинары
- предложения куда-то подписаться
- реклама каналов и их продвижение
- реклама


3.9
Рекомендуемый размер ключевых фраз и стоп-фраз: одно предложение (короткий смысл или упоминание).


3.10
Правила отбора можем ставить на паузу,

чтобы тестировать отбор без необходимости удалять и создавать заново.
Задаем правила отбора
3.11
Можем пользоваться прямым чатом с ИИ для тестирования на естественном языке различных упоминаний непосредственно в диалоговом режиме перед их занесением в правила отбора контента
Диалог с ИИ
3.12
Задать Target — то куда следует публиковать контент.

После создания правил, задаем target для публикаций подходящих под тему. В качестве Target может выступать публичная ссылка канала, пригласительная ссылка чата, имя или наименование (заголовок) чата или канала в точном написании внутри клиента Telegram. Система будет искать данные Target в диалогах своего user-аккаунта, поэтому используя переносимую версию клиента Telegram их следует либо создать как каналы или чаты во владении аккаунта, либо добавиться в чужие каналы или чаты с правами на публикацию контента (admin-правами)
Задаем Target
Чистка контента
4.1
По умолчанию настроенный инструмент публикует исходный контент (от своего имени) в заданные таргеты без перефразирования, автоматически удаляя именованные ссылки на источник. Для полной очистки контента служат специальные опции в таблице «Источники Парсинга» (п. 4.6)

4.2
Опции Rephrase:
- Перефразирование отключено. Контент копируется с удалением ссылок на источник
➡️ - Контент перефразируется на языке новости
RU - Перефразирование на русском языке, независимо от языка источника
EN - Перефразирование на русском языке, независимо от языка источника
Rephrase
4.3
Кнопка задания тональности
результата (рядом с опциями перефразирования), позволяет пользователю указать на естественном языке произвольный стиль перефразирования (в виде короткого предложения, указывающего нужную тональность результата) или задать более расширенную подсказку для перефразирования начиная с фразы «В соответствии со следующими правилами:» по формату:

В соответствии со следующими правилами:
<Здесь произвольный желаемый список правил на естественном языке>
например:
дружелюбный тон или профессиональный тон
(Более сложные комбинации заданной тональности стоит тестировать, необходимо понятно донести до ИИ свой запрос)
Тональность
помимо тональности данный блок позволяет добавить к посту хеш-теги например:
- В конце, отступив строку добавь один из хеш-тегов соотве́тствующий теме поста:
#Шутки
#Финансы
#Бытовуха
#Технологии
#Новости

Или добавить ссылку на канал:
- В конце, отступив строку добавь текст: все новости тут 👉 [тык](https://t.me/)

По тому же принципу можно добавить ссылку и через @

4.4
Инструмент удаляет ссылки на источники контента в пределах предложений. Для получения корректного результата рекомендуется всегда использовать опции перефразирования. Они позволяют сформировать корректный текст результата не смотря на удаленные предложения в исходном тексте


4.5
Функция "Включить/Выключить темы"

дает возможность приостановить работу конкретного топика без необходимости удаления и повторного создания правила, если оно может потребоваться в будущем (важно учитывать ограничения тарифа на уникальные источники, если тариф не "Maximum").
Приостановка темы
4.6
Функция "Включение/Выключения источника"

дает возможность приостановить работу конкретного источника без необходимости удаления и повторного внесения в будущем, (важно учитывать ограничения тарифа на уникальные источники, если тариф не "Maximum").
Удаление ссылок
4.7
В таблице «Источники Парсинга» можем принудительно указать минус ссылки для удаления в виде шаблона поиска: - (с ведущим минусом)
Удаление ссылок
Минус-ссылка вида: -t.me/+ будет удалять предложения содержащие пригласительные телеграмм-ссылки, - то есть содержащие в себе последовательность символов: t.me/+

Ссылка в виде: -t.me/ удаляет все ссылки Telegram которые содержаться в контенте

Для удаления публичных имен в Telegram можно использовать шаблон: -@vasya ( где vasya имя источника)

Важно! С шаблонами для удаления следует обращаться аккуратно,
так как короткие шаблоны (например состоящие из одного символа)
могут удалить весь контент где встречается этот символ!
4.8
СПАМ-фильтры

Позволяют тонко настроить частоту касаний с аудиторией, как на общие темы так и фильтр на частоту упоминания события.

4.8.1
Дубли - пост на одну и ту же тему

Данная функция по умолчанию стоит на интервале 6 часов, самостоятельно изменяем на нужный интервал. Позволяет избежать постинга одного и того же события, часто встречается при парсинге каналов с схожим направлением.
Интервал отслеживания дублей
4.8.2
Степень схожести

В Функция определяющая схожесть контента. По умолчанию
Мониторинг отбора
5.1 Для диагностики работы инструмента используется вкладка МОНИТОРИНГ, где ИИ протоколирует отбор или блокировку контента соответственно зеленым или красным цветом
Мониторинг
5.2 В маркированном разделе (синим цветом) дается объяснение в соответствии с какими правилами отбора контента (упоминаниями) и почему контент был отобран или блокирован.
После окончания ДЕМО-периода
Настройка API ИИ
6.1 Система поддерживает интерфейс платных openAI в том числе работает с бесплатными ключами. При работе на бесплатных ключах, рекомендуется использовать несколько ключей доступа к API AI. Система, при достижении ограничения на число запросов со стороны провайдеров API автоматически переключается на свободный ключ из заданного списка.
Ключи API AI
6.2 Для подключения требуется указать в настройках СИСТЕМА «тройку» значений: key (token) подключения, url подключения, и точное наименование используемой модели (model). Это делается с помощью вкладки СИСТЕМА со строгим соблюдением порядка записи строк (см. рисунок). Кнопка редактирование — активирует режим редактирования списка API, Кнопка записать — записывает в настройки инструмента новый список API

6.3 Важно! Инструмент поставляется с бесплатными токенами API на "демо" период. После тестирования инструмента необходимо обязательно перейти на свои токены подключения.

Если планируется парсинг в пределах десятка каналов или чатов телеграмм, то бесплатных API будет достаточно.
Провайдеры:
https://cloud.sambanova.ai/
https://cloud.cerebras.ai/
https://console.groq.com/
https://platform.openai.com/

Важно!
Модель должна быть достаточно «крупной» — от 70 миллиардов параметров (70B). Параметры — это внутренние настройки нейросети, которые отвечают за её «ум» и качество ответов. Чем их больше, тем лучше модель справляется с задачами. Поэтому здесь важно именно количество параметров (от 70B и выше), а не то, у какого провайдера берётся модель.

При большей нагрузке на Искусственный Интеллект рекомендуется перейти на платные тарифы API (обычно без смены ключей). Либо создание большего количества ключей.
(Данные рекомендации индивидуальны и зависят от количества и частоты публикаций в источниках.)
При проведении тестирования на платных ключах модели GPT mini, благодаря структуре инструмента были получены довольно демократичные показатели за 5$ мы получили 8 743 320:
gpt-4.1-mini: 3 967 239 символов
gpt-4.0-mini: 3 494 898 символов
gpt-4.1-nano: 1 281 183 символов
С учетом среднего количества символов на пост около 2000, мы получаем 4371 пост.

Список протестированных и поддерживаемых бесплатных моделей в порядке предпочтительного приоритета:
Meta-Llama-3.3-70B-Instruct ( https://api.sambanova.ai/v1 );
llama-3.3-70b ( https://api.cerebras.ai );
llama-3.3-70b-versatile ( https://api.groq.com/openai/v1 );
gpt-4.1-mini ( https://platform.openai.com/ )

6.4 При генерации токенов API на сервисах провайдеров API следует проверять и указывать разрешения на доступ к моделям (обычно разрешен по умолчанию).

6.5 Допустимо использовать несколько токенов API с одного сервиса полученных с разных регистраций, для этого в инструменте предусмотрен интерфейс задания исходящих прокси.
Поддерживаются http и socks5 прокси
(Активация поля ввода происходит при нажатии на карандаш (отмечен красным цветом))
Задаем прокси
Прокси можно приобрести в любом сервисе подойдут разные страны, те что дешевле - они называются Shared-proxy-ipv4, индивидуальные и прочие мобильные и тд. НЕ нужны

один из возможных сервисов: https://proxy.market/

Наша реф ссылка: https://dashboard.proxy.market/?ref=E000140222
(любим реферальные системы поэтому в нашем инструменте мы её тоже внедрили, приглашай новых пользователей получай вознаграждение за их покупки)
Покупка прокси
Аналитика
7.1 Сбор аналитики существляется на вкладке АНАЛИТИКА и планируется как фоновая задача анализа за прошлый срез дат работы инструмента.
Аналитика
7.2 Аналитика производится в виде подсчета статистики различных повесток присутствовавших в новостях за выбранный срез дат и по выбранной теме парсинга. Можем как принудительно указать интересующие повестки (построчно в поле основных повесток), так и предоставить ИИ возможность самому определить повестки и сформировать полный отчет

7.3 Текущий отчет (еще до его полного завершения) всегда доступен для просмотра. Пользователь всегда может прервать сбор статистики и перезапустить его с новыми входными данными

7.4 Внимание! Аналитика использует интенсивные обращения к ИИ, поэтому чтобы не мешать основной задачи парсинга контента, данные обращения производятся с паузой (по умолчанию 5 сек). Величину данной паузы можно настроить с помощью движка (ползунок / slider) над кнопкой «Начать поиск».

7.5 Рекомендуется ограничиваться срезом дат в пределах недели или нескольких недель, чтобы не затягивать процесс сбора статистики на долго. Более длительные интервалы анализа не информативны, - то есть не дают информации о новых повестках в выбранном для анализа топике так как повестки в топиках не склонны часто меняться]
Лицензия
8.1 При обновлении Web-интерфейса всегда вначале отображается отпечаток системы и статус текущей лицензии: Отпечаток системы следует предоставить поставщику инструмента для выдачи или продления лицензии
Аналитика
8.2 Чтобы ввести новую лицензию, нужно нажать кнопку справа для активации поля ввода, ввести лицензию и снова нажать кнопку справа для применения. Если лицензия не верна то отобразится сообщение об ошибки.
Активация поля
8.2 Для проверки статуса лицензии — обновить Web итерфейс. Когда лицензия успешно добавлена в данном окне появиться номер лицензии и срок её действия.
Активная лицензия
Обновления
9.1 Обновления могут происходить при обновлении протоколов Telegram, добавлении в инструмент новых функций или плагинов, исправлении ошибок и уязвимостей. Обновления не затрагивают систему лицензирования (все действующие лицензии остаются действительными, обновления происходят автоматически)