Локальный ИИ‑агент: где живут данные и кто отвечает за работу

Локальный ИИ‑агент состоит как минимум из модели, программы управления шагами и набора разрешённых действий. Локальный запуск модели не означает автоматически, что все данные останутся на компьютере: приложение может подключать облачный поиск, внешнюю модель или журнал ошибок. Поэтому сначала рисуют поток данных, затем выбирают программу. В официальной документации Ollama, проверенной 25 октября 2026 года, описан запуск локальных моделей без API‑ключа и отдельный выбор облачных моделей. Это разные режимы, которые нужно не путать.

Для первого опыта установите Ollama по официальной инструкции, затем загрузите и запустите локальную модель. Объём загрузки и скорость ответа зависят от модели и вашего компьютера:

ollama pull gemma3:4b
ollama run gemma3:4b

По официальной справке Ollama программа по умолчанию слушает 127.0.0.1:11434; не открывайте этот порт наружу. Чат с моделью только отвечает текстом. Для чтения заказов добавьте программу с ограниченным доступом. Для первого опыта возьмите неперсональную задачу. Например, пусть агент читает три тестовых заказа из локального файла и составляет список просроченных действий. В Radomir CRM владелец видит просрочки по карточкам. Для локального прототипа повторите правило отбора на вымышленных заказах. Агент не должен сам отправлять клиентам сообщения, менять суммы или удалять строки. По итоговому списку легко проверить, правильно ли он понял даты и пропуски.

Перед первым запуском проверьте путь данных:

• Выберите тестовый файл без сведений клиента.
• Укажите функции, которым разрешено читать файл.
• Отключите неиспользуемые внешние подключения.
• Сравните ответ модели с исходными строками.

Из каких частей состоит локальная связка

Модель формирует предложения и может выбрать вызов инструмента. Контролирующая программа решает, какие инструменты доступны, выполняет разрешённый вызов и передаёт результат модели. Источник данных остаётся отдельным: CSV, база или папка с документами. Если всё слито в один скрипт, сложно узнать, кто изменил запись и почему. Для первой версии достаточно чтения; запись добавляют после журналирования и тестов.

Ollama поддерживает вызовы инструментов. Это возможность модели запросить определённую функцию; саму функцию и её права пишете вы. Если модель предлагает delete_all_orders, отсутствие такой функции в доступном наборе должно остановить действие. Даже если функция существует, проверка прав в её коде обязательна. Красивый текст системного запрета не равен техническому ограничению.

Как проверить, что данные остаются там, где вы решили

Запишите все соединения программы: откуда загружается модель, какие адреса вызываются во время работы, куда отправляются ошибки и что пишет журнал. Первая загрузка весов может требовать интернет, а дальнейший локальный ответ может идти без внешнего запроса. Проверьте это в выбранной конфигурации: слово «локальный» на странице продукта недостаточно. Отдельно убедитесь, что интеграция с мессенджером или сторонней CRM не отправляет туда весь исходный документ.

Для пробного сценария храните сведения в выделенной папке с правами только на чтение. Не запускайте агент от администратора системы. Если ему нужны секреты для другого сервиса, сохраняйте их отдельно от репозитория и выдавайте только нужному действию. Пароль к базе с правом читать все таблицы противоречит цели узкого доступа.

Как провести первый тест

Подготовьте пять записей: действие просрочено, срок ещё не наступил, дата отсутствует, задача уже закрыта и запись принадлежит другому пользователю. До запуска выпишите ожидаемый список. Попросите агента назвать просроченные задачи, затем сравните каждую строку. Ошибка с пустой датой особенно опасна: модель может уверенно подставить сегодняшнее число. Уберите неверное предположение на уровне функции поиска; одной словесной инструкции недостаточно.

Где локальный вариант сложнее облачного

Ваш компьютер должен тянуть выбранную модель с приемлемой скоростью, а обновления и резервные копии становятся вашей задачей. Если агент должен отвечать клиентам круглосуточно, выключенный ноутбук не годится: понадобится постоянно работающий сервер и наблюдение за сбоями. Локальная модель не улучшит грязные данные и неверные права в CRM. Начните с внутреннего помощника, который готовит список для сотрудника. Самостоятельную отправку сообщений пока отложите.

Перед расширением сценария:

• Проверьте время ответа на своём устройстве.
• Отключите внешний вызов и повторите запрос.
• Перезапустите программу и найдите прежний журнал.

Когда один сценарий проходит тесты, добавьте журнал: какой запрос пришёл, какую функцию вызвали, что она вернула и какое действие подтвердил человек. Не записывайте в журнал лишние персональные данные. При изменении модели повторите те же пять случаев; поведение может отличаться, даже если код функций прежний. Периодически проверяйте, что локальный режим остался выбранным после обновления приложения.

Практический порядок создания агента есть в статье о первом ИИ‑агенте. Если хотите пройти путь на собственном проекте с проверкой данных и прав, смотрите обучение.

Как оценить возможности своего устройства

Перед выбором модели проверьте свободную память и время ответа на коротком тесте. Если один запрос занимает слишком долго для вашего сценария, увеличение числа инструментов только ухудшит ощущение работы. При внутреннем утреннем отчёте задержка может быть терпимой; при ответе клиенту в чате требования иные. Записывайте результат на том же компьютере и с тем же объёмом данных, с которым планируете работать.

Следите за температурой, свободным местом и тем, что происходит после перезагрузки. Агент, который запускается только вручную в открытом терминале, не подходит для круглосуточного процесса. Если нужен постоянный сервис, отделите его от личного ноутбука и заранее проверьте восстановление после сбоя. Локальность не отменяет резервную копию исходной базы.

Частые вопросы

Нужен ли интернет для локального агента?

Загрузка программы и модели обычно требует сети. После настройки конкретный сценарий может работать локально, но проверьте все подключённые функции и службы.

Можно ли дать ему доступ ко всей папке документов?

Технически иногда можно, но лучше выделить ограниченный набор файлов для задачи. Начните с тестовой копии и проверьте отказ при запросе чужих данных.

Можно ли использовать агент для ответов клиентам ночью?

Понадобится постоянно работающее устройство, контроль ошибок и человек на подхвате. На ноутбуке без наблюдения такой сценарий ненадёжен.

Что важнее: выбрать модель или описать действия?

Для первого результата важнее точные данные, узкие права и проверка ответа. Модель сравнивайте на одном и том же наборе записей после того, как эти условия готовы.

Локальный запуск полезен, когда вы понимаете весь путь данных и способны поддерживать его. Начните с чтения и сверки, затем постепенно добавляйте действия.