Agnost AI

• Сложность достижения высокой точности обнаружения нюансных ошибок без большого количества помеченных данных.
• Зависимость от успеха и роста рынка продакшн‑LLM агентов; замедление adoption ограничит TAM.
• Риск копирования функционала крупными игроками observability/MLOps, которые могут предложить бесплатные встроенные решения.

“Привет, Product Hunt! Я Шубхам 👋 Парт и я пробуем почти каждый AI-продукт, который встречаем (мы просто молодые любопытные folks). И мы постоянно делали одно и то же: продукт запускается с безумным утверждением, их агент кажется волшебным в течение 10 минут, затем он заявляет, что выполнил что-то, чего не делал, выдумывает ссылку или заставляет нас повторять себя три раза. Потом мы писали основателям и слышали: это действительно полезная обратная связь. мы не имели об этом представления. И мы думали: подожди, у вас уже есть весь разговор & трассировки. почему нам пришлось вам об этом говорить? Оказалось, что их панели наблюдаемости AI показывали успешный запрос: 200 OK, вызов инструмента succeeded, ответ сгенерирован. Ошибка была видна только если кто-то действительно прочитал разговор. Поэтому мы создали Agnost AI. Agnost AI читает каждое производственное разговорное взаимодействие в чат- и голосовых агентах. Он группирует их по повторяющимся сбоям, дрейфу поведения, галлюцинациям ссылок, раздражению, запросам функций и сигналам оттока, с точными пользователями и разговорами за каждым из них. Оттуда вы можете создать eval или попросите вашего coding-агента отладить проблему & исправить её. Потому что evals проверяют проблемы, о которых вы уже знаете. Вы не можете написать eval для того, чего ещё не обнаружили. Agnost AI подключается тремя строками кода или через OpenTelemetry и уже анализирует более одного миллиона сообщений каждый день. Если вы запускаете пользовательский агент, подключите его. Я лично помогу вам найти три вещи, происходящие в ваших разговорах, о которых вы, вероятно, не знаете. Также, как вы сейчас обнаруживаете сбои, которые не покрываются вашими evals: жалобы пользователей, ручное чтение трассировок или что-то ещё?”