Klima™
Klima™
@klima_tm
5 203 подписчика
6 постов
Посты
Всем привет. Помню еще как пару тройку месяцев назад говорил про Exa своему близкому товарищу, которого вы все наверное знаете. Так вот недавно AA выпустили новый поисковый бенчмарк (наконец-то бл), в котором Exa заняла второе место, отдав лишь один бал Parallel.
Exa заэмбедили весь web и продолжают это делать, давая возможность семантического (ака смыслового) поиска для ИИ агентов, что усиляет их эффективность в разы, так что вместо того чтобы делать slop — они находят нужный тул или решение и используют его, и в целом чаще находят вам более релевантную информацию, которую обычный поиск бы им не вернул. Также они используют ИИ-модели обученные по методу "Матрешка" (оч нравится мне это название сразу видно откуда ноги растут🙂), что позволяет сократить время и ресурсы на поиск в сотни/тысячи раз, за счет валидности обрезанных векторов (чат гпт объяснит лучше). Короче, всем кто использует ИИ агентов где либо — советую. Реально кратно увеличивает их эффективность и возможности.
Крайние рейз $250кк, оценка $2.2B (стартап 2021 года кстати, но с курсором понятно уже никто не сравниться)
Мои агенты стабильно не находят лучший тул под задачу, и вот почему
Прошу агента найти способ транскрибировать ютуб-видео. Он приносит yt-dlp, который блокируется на серверных запросах — вместо transcript API или скилла, который его уже оборачивает. Прошу лучшие системы persistent memory. Выдаёт Mem0 и всякое старье, что давно на рынке но уже не так релевантно. GBrain, который реально лучше под мой кейс, не всплывает вообще.
И вот тут начинается дорогая часть. Если бы я не знал, что GBrain существует, я бы взял Mem0, остался бы им недоволен по куче причин и начал бы пилить своё — ровно это мне агент и предложил после того, как мы разобрали Mem0 и поняли что он не подходит. Дни работы над тулом, который уже есть. It's pain. It's fucking pain. И в целом я хочу, чтобы агент всегда находил лучший вариант среди конкурентов под мои задачи. Одна эта штука ускоряет всё на порядок, потому что экономит огромное количество времени и сил.
Поэтому я считаю, что поиск правильного тула — один из самых ценных скиллов, которые вообще может иметь агент. Но для этого ему надо подключиться туда, где инфа реально лежит, и получить нормальные инструкции, что там делать. Поэтому я написал под это скилл. Наверняка похожих уже полно, но тестить их у меня нет времени, так что я начал со своего.
Правила, которые я заложил:
1. Задавать направление, а не ограничения. Перечислять тулы и команды как примеры и явно писать, что агент может пробовать другие, если посчитает нужным
2. Две фазы, строго по порядку. Сначала прогнать десятки кандидатов по дешёвым сигналам — README, звёзды, последний коммит, что пишут на Reddit и в X — и только потом отобрать 3-5 в шортлист и проверять код в репозиториях каждого из кандидатов. Иначе агент зациклиться на первым попавшихся тулах.
3. Сравнивать, а не хвататься за первое. Один норм вариант — это не ответ. Если до конца дожило меньше трёх кандидатов, значит поиск был слишком узкий.
5. Не хардкодить то, что стареет. Rate limits, URL реестров, CLI-флаги — вместо этого ссылаться на доки.
6. Про факапы говорить вслух. Какой клиент, какая ошибка, что не покрыли. Жидкий результат, поданный как тщательный поиск, хуже, чем отсутствие результата.
и др.
Пока скилл заточен в основном под поиск по гитхабу, но буду расширять на X, Reddit, Exa и другие источники. Называется «scouting-solutions». Следить можно тут: https://github.com/klima-tm/agent-skills
Ты уверен, что твой агент вообще использовал твой скилл?
Observability и traceability — одна из по-настоящему нерешённых проблем в работе с агентами. На большом масштабе это выливается в истории вроде недавней у OpenAI, когда модель на оценке вышла из песочницы и взломала прод Hugging Face, чтобы украсть ответы бенчмарка. Но на маленьком масштабе проблема ровно та же — у разработчиков и новичков, которые просто хотят видеть, что делает их агент.
Для меня это был such a pain in the ass, когда я впервые склонировал несколько больших «Agent OS» реп с гихаба, наставил кучу скиллов, завел персистентную RAG-like memory — и в итоге понятия не имел, реально ли мой агент использовал скилл когда надо, достал ли нужные воспоминания и делал ли вообще то, что я просил, не лазея куда не надо.
Сначала думал сам написать, но потом посерчил рынок и понял что уже есть хорошие решения, такие как Langfuse например (не идеальный, но для старта точно пойдет)
Сначала подключил клода стандартным способом — через opentelemetry env vars. Данные пошли — и оказались малополезными и шли долго. Клод пишет телеметрию под своими именами атрибутов, Langfuse читает другие. И то и другое — «стандартный OTEL». А перевод между ними никем не покрывается. В итоге мои промпты падали в метадату вместо отведенных Input, Output полей, а кост показывал $0.00 на ходах ллм. Короче, всё что Langfuse строит поверх Input/Output и коста — реплей промптов, оценки через LLM-as-judge, поиск по содержимому — молча бы не работало из-за этого.
—————————-
Потом я нашёл, что у Langfuse есть оф. плагин для клода. Он вешает хук, который срабатывает после каждого ответа, читает json транскрипт сессии и переотправляет его через их SDK — уже в том виде, который Langfuse действительно ждёт. Результат совсем другой. Настоящий промпт в Input, настоящий ответ в Output, cost отображается, вызовы инструментов вложены под тот вызов модели, который их запросил, тайминг по каждому шагу. Одним словом красота.
P.S.: если работаешь с Клодом через терминал и по подписке с фикс. ценой, в таком случае бОльшая часть того, что даёт трейс — это видимость расходов, так как многое из ходов ты можешь и так увидеть в терминале . Ну а на подписке трейс стоимости который там отображен не особо релевантный, так что пользы не супер много, если только не привыкнуть к пропорциям коста и трат вашего usage лимита подписки. Ну и сессии в терминале откровенно плохо сохраняют историю long-term, что еще один + в сторону trace observe тулов. Но если говорить про любых других кастомных агентах, то тогда я считаю это мастхэв, потому что многие не пишут terminal-like history для своих агентов, да и зачем писать когда уже есть отличное готовое решение.
Также я искренне считаю что новичкам этот тул или любой другой аналог (другие просто не тестил пока) отлично подойдет, чтобы визуально увидеть и понять каким образом работают агенты, как выстраивается взаимосвязь между харнесами и LLM, и почему в целом граммотная система в связке memory + harness + LLM, главный принцип которых в реализации правильных и эффективных лупов для модели — это залог эффективности на 50-60% помимо самой модели (хотя я искренне считаю что процент даже выше)
