Коротко. Мої агенти працюють на моделях, які відрізняються за ціною у 20–100 разів. Дорога модель потрібна там, де треба думати, а для шаблонних задач за розкладом вистачає найдешевшої. Найбільше грошей з'їдала не модель, а те, як агент налаштований.
У мене на сервері працює кілька агентів: аналітик для трейдингу, продавець для магазинів, контент-аналітик, продюсер блогу. Усі вони працюють на моделях OpenAI через підписку ChatGPT. Окремо за кожен запит я не плачу, але в підписки є ліміт. Коли він закінчується, агенти зупиняються.
Тому питання «яку модель обрати» для мене не теоретичне. Від нього залежить, чи доживуть агенти до кінця тижня.
Різниця в ціні буває у сто разів
У тієї самої компанії є кілька моделей. Ось як вони співвідносяться за ціною обробки тексту, якщо взяти найдешевшу за одиницю:
- Найдешевша (Luna). 1
- Середня (Sol). 20
- Найсильніша (Astra). 100
Тобто одне й те саме повідомлення може коштувати в сто разів дорожче лише через вибір моделі.
Як я розподілив моделі
Шаблонні задачі за розкладом на найдешевшій. Аналітик для трейдингу кожні 15 хвилин перевіряє ринок і вирішує, чи є привід мені писати. Формат відповіді жорсткий, рішення просте: «є сигнал» або «пропуск».
Перш ніж перевести його на дешеву модель, я дав один і той самий робочий запит трьом моделям. Рішення збіглося в усіх трьох. Різниця була лише в дрібницях, які я дописав в інструкцію явно. Ця задача тепер коштує в сто разів менше, ніж на найсильнішій моделі.
Розмови й листи на середній. Продавець пише листи покупцям, контент-аналітик відбирає історії. Тут потрібен нормальний текст і розуміння контексту, але не складні міркування. Середня модель справляється, а коштує вп'ятеро дешевше за найсильнішу.
Найсильніша мені зараз не потрібна. Раніше на ній працювали всі агенти за замовчуванням. Коли вийшла нова середня модель, яка не поступалася їй на моїх задачах, я переніс усіх. Якість не впала, а ліміт перестав закінчуватися.
Гроші з'їдала не модель
Найдорожчі помилки були в налаштуваннях.
Агент щоразу перечитував усе з нуля. Продавець на кожне повідомлення, навіть на «дякую», обробляв близько 27 тисяч слів службового тексту. Через одне невдале правило доступу він не міг використати те, що вже прочитав раніше. Після виправлення одне повідомлення стало коштувати 2,3 тисячі замість 27. Майже в дванадцять разів менше, а модель та сама.
Перевірка з'їла тижневий ліміт. Бот-сторож кожні 15 хвилин питав агентів «працюєш?». Це майже двісті справжніх запитів до моделі на добу. Одного разу він сам вичерпав тижневий ліміт, поки агентами ніхто не користувався. Тепер він перевіряє журнали роботи, а до моделі не звертається.
Перевірки дорожчі за роботу. Кожен запуск агента тягне весь його контекст, незалежно від довжини питання. Десять перевірок «відповідай одним словом» коштують стільки ж, скільки десять справжніх задач. Одного дня я за пів години спалив п'ятигодинний ліміт саме перевірками.
Що я віддаю звичайному коду
Якщо задачу можна порахувати програмою, модель її не рахує.
Для трейдингу потрібен розрахунок ризику на кожну угоду. Спочатку агент мав запускати для цього окремий калькулятор. Я зробив інакше: програма заздалегідь рахує таблицю для всіх варіантів, а агент просто читає готовий файл. Це кілька сотень слів замість 80–100 тисяч на один розбір. І безпечніше, бо агенту не потрібен доступ до запуску команд.
Те саме з бізнес-задачами. Перевірити вільний час у календарі, порахувати ціну, записати заявку в базу краще програмою. Модель розуміє, що написав клієнт, а дію виконує код і підтверджує результат.
Як обрати модель для своєї задачі
- Розділіть задачі. Де треба думати, а де відповідь шаблонна.
- Перевірте на справжньому запиті. Не на вигаданому прикладі, а на тому, що агент реально отримує щодня. Дайте його кільком моделям і порівняйте результат.
- Беріть найдешевшу, яка справляється. Перевіряйте раз на кілька тижнів, бо моделі оновлюються.
- Дивіться на налаштування, а не лише на ціну. Одне невдале правило може коштувати більше, ніж різниця між моделями.
Питання й відповіді
Яку AI-модель обрати для бізнесу? Найдешевшу, яка справляється з вашою задачею на реальних запитах. Для шаблонних задач часто вистачає найпростішої, для листів і розмов середньої.
Чи завжди найсильніша модель краща? Ні. На моїх задачах середня модель працювала так само, а коштувала вп'ятеро менше. Найсильніша потрібна для складних міркувань.
На чому найчастіше переплачують за AI? На налаштуваннях. У мене одне правило доступу збільшувало вартість кожного повідомлення майже в дванадцять разів, а перевірки агентів з'їли тижневий ліміт.
Скільки коштує утримувати AI-агентів? У мене сервер коштує менше 10 євро на місяць, а моделі працюють на підписці ChatGPT. Головне обмеження не гроші, а ліміт підписки, тому я рахую, яка задача скільки з нього забирає.
