Обновление услуги LLM: управление API-ключами, моделями и расходами
Мы обновили услугу LLM в панели управления. Теперь работать с языковыми моделями стало удобнее: вы получаете больше возможностей для управления API-ключами, распределения ресурсов между командами, выбора поставщиков и контроля расходов.
Единая система расчётов — ИИ-кредиты
Для удобства расчетов мы ввели единую внутреннюю валюту — ИИ-кредиты. Стоимость одного ИИ-кредита составляет 0,22 Br за 1 000 ИИ-кредитов.
Теперь все расходы отображаются в ИИ-кредитах, а также в валюте вашей страны. Это упрощает сравнение стоимости, анализ потребления ресурсов и контроль бюджета.
Два варианта оплаты
Вы можете выбрать наиболее подходящий способ оплаты услуги: тарифный пакет или Pay-as-you-go.
Пакет предполагает предварительную покупку определённого количества ИИ-кредитов.
- Пакет идет со скидкой. Чем больше выбранный пакет, тем выше скидка.
- Пакетная оплата позволяет заранее спланировать бюджет на использование LLM.
- Обратите внимание, что неиспользованные кредиты не переносятся на следующий расчетный период и сгорают по его окончании.
Pay-as-you-go — это оплата по факту использования
Вы оплачиваете фактически использованные ресурсы без необходимости предварительно приобретать пакет. Такой вариант подходит для тех, кому важна гибкость без предварительных обязательств по объёму использования.
Новые возможности панели управления
В разделе LLM появились новые инструменты для организации работы с моделями и управления доступом:
1. Ключи
Раздел для создания и управления API-ключами. Здесь можно сгенерировать новые ключи, просматривать существующие и управлять ими.
2. Группы
Теперь ключи можно объединять в группы по отделам, командам или другим принципам. Например, можно создать отдельные группы для разработки и для других подразделений компании, а затем распределить между ними соответствующие API-ключи.
Это упрощает управление доступом и позволяет контролировать потребление ресурсов разными командами независимо друг от друга.
3. Правила
Администратор может устанавливать лимиты потребления для каждой группы, распределяя доступные ресурсы с учетом задач конкретных подразделений.
Например, команда разработки может получить более высокие лимиты и доступ к широкому набору моделей. Тем временем другие отделы получают ограниченный набор моделей и меньшую квоту потребления.
Раздел «Правила» находится в разработке и скоро станет доступен
4. Модели
В разделе собран общий каталог доступных языковых моделей с описаниями и стоимостью использования.
Одна из ключевых возможностей — выбор поставщика для конкретной модели. Некоторые модели доступны сразу у нескольких провайдеров. Например, Claude Sonnet может предоставляться через Anthropic, Google Cloud или Amazon Bedrock.
Вы можете выбирать, через какого поставщика обращаться к нужной модели. Это позволяет выбирать наиболее подходящий вариант для своих задач.
5. Статистика
В статистике можно просматривать информацию о запросах и проверять, завершились ли они успешно или произошли ошибки.
Также доступна детализация расходов по различным типам операций: входящие и исходящие токены, чтение кэша, запись данных в кэш, запросы с использованием веб-поиска.
Уведомления о лимитах
Дополнительно реализована система уведомлений о потреблении ресурсов. Вы получите уведомления при достижении установленных лимитов, что позволит своевременно реагировать на рост расходов и контролировать использование услуги.
Больше гибкости и контроля при работе с LLM
Обновление услуги LLM делает работу с языковыми моделями удобнее как для одного разработчика, так и для компаний с несколькими командами.
Единая система расчётов, гибкая оплата, группировка API-ключей, выбор поставщиков моделей и статистика позволяют эффективно управлять использованием LLM и контролировать расходы.
Все новые возможности доступны в панели управления Serverspace в разделе LLM.
