Иван Кузнецов | Практический ИИ | БизнесМатика
23 subscribers
29 links
ИИ в бизнесе без хайпа. Наблюдения практика. Технологии, деньги, люди
Иван Кузнецов - @kuznetsov_bm, БизнесМатика, bm-it.ru
Download Telegram
На сайте вышла моя статья про то, как считается порог отказа, объём, ниже которого мы не предлагаем LLM-пилот, и как наше первое такое число оказалось завышено в 2,5 раза.

В июле мы посчитали одиннадцать пилотов и в каждом расчёте записали порог. 8 августа при проверке перед публикацией лонгрида порог для карточек товаров не пережил пересчёта. Стояло 38 250 позиций каталога, действующий расчёт даёт 15 150. Причина оказалась в лестнице лицензии, ступени которой меряются карточками в месяц, а порог считался при ступени, которой у каталога такого размера не бывает. В тот же день пересчитали четыре числа из десяти опубликованных, два из них стояли ниже собственного правила окупаемости.

В статье разобран сам расчёт: правило четырёх месяцев, из которого выводится порог; какую половину расчёта заказчик считает сам, а какую обязан назвать подрядчик; четыре ловушки, из-за которых чужое число нельзя брать по аналогии, от ступеней лицензии до вопроса, что вы сделаете с высвобожденным временем; и один вопрос подрядчику до сметы, по которому за минуту видно, считал ли кто-нибудь вашу задачу.

Статья целиком на сайте.
Вопрос «какую LLM развернуть on-premise, чтобы соблюсти 152-ФЗ» задают нам на пресейлах, и вопрос содержит ошибку. 152-ФЗ не требует своего сервера. Он требует хранить базы персональных данных граждан России в стране, уведомить Роскомнадзор и отвечать за утечку деньгами, с 30 мая 2025 года до 15 млн ₽ за первую и от 1% до 3% выручки за повторную. Слов «on-premise» и «запрещено облако» в законе нет.

В свой контур компанию ведут другие причины, то есть адвокатская, аудиторская, банковская или коммерческая тайна, у каждой из которых своя статья, и статус значимого объекта КИИ у госоргана или заказчика по 223-ФЗ, где с 2025 года запрещено иностранное ПО. А выбор самой LLM ограничивают недоступность OpenAI и Anthropic из России и закон 243-ФЗ, который с марта 2027 года даст Правительству право в отдельных случаях требовать только суверенные или национальные LLM.

Поэтому «какую LLM» это третий вопрос по счёту. Сначала, какие данные попадают в промпт. Потом, какое железо есть или будет куплено, потому что объём видеопамяти задаёт класс LLM жёстче любого бенчмарка. И только потом, как менять LLM, потому что за два года её сменит регулятор, вендор или новое поколение открытых LLM.

Сегодня разбор вышел на сайте. В нём четыре способа развернуть LLM с именами (ПАК Сбера, Яндекса и MWS AI, открытые Qwen, DeepSeek, GigaChat3, T-pro и gpt-oss с лицензиями), таблица «что помещается в карту 24, 80 ГБ и в узел из восьми карт» с ценами Cloud.ru и одного поставщика серверов, позиции открытых LLM на русском бенчмарке MERA Text 2.0 и то, как в нашей платформе Svaya LLM сделана сменяемым компонентом.