IBM Granite: Открытые LLM для бизнеса

IBM Granite: исследование семейства open-weights LLM (3B–32B), метрик, архитектуры, рынка и резонанса (октябрь 2024)

Оглавление

1. Конкретные метрики и цифры

— Размеры и параметры моделей: объявлены Granite Micro (3B/3B), Granite Tiny (7B/1B), Granite Small (32B/9B активных параметров) — source, source, source.

  • Акцент – малые и средние размеры (3B, 7B, 9B, 32B), покрывающие нишу максимально эффективных LLM для корпоративных и edge-применений.

— Бенчмарки (AI Analysis Index):

  • Granite Small: 28 баллов (выше Granite 8B; Gemma 27B — 22, но уступает Mistral Small — 29 и Qwen3 30B A3B — 37).
  • Granite Micro: 16 баллов (выше Gemma 4B — 15, LFM 2.6B — 12).

— Токенная эффективность: Granite Small – 5.2M токенов на одну задачу, Granite Micro – 6.7M. Обе лучше большинства non-reasoning LLM менее 40B.

— Контекстное окно: все новые Granite поддерживают до 128 000 токенов в промпте.

— Объём данных для обучения: для Vision Language Model (VLM) линейки Granite 3.2 – обучение на 85 млн PDF-файлов и 26 млн синтетических пар «вопрос–ответ».

— Доступность моделей: Granite Small доступна на Replicate, все модели выложены на Hugging Face, Granite Micro (3.4B) запускается полностью локально, Unsloth – ускоренная версия для обучения.

2. Технические детали (архитектура, спецификации, API)

— Архитектура: Granite — авторегрессионные трансформеры с только декодирующей частью (decoder-only), оптимизированы для ускорения вывода и уменьшения объёма памяти.

  • Ветви и разновидности: General purpose (Instruct/Base), специализированные Guardian (защита/фильтрация) и Mixture-of-Experts (MoE).
  • Multimodal: Granite VLM (Vision Language Model) — поддержка анализа изображений и документов, OCR/DocVQA/ChartQA.
  • Speeds optimized: присутствуют модели с ускорением inference и минимизацией VRAM requirements для edge и on-premises использования.

— Контекст: 128K токенов (по объёму сравнимо с top-LLM 2024 года: Llama-3 70B, Gemini 1.5 Pro).

— API и интеграции: доступны весовые файлы, open API через IBM watsonx.ai, поддержка Ollama, LM Studio.

— Лицензия: Apache 2.0 (разрешает коммерческое внедрение, модификацию, закрытое развертывание без обязательства раскрытия кода).

3. Экспертные мнения и аналитика

— IBM: «Модели Granite могут превзойти или сравниться с аналогами от ведущих поставщиков по многим академическим и отраслевым метрикам.»

— Российское ИТ-сообщество (Habrahabr): отмечает уникальный баланс между открытостью и оптимизациями для корпоративного сектора.

— Международные платформы (Reddit, X):

  • На Reddit IBM Granite (особенно Micro и Small) называют «недооценёнными альтернативами Meta и Google».
  • На X специалисты отмечают высокую токенную эффективность на задачах извлечения документов.

— Аналитики (TechCrunch): Granite называют «first truly open, scalable LLM family from a major enterprise vendor».

4. Практические кейсы и внедрения

  • — Документооборот и юриспруденция: применение Granite VLM для автоматизации ввода, поиска, анализа PDF/сканов, юридических документов.
  • — Организационный ассистент: IBM демонстрировала интеграцию Granite в виртуальных помощниках для клиентов банка/страховой компании.
  • — Healthcare: наличие «корпоративной версии с ограниченным списком выходных данных».
  • — Разработка ПО: Granite Code models (3B–34B) уже активно тестируются на GitHub Copilot-подобных задачах.

5. Рыночный контекст: конкуренты, ценообразование, доля рынка

Модель Размер (B) Ядро лицензии Бенч AI Index Базовая цена Где доступна Специализация
Granite Small 32/9 Apache 2.0 28 $X*/1M токенов Replicate, HF Enterprise, OCR, QA
Gemma 27B 27 Semi-Open (G) 22 NDA GCP, HF General
Mistral Small ~10–30 Apache 2.0 29 ~$X HF, Ollama Reasoning
Qwen3 30B 30 Apache 2.0[CC] 37 ~$X HF Multilingual, Reasoning
Llama-3 8B/70B 8/70 Meta Custom ~20/42 NDA HF, Ollama General

* Цена Granite Small на Replicate зависит от объёма входных/выходных токенов, компанию-конкуренты предоставляют цены по API либо через SaaS-подписку.

— Доля рынка: Granite быстро завоёвывает сектор enterprise-LLM за счет лицензии и поддержки edge/hybrid.

6. Временная линия (кратко)

  • — **Сентябрь 2023:** первый релиз Granite (13B) + запуск watsonx.ai.
  • — **Май 2024:** публикация Granite Code (от 3 до 34B, open weights).
  • — **Осень 2024:** Granite 3.0/3.2 — open-weight LLM: малые и средние размеры (3B, 7B, 32B).
  • — **Q4 2024–2025:** выход на рынок через Red Hat RHEL AI 1.5.

7. Социальный резонанс: обсуждения, критика, ожидания

  • — Reddit: Granite Micro отмечают как «удивительно быстрый запуск на 6GB GPU».
  • — Habrahabr: разработчики позитивно оценивают open-weight-подход IBM.
  • — Профессиональные сообщества: похвала — «честное лицензирование, широкий выбор нагрузок».
  • — Международные обзоры: Granite 3.0/3.2 называют новым стандартом enterprise open-weight.
  • — Критика: недостаток «reasoning»-метрик и субоптимальная multilingual-реализация вне англоязычных и enterprise-корпусов.