Что такое тонкая настройка (fine-tuning) модели и как проходит дообучение ИИ

Отдел продаж подключил ChatGPT для общения клиентам. Через неделю бот путает названия тарифов и отвечает длинными абзацами вместо коротких списков. К клиенту он обращается на «ты», хотя в компании принято «вы». Менеджер правит сообщения вручную перед каждой отправкой.

Нейросеть знает языки и общие факты. Внутренних правил компании она не знает — ни тарифов, ни формата ответа, ни принятого тона.
Fine tuning нейросети что это? Вопрос возникает именно в такой момент — когда готовое ИИ-решение работает, но не под задачу компании.

Fine-tuning — донастройка готовой предобученной LLM на новых данных для конкретного сценария (английский термин fine-tuning переводится как «тонкая настройка»). Обучение не начинается с нуля: базовые знания сохраняются и дополняются узкой специализацией. Процесс устроен так: точечная корректировка вместо полной пересборки системы.

Похожий процесс происходит при обучении сотрудника: компании выгоднее доучить действующего специалиста, чем нанимать и обучать нового с нуля. Менеджер по продажам знает базовые техники переговоров и работы с возражениями. Профильный курс под конкретный продукт компании занимает несколько дней и добавляет специфику: термины, скрипты, частые вопросы клиентов. Прежние навыки при этом никуда не деваются. Компания получает специалиста, адаптированного под свои процессы, а не новичка без базовой подготовки.

С нейросетью действует тот же принцип. Проще понять что такое fine tuning модели, именно через этот пример: нейросеть знает грамматику языка, факты и общую логику текста, а дообучение добавляет термины компании, формат ответов и нужный тон.

Обучение с нуля создаёт систему заново: уходят месяцы работы и огромные объёмы данных. Дообучение корректирует часть уже настроенных параметров и требует меньше ресурсов, чем обучение с нуля. Ответ на вопрос, что такое fine tuning, всегда сводится к этому отличию — доработка существующих знаний, а не создание новых с чистого листа. Для бизнеса разница выражается в сроках и стоимости: донастройка готовой LLM требует меньше ресурсов, чем полное обучение.

Дообучение проходит в четыре этапа.

1. Выбор основы. Специалисты подбирают предобученную LLM, которая уже умеет работать с языком и текстом на общем уровне. Архитектуру выбирают по сценарию: для диалогов с клиентами подходит одно решение, для анализа документов — другое.
2. Подготовка датасета. Датасет — набор примеров для конкретного рабочего процесса. Датасет строят из реальных обращений клиентов, внутренних документов или готовых диалогов с нужной структурой и тоном. Обычно он в разы меньше исходных данных, на которых обучалась исходная нейросеть: датасет нужен не для обучения языку, а для закрепления требуемого поведения.
3. Обучение на примерах. Датасет используют в нескольких циклах обучения. На каждом проходе корректируется часть внутренних параметров
4. Результат. Дообученная версия но с более точными ответами под нужный формат и тему: она держит терминологию компании, не путает структуру ответа и отвечает в заданном тоне.

Внутренние параметры называют весами модели. Каждый вес определяет, насколько сильно конкретная связь между словами или понятиями влияет на итоговый ответ. Современные LLM содержат миллиарды таких весов, а корректировка затрагивает лишь часть из них.
Разница с обучением с нуля — в масштабе изменений. Полное обучение задаёт миллиарды весов случайными значениями и формирует нужные связи с чистого листа, и процесс занимает намного больше времени. Дообучение стартует с уже настроенных весов и корректирует только часть из них под новые примеры. Нейросеть не забывает прежние знания. Она их уточняет.

Тонкая настройка бывает разного объёма. Полное дообучение меняет все параметры модели: результат получается точным, но процесс дорогой и долгий. Модель весом в десятки миллиардов параметров требует мощного оборудования и заметного времени даже для узкой задачи. Облегчённые методы, включая LoRA и QLoRA, добавляют небольшой обучаемый блок для выбранной функции без корректировки всех весов.

Представим производственную линию, которая выпускает стандартный продукт. Для штучного заказа с особыми характеристиками линию не перестраивают целиком — на неё устанавливают небольшой съёмный узел, который отвечает именно за нужную доработку. Настройка узла занимает заметно меньше времени, чем пересборка всей линии. Основную линию при этом не трогают: она остаётся доступной для стандартных заказов. Съёмных узлов бывает несколько, под разные виды нестандартных заказов, а линия при этом остаётся одна.

LoRA работает по тому же принципу. К базовой LLM добавляют небольшой обучаемый блок, который отвечает за специфику выбранной функции. Основные веса остаются без изменений. Обучать нужно только этот блок, а не миллиарды параметров целиком. Для разных функций компании обучают отдельные блоки, а базовая ИИ при этом остаётся одна и та же. QLoRA работает похоже, но хранит базовые веса в квантованном виде и снижает требования к памяти оборудования.

Для fine tune LLM бизнес чаще выбирает именно облегчённые методы: вычислений требуется в разы меньше, а обучение проходит быстрее. В fine tuning языковых моделей для практических задач это давно стало нормой. Результат получается сопоставимым с полным дообучением, а ресурсов уходит меньше.

Файн тюнинг — не единственный способ адаптировать LLM к рабочему процессу. Рядом стоят ещё два подхода: промпт-инжиниринг и RAG. Разница между всеми тремя — в том, что именно меняется и когда.

1. Промпт-инжиниринг. Параметры нейросети не меняются. Меняется только формулировка запроса: точность результата зависит от формулировки вопроса, инструкции и примеров внутри запроса. Способ работает сразу, без подготовки данных, но результат держится только в рамках конкретного запроса.
2. RAG. Параметры ИИ также не меняются. К ней подключают внешнюю базу знаний — документы компании, базу данных, актуальные записи — и перед генерацией нейросеть ищет там нужные фрагменты. Информация обновляется мгновенно: после изменения документа система использует обновлённый источник.
3. Fine-tuning. Меняется сама модель, а не запрос и не источник данных вокруг неё. После дообучения система по умолчанию соблюдает нужный формат и тон. Отдельные инструкции и обращение к внешним источникам во время генерации не требуются.

Три подхода применяют в разных сценариях и при необходимости объединяют: дообученную версию подключают к RAG для работы с обновляемыми данными.

Fine-tuning оправдан не в каждой сценарии. Есть сценарии, где он даёт заметный результат, и сценарии, где деньги и время уходят впустую.

Когда fine-tuning нужен:

1. Нужен устойчивый формат ответа. Строгий JSON для интеграции с другой системой — характерный пример: промпт может «съехать» после нескольких сообщений подряд, а сбой формата ломает интеграцию на стороне другой системы. После дообучения система стабильнее соблюдает заданную структуру.
2. Специфическая терминология отрасли. Юридические, медицинские или узкоотраслевые термины нейросеть усваивает через примеры и перестаёт путать их с общеупотребительными синонимами, даже если промпт не уточняет контекст каждый раз.
3. Узкая классификация обращений. Если требуется стабильно раскладывать заявки по нескольким категориям вроде жалобы, вопроса по оплате или технической проблемы, дообученная система допускает ошибки реже модели с промптом-инструкцией, особенно на пограничных формулировках.
4. Единый голос бренда. Тон, объём текста и форма обращения задаются промптом, но могут меняться от диалога к диалогу, особенно если систему используют разные отделы со своими инструкциями.

Когда можно обойтись без него:

1. Проблему решает точный промпт. Если ИИ ошибается из-за нечёткой инструкции, достаточно переформулировать запрос и добавить образец нужного результата: дообучение здесь лишний шаг с лишними затратами.
2. Данные компании часто меняются. Для работы с прайсами, остатками и статусами заказов больше подходит RAG: источник обновляется, а система получает свежие сведения перед генерацией. Дообучать нейросеть под каждое обновление данных невыгодно и физически не поспевает за изменениями.
3. Объём задач небольшой. Если сценарий использования узкий и редкий, затраты на подготовку датасета и запуск обучения не окупаются результатом.

Результат дообучения зависит не только от метода, но и от того, что стоит за кулисами: данных, ресурсов и рисков, которые стоит учитывать заранее.

Для дообучения нужен размеченный набор примеров: запрос и эталонный результат, исходный текст и его корректная обработка, в зависимости от цели. Разметка означает, что для каждого примера явно указан ожидаемый результат, а не просто сырой текст. Дубли и противоречия закрепляют неверные закономерности, поэтому выборку очищают перед обучением. Качество датасета определяет качество результата напрямую: система, обученная на противоречивых примерах, наследует эти противоречия в ответах.

Дообучение требует вычислительных мощностей, их объём зависит от размера модели и выбранного метода. Помимо самого обучения, время уходит на подготовку данных и на тестирование результата: проверку, стала ли система отвечать точнее, а не просто иначе. Тестирование проводят на примерах, которые не участвовали в обучении: иначе оценка получается необъективной. Этот этап часто недооценивают на старте проекта.

Дообучение закрепляет формат выдачи, отраслевую терминологию, узкую классификацию и голос бренда. Это не единственный инструмент и не всегда лучший — рядом стоят промптинг и RAG, и выбор зависит от сценария и данных компании.

Для первого опыта берут одну узкую задачу и небольшой пилот, а не переобучают модель сразу под все процессы компании. Результат пилота показывает, оправдывает ли метод затраты, прежде чем масштабировать его на другие направления и отделы.

Аспирити разрабатывает и внедряет ИИ-решения под ключ, включая дообучение LLM под задачи бизнеса — от выбора архитектуры и подготовки датасета до тестирования результата. Первый пилот занимает от 30 дней: гипотеза проверяется на одной узкой задаче, прежде чем решение масштабируют на остальные процессы компании.