Словарь терминов по ИИ: от алгоритма до языковой модели.

Словарь терминов по искусственному интеллекту: от алгоритма до языковой модели

Данный словарь представляет собой систематизированное описание ключевых понятий в области искусственного интеллекта (ИИ). Цель — создать исчерпывающий справочник, который охватывает фундаментальные концепции, методы и архитектуры, от базовых элементов до современных сложных систем, таких как языковые модели. Понимание этих терминов необходимо для навигации в быстро развивающейся сфере ИИ.

Фундаментальные понятия и методы

Эта категория включает базовые определения и подходы, которые составляют основу для всех последующих технологий ИИ.

• Искусственный интеллект (ИИ, Artificial Intelligence, AI) — широкая область компьютерных наук, занимающаяся созданием систем, способных выполнять задачи, требующие человеческого интеллекта. К таким задачам относятся обучение, рассуждение, восприятие, понимание естественного языка и принятие решений.
• Алгоритм — конечная последовательность четко определенных инструкций, предназначенных для выполнения конкретной задачи или решения класса задач. В контексте ИИ алгоритмы являются основными строительными блоками для обработки данных и извлечения из них закономерностей.
• Машинное обучение (Machine Learning, ML) — подраздел ИИ, который фокусируется на разработке алгоритмов, позволяющих компьютерам обучаться на основе данных. Вместо явного программирования под каждую задачу, ML-модели выявляют паттерны и делают прогнозы или принимают решения на основе обучающих данных.
• Глубокое обучение (Deep Learning, DL) — подраздел машинного обучения, основанный на искусственных нейронных сетях с множеством слоев («глубоких» архитектурах). Эти модели способны автоматически извлекать иерархические признаки из необработанных данных (изображений, звука, текста), что делает их чрезвычайно мощными для сложных задач.
• Обучающие данные (Training Data) — набор данных, используемый для обучения модели машинного обучения. Качество, репрезентативность и объем обучающих данных напрямую влияют на производительность и надежность итоговой модели.
• Признак (Feature) — индивидуальная измеримая характеристика или свойство наблюдаемого явления. В контексте данных признаком может быть столбец в таблице (например, возраст, цена пикселя), который используется моделью для анализа и прогнозирования.

Типы машинного обучения

Машинное обучение можно классифицировать по способу обучения модели. Основные парадигмы представлены в таблице.

Тип обучения	Описание	Примеры задач
Обучение с учителем (Supervised Learning)	Модель обучается на размеченных данных, где каждому входному примеру соответствует правильный выходной ответ (метка). Цель — научиться отображать входные данные на правильные выходные.	Классификация изображений (кошка/собака), прогнозирование цен, распознавание спама.
Обучение без учителя (Unsupervised Learning)	Модель работает с данными без заранее известных меток. Цель — обнаружить скрытые паттерны, структуры или группировки в данных.	Кластеризация клиентов, снижение размерности данных, поиск аномалий.
С обучением с подкреплением (Reinforcement Learning, RL)	Агент обучается взаимодействовать со средой, совершая действия и получая за них награды или штрафы. Цель — выработать стратегию (политику), максимизирующую совокупную награду.	Игровые AI (AlphaGo, Dota 2), управление роботами, алгоритмы торговли.

Архитектуры нейронных сетей

Нейронные сети являются основой глубокого обучения. Разные архитектуры предназначены для разных типов данных и задач.

• Искусственная нейронная сеть (Artificial Neural Network, ANN) — вычислительная модель, вдохновленная биологическими нейронными сетями. Состоит из взаимосвязанных узлов (нейронов), организованных в слои: входной, скрытые и выходной. Каждое соединение имеет вес, который настраивается в процессе обучения.
• Полносвязная нейронная сеть (Fully Connected Network, FCN) / Многослойный перцептрон (Multilayer Perceptron, MLP) — базовая архитектура, где каждый нейрон в слое соединен со всеми нейронами следующего слоя. Эффективна для задач с табличными данными.
• Сверточная нейронная сеть (Convolutional Neural Network, CNN) — специализированная архитектура для обработки данных с сеточной структурой, таких как изображения. Использует сверточные слои для автоматического извлечения пространственных признаков (края, текстуры, объекты).
• Рекуррентная нейронная сеть (Recurrent Neural Network, RNN) — архитектура, предназначенная для работы с последовательными данными (текст, временные ряды, речь). Имеет внутреннюю память (скрытое состояние), которая сохраняет информацию о предыдущих элементах последовательности.
• Долгая краткосрочная память (Long Short-Term Memory, LSTM) и Управляемые рекуррентные блоки (Gated Recurrent Units, GRU) — особые типы RNN, разработанные для решения проблемы исчезающего градиента. Они способны эффективно запоминать долгосрочные зависимости в данных благодаря встроенным механизмам «ворот».
• Трансформер (Transformer) — революционная архитектура, представленная в 2017 году. Основана на механизме внимания (attention), который позволяет модели взвешивать важность всех элементов входной последовательности независимо от их расстояния друг от друга. Трансформеры не имеют рекуррентных связей, что позволяет эффективно распараллеливать вычисления и обучаться на огромных объемах данных. Является основой для современных языковых моделей.

Ключевые процессы и метрики

Эти термины описывают этапы работы с моделями ИИ и способы оценки их эффективности.

• Обучение (Training) — процесс настройки параметров модели (например, весов нейронной сети) на обучающих данных с целью минимизации функции потерь.
• Функция потерь (Loss Function) — математическая функция, которая измеряет разницу между предсказаниями модели и истинными значениями. Цель обучения — минимизировать значение этой функции.
• Оптимизация (Optimization) — процесс поиска параметров модели, которые минимизируют функцию потерь. Наиболее распространенным алгоритмом оптимизации в глубоком обучении является стохастический градиентный спуск (Stochastic Gradient Descent, SGD) и его варианты (Adam, RMSprop).
• Градиент (Gradient) — вектор частных производных функции потерь по всем параметрам модели. Он указывает направление наискорейшего роста функции. В обучении используется антиградиент для обновления параметров в сторону минимума потерь.
• Переобучение (Overfitting) — ситуация, когда модель слишком точно подстраивается под обучающие данные, включая их шум и случайные флуктуации, и в результате плохо работает на новых, ранее не виденных данных (данных из реального мира).
• Недообучение (Underfitting) — ситуация, когда модель слишком проста и не может уловить основные закономерности в обучающих данных, что приводит к низкой производительности как на обучающих, так и на новых данных.
• Валидация и тестирование (Validation & Testing) — процессы оценки обученной модели. Валидационный набор данных используется для настройки гиперпараметров и выбора модели в процессе обучения. Тестовый набор используется один раз в самом конце для финальной, объективной оценки качества модели на абсолютно новых данных.

Языковые модели и обработка естественного языка (NLP)

Эта область ИИ фокусируется на взаимодействии компьютеров с человеческим языком.

• Обработка естественного языка (Natural Language Processing, NLP) — междисциплинарная область на стыке лингвистики и ИИ, занимающаяся разработкой алгоритмов и моделей для понимания, генерации и манипулирования человеческим языком.
• Языковая модель (Language Model, LM) — вероятностная модель, которая предсказывает вероятность появления слова или последовательности слов в данном контексте. Современные языковые модели обучаются предсказывать следующее слово в последовательности на основе предыдущих.
• Большая языковая модель (Large Language Model, LLM) — языковая модель, обладающая огромным количеством параметров (миллиарды или триллионы) и обученная на колоссальных объемах текстовых данных. LLM демонстрируют способность к обобщению, рассуждению и решению широкого круга задач без специального дообучения (few-shot или zero-shot learning). Примеры: GPT, LLaMA, Claude.
• Токенизация (Tokenization) — процесс разбиения текста на более мелкие единицы, токены. Токенами могут быть слова, субслова (например, «подводная» -> «под»+»водн»+»ая») или даже символы. Это первый шаг в обработке текста моделью.
• Векторное представление слов (Word Embedding) — техника, при которой слова или фразы отображаются в векторы вещественных чисел. В этом векторном пространстве семантически близкие слова располагаются близко друг к другу. Примеры алгоритмов: Word2Vec, GloVe. В современных трансформерах эмбеддинги генерируются самим моделью.
• Механизм внимания (Attention Mechanism) — ключевой компонент архитектуры трансформер. Позволяет модели динамически фокусироваться на разных частях входной последовательности при генерации каждого элемента выходной последовательности. Самостоятельное внимание (Self-Attention) — разновидность, где запросы, ключи и значения поступают из одного и того же источника, позволяя модели анализировать взаимосвязи между всеми словами в предложении.
• Генеративный предобученный трансформер (Generative Pre-trained Transformer, GPT) — семейство архитектур LLM, разработанных компанией OpenAI. Модели GPT являются декодер-трансформерами, обученными на задаче авторегрессионного языкового моделирования (предсказание следующего токена). Они способны генерировать связный и контекстуально релевантный текст.
• Дообучение (Fine-tuning) — процесс дополнительного обучения уже предобученной модели (например, базовой LLM) на специфическом наборе данных для адаптации к конкретной задаче (написание кода, анализ тональности, чат-бот).

Современные концепции и этические аспекты

Развитие ИИ порождает новые концепции и ставит важные вопросы.

• ИИ-агент (AI Agent) — автономная система, которая воспринимает окружающую среду с помощью сенсоров, принимает решения для достижения целей с помощью моделей ИИ и действует через исполнительные механизмы. Может использовать инструменты (поиск в интернете, калькулятор, API).
• Генеративный ИИ (Generative AI) — класс моделей ИИ, способных создавать новый контент (текст, изображения, музыку, код), который является оригинальным, но похожим на обучающие данные. LLM и модели типа Stable Diffusion являются примерами генеративного ИИ.
• Мультимодальная модель (Multimodal Model) — модель, способная воспринимать и обрабатывать информацию из нескольких модальностей (текст, изображение, аудио, видео) одновременно и устанавливать связи между ними. Пример: GPT-4V, способный анализировать изображения и текст.
• Смещение (Bias) — систематическая ошибка в данных или алгоритме, которая приводит к несправедливым или дискриминационным результатам для определенных групп людей. Может возникать из-за нерепрезентативных обучающих данных или особенностей построения алгоритма.
• Объяснимый ИИ (Explainable AI, XAI) — набор методов и инструментов, направленных на то, чтобы сделать решения и прогнозы моделей ИИ (особенно «черных ящиков», like deep neural networks) понятными и интерпретируемыми для человека.
• Выравнивание ИИ (AI Alignment) — область исследований, целью которой является обеспечение того, чтобы системы ИИ действовали в соответствии с намерениями, целями и ценностями человека, а также были безопасными и полезными.

Ответы на часто задаваемые вопросы (FAQ)

В чем принципиальная разница между ИИ, машинным обучением и глубоким обучением?

Это понятия разного уровня общности. Искусственный интеллект — это самая широкая область, цель которой — создание разумных машин. Машинное обучение — это подход внутри ИИ, при котором системы обучаются на данных, а не программируются явно. Глубокое обучение — это подраздел машинного обучения, использующий многослойные нейронные сети для автоматического извлечения сложных признаков из данных. Таким образом, глубокое обучение является частью машинного обучения, которое, в свою очередь, является частью ИИ.

Почему трансформеры произвели революцию в NLP?

Трансформеры заменили ранее доминировавшие RNN и LSTM благодаря двум ключевым преимуществам: 1) Механизм внимания позволяет модели напрямую устанавливать связи между любыми словами в последовательности, независимо от расстояния, эффективно решая проблему долгосрочных зависимостей. 2) Отсутствие рекуррентности делает вычисления высоко параллелизуемыми, что позволяет значительно ускорить обучение на мощных GPU/TPU и эффективно использовать огромные объемы данных и параметров. Это прямо привело к созданию современных LLM.

Что такое «параметры» в контексте большой языковой модели и почему их количество важно?

Параметры модели — это настраиваемые числовые значения (в основном веса и смещения в нейронных сетях), которые модель изучает в процессе обучения. В LLM параметры хранят знания и закономерности, извлеченные из обучающих данных. Большее количество параметров (сотни миллиардов) теоретически позволяет модели запоминать более сложные паттерны, демонстрировать более глубокое «понимание» и лучше справляться с рассуждениями и обобщением. Однако, рост параметров требует экспоненциально больше вычислительных ресурсов и данных для обучения.

В чем разница между обучением с нуля, предобучением и дообучением?

• Обучение с нуля (Training from Scratch): Создание и обучение модели на вашем собственном наборе данных с полностью случайной инициализацией параметров. Требует огромных данных и вычислительных ресурсов.
• Предобучение (Pre-training): Первоначальное обучение модели на очень большом и разнообразном наборе данных (например, на всем интернет-тексте) для получения общих знаний о языке или мире. Так создаются базовые модели (например, GPT-4 base).
• Дообучение (Fine-tuning): Дополнительное обучение уже предобученной модели на меньшем, целевом наборе данных для адаптации к конкретной задаче (например, для роли медицинского консультанта или анализа юридических документов). Это наиболее практичный и ресурсоэффективный подход.

Каковы основные этические проблемы, связанные с большими языковыми моделями?

• Смещение и дискриминация: LLM могут воспроизводить и усиливать социальные предубеждения, присутствующие в обучающих данных.
• Галлюцинации: Склонность моделей генерировать правдоподобно звучащую, но фактически неверную или вымышленную информацию.
• Безопасность и злоупотребления: Возможность использования для создания дезинформации, фишинга, вредоносного кода или нарушения приватности.
• Прозрачность и объяснимость: Сложность понимания того, как именно модель пришла к тому или иному выводу («черный ящик»).
• Экологический след: Высокое энергопотребление и затраты на вычисления при обучении и эксплуатации очень крупных моделей.
• Влияние на рынок труда: Автоматизация задач, связанных с созданием и обработкой текста.