Что такое GPT и как это работает?

GPT расшифровывается как Generative Pre-trained Transformer. «Generative» — генерирует новый текст. «Pre-trained» — предварительно обучена на огромном корпусе данных (книги, статьи, код, диалоги — триллионы слов). «Transformer» — архитектура нейросети, предложенная Google в 2017 году в статье «Attention is All You Need».

Как работает: GPT не «думает» как человек — она предсказывает, какой токен (слово/часть слова) должен следовать за предыдущими с наибольшей вероятностью. При этом за счёт масштаба (GPT-5.4 содержит сотни миллиардов параметров) и RLHF-обучения (подстройка под предпочтения людей) модель выдаёт связные, полезные и контекстуально верные ответы.

Версии GPT: GPT-1 (2018, 117M параметров) → GPT-2 (2019, 1.5B) → GPT-3 (2020, 175B) → GPT-4 (2023) → GPT-5.4 (2026, текущая версия). Каждое поколение значительно умнее предыдущего. OpenAI создала GPT, но сейчас есть много конкурентов: Claude (Anthropic), Gemini (Google), DeepSeek. Все они доступны в MashaGPT.