Как управлять памятью чата MashaGPT и экономить энергию
Автор: MashaGPT • 25 Февраля, 2024 • Нейросети
ChatGPT использует контекст беседы для своей работы. Контекст, или память чата, нужен, чтобы ответы нейросети оставались последовательными на протяжении диалога с пользователем. Рассказываем, что такое память чата и как ею управлять.
Для чего нужна память чата
Нейросеть сохраняет историю чата в качестве памяти при генерации следующих ответов. Память улучшает качество выдачи, но значительно увеличивает потребление токенов в чате.
Что такое токены
Токены – это единица потребления за пользование чат-ботом MashaGPT. Она расходуется, когда вы вводите запросы и получаете ответы от нейросети. Например, одно сгенерированное слово в версии GPT-4 “стоит” от 10 токенов
Как экономить токены с помощью памяти чата
Вы можете управлять памятью чата, выключая ее, когда она вам не нужна. Тогда чат не будет запоминать предыдущий диалог. При выключенной памяти токены в чате списывается только за связку вопрос-ответ, но не за сам контекст чата. То есть чат не помнит, о чем вы его спрашивали в предыдущем вопросе, и не тратит на это токены. Так снижается расход токенов.
Как пользоваться памятью чата
- Открываете новый чат с МашаGPT.
- После первого ответа нейросети появится ползунок над окном чата.
- Переключая его, вы управляете памятью данного чата.
- Чтобы снова включить память чата, передвиньте ползунок в активное состояние.
Погрузись в мир ИИ
MashaGPT - интерфейс для работы с ChatGPT для пользователей из России.