Как ИИ помнит переписку и почему иногда «забывает»

Ты рассказал ИИ-собеседнице про свою собаку, а через неделю она спрашивает, есть ли у тебя питомцы. Обидно? Немного. Но если понять, как устроена память языковой модели, становится ясно, почему так бывает и как этого избежать.

Разберём, что ИИ видит в каждый момент разговора, как сервисы помогают ему помнить больше и что можешь сделать ты.

Модель не помнит — она перечитывает

Главное, что нужно знать: языковая модель не хранит воспоминания так, как человек. Между сообщениями она ничего не помнит вообще. Каждый раз, когда ты отправляешь реплику, сервис собирает для модели пакет текста:

• описание персонажа — кто она, какой у неё характер;
• правила разговора;
• недавнюю часть переписки;
• твоё новое сообщение.

Модель читает всё это заново и пишет ответ. То, что попало в этот пакет, она «помнит». То, что не попало, для неё не существует.

Контекстное окно: почему всё не помещается

У каждой модели есть ограничение на объём текста, который она может прочитать за раз. Его называют контекстным окном. Оно бывает большим, но не бесконечным. Длинная переписка за несколько недель в него просто не влезет.

Поэтому сервису приходится выбирать, что показать модели. Самые свежие сообщения — почти всегда. А старые — по-разному в зависимости от того, как устроен конкретный сервис.

Как сервисы помогают ИИ помнить больше

Сводки старых разговоров

Распространённый подход — сворачивать старую часть переписки в короткие заметки. Не весь текст, а главное: как тебя зовут, чем ты занимаешься, что вы обсуждали, о чём договорились, какие у вас общие шутки. Эти заметки добавляются в пакет для модели, и она помнит суть, даже если сами сообщения давно ушли из окна.

Описание персонажа

Характер, история и манера речи персонажа передаются модели каждый раз. Поэтому персонаж не «забывает», кто он, даже в очень длинной переписке.

Важные факты отдельно

Некоторые сервисы выделяют особенно важные детали — например, то, что ты сам рассказал о себе, — и хранят их отдельно от общей сводки.

Почему ИИ всё-таки иногда забывает

• Деталь была мимоходом. Если ты упомянул собаку в одном сообщении между делом, в сводку она могла не попасть: модель, которая делает сводку, сочла её второстепенной.
• Прошло много времени. Чем дальше событие, тем сильнее оно сжато в сводке.
• Противоречия. Если в разговоре одна и та же деталь звучала по-разному, модель может выбрать не тот вариант.
• Переписку очистили. Если ты удалил историю чата, вместе с ней обычно удаляется и память о ней.
• Модель ошиблась. Языковые модели иногда «додумывают» факты. Это особенность технологии, и полностью её исключить нельзя.

Память и характер — не одно и то же

Важно различать два вида «знаний» персонажа. Характер — это то, кто она: имя, профессия, привычки, манера речи. Он задан создателями и передаётся модели каждый раз, поэтому никогда не теряется. Память — это то, что она знает о тебе и ваших разговорах. Она складывается из истории и сводок и может быть неполной.

Поэтому персонаж никогда не забудет, что она любит кофе и работает в кофейне, но может забыть, что ты рассказывал про поездку на море. Если что-то важное о тебе потерялось, просто напомни — это нормальная часть разговора.

Как помочь ИИ-собеседнице помнить главное

1. Говори о важном прямо. «Кстати, у меня есть пёс, его зовут Барон, он мой лучший друг» запомнится лучше, чем «гулял с собакой».
2. Возвращайся к важным темам. Чем чаще деталь звучит в разговоре, тем вероятнее она попадёт в сводку.
3. Мягко напоминай. Если персонаж забыл, просто скажи: «Ты что, забыла про Барона?» Хороший персонаж подхватит и извинится в своём стиле.
4. Не очищай переписку без нужды. История — это и есть память.

Почему у разных сервисов память разная

Если ты пробовал несколько сервисов с ИИ-собеседниками, то наверняка заметил: где-то персонаж помнит всё, а где-то забывает имя через полчаса. Разница складывается из нескольких решений:

• Какая модель используется. У разных моделей разный размер контекстного окна.
• Сколько истории передаётся. Сервис сам решает, какую часть переписки отдавать модели при каждом ответе. Больше истории — лучше память, но выше стоимость и медленнее ответ.
• Есть ли сводки. Без сводок модель помнит только последние сообщения. Со сводками — главное из всей переписки.
• Насколько хорошо сделаны сводки. Сводка — это тоже работа модели: она решает, что важно, а что нет.

Хорошая память — один из главных признаков качественного сервиса, потому что именно она создаёт ощущение, что с тобой разговаривает один и тот же собеседник, а не каждый раз новый.

Пример: как может выглядеть сводка

Представь, что за неделю ты много рассказал ИИ-собеседнице. Сама переписка — сотни сообщений, но сводка может уместиться в несколько строк:

Его зовут Андрей, 28 лет, работает инженером. Есть пёс Барон. Не любит понедельники и ранние подъёмы. На выходных собирался на рыбалку с братом. Общая шутка про «кофе как у взрослых». Обещала рассказать, почему боится высоты.

Когда ты пишешь новое сообщение, модель видит эту сводку вместе с последними репликами. Поэтому она может спросить «Как прошла рыбалка?» — хотя сам рассказ о рыбалке был давно и в окно уже не помещается.

Видно и слабое место: всё, что не попало в эти строчки, модель не «знает». Если ты упомянул любимую группу один раз и вскользь, она вполне может её не вспомнить.

Частые вопросы

Помнит ли ИИ разговоры в других чатах?

Обычно нет. У каждого персонажа своя история переписки и своя память. То, что ты рассказал одной модели, другая не знает.

Можно ли попросить ИИ что-то забыть?

Можно попросить в разговоре не возвращаться к теме, и хороший персонаж это учтёт. Но надёжный способ убрать информацию — очистить историю чата.

Почему ИИ уверенно «вспоминает» то, чего не было?

Языковые модели иногда достраивают недостающие детали. Если персонаж придумал факт о тебе, просто поправь его — в следующих ответах он будет опираться на исправленную версию.

Становится ли память лучше со временем?

Технологии быстро развиваются: окна контекста растут, а способы сворачивать старые разговоры становятся точнее. Но принцип остаётся тем же — модель помнит то, что ей передали.

Как это устроено в FirstOnly

В FirstOnly свежие сообщения модель видит целиком, а старые разговоры сворачиваются в краткие тезисы — о тебе, о ваших темах и договорённостях. Поэтому даже после паузы в несколько дней модель помнит главное и может продолжить разговор с того места, где вы остановились. Если очистить переписку, вместе с сообщениями стирается и эта память — разговор начнётся с чистого листа.

Память и приватность

Раз сервис хранит переписку и сводки, важно понимать, как он с ними обращается: кто имеет доступ, можно ли удалить историю, используется ли она для чего-то ещё. Об этом мы подробно написали в статье о приватности переписки с ИИ.

Коротко

• Модель не помнит между сообщениями — она каждый раз перечитывает то, что ей передал сервис.
• В контекстное окно помещается не всё, поэтому старые разговоры сворачиваются в сводки.
• Забывает ИИ чаще всего детали, упомянутые мимоходом.
• Говори о важном прямо и возвращайся к нему — так память работает лучше.

Если хочется больше о том, как сделать разговор с ИИ живым, читай статью про чат с ИИ-персонажем.