ИИ врёт или нет?

Всем привет!

Я заметила, что многим интересно, когда я даю какую-то информацию про ИИ. Мне прилетают вопросы в л/с.

Сегодня я простым языком расскажу тему, которая точно пригодится, если вы пользуетесь языковыми моделями.

Пример: моя мама обратилась к ИИ с просьбой пересказать следующую серию сериала. ИИ подробно и красиво рассказал. Мама пересказала серию своим соседкам, а когда на следующий день посмотрели по телевизору, то оказалось всё совсем иначе.

ИИ не врёт, а такое явление называется галлюцинацией. Несмотря на то, какая большая и брендовая модель, % галлюцинаций всё равно есть у всех ИИ.
Это происходит, потому что ИИ не помнят информацию так, как мы с вами помним и не имеют доступа к данным в реальном времени (хотя некоторые модели уже могут искать информацию в интернете в процессе подготовки ответа), тем не менее, ИИ ориентируется на вероятности – это называется весовые коэффициенты.
Например, вероятность того, что после «Привет» будет «Как дела?» = 0,9 – это весовой коэффициент.

То есть, ИИ сам не понимает, что правда, а что вероятность. Для ИИ правдой является то, вероятность чего высока.
ИИ предсказывает следующее слово по наибольшей вероятности подобных комбинаций в его тренировочных данных.
Все разработчики очень стараются снизить % галлюцинаций у моделей, но полностью устранить это явление пока не удалось.

Поэтому, друзья, не стоит всецело доверять ответу ИИ, а лучше его перепроверить.

Желаю всем вдохновения!