В последнее время пользователи ChatGPT обнаружили интересную особенность - некоторые имена вызывают сбой в работе чат-бота и приводят к преждевременному завершению диалога. Среди таких имен - Брайан Худ, Джонатан Терли, Джонатан Зитрейн, Дэвид Фабер и Гвидо Скорца.
При упоминании этих имен ChatGPT отвечает сообщением об ошибке и прекращает беседу. Причина такого поведения кроется в жестко закодированных фильтрах, которые OpenAI встроила в систему.
Появление этих фильтров связано с судебными исками и жалобами. Например, австралийский мэр Брайан Худ угрожал подать в суд на OpenAI после того, как ChatGPT ложно утверждал, что он был заключен в тюрьму за взяточничество. В действительности Худ был информатором, разоблачившим корпоративные нарушения.
Профессор юридической школы Университета Джорджа Вашингтона Джонатан Терли столкнулся с тем, что ChatGPT выдумал несуществующий скандал с сексуальными домогательствами, даже сославшись на никогда не существовавшую статью Washington Post.
Использование таких жестких фильтров создает проблемы. Во-первых, это открывает возможности для злонамеренных атак - злоумышленники могут намеренно использовать запрещенные имена для срыва работы ChatGPT. Во-вторых, это создает неудобства для однофамильцев заблокированных персон, которые не могут полноценно использовать сервис.
OpenAI пока не комментирует ситуацию с блокировкой конкретных имен. Однако очевидно, что компании предстоит найти более гибкое решение этой проблемы, поскольку текущий подход с жесткими фильтрами имеет серьезные недостатки.