В распоряжении TechCrunch оказались новые внутренние инструкции Google, вызывающие серьезные опасения относительно точности работы чат-бота Gemini. Согласно документам, компания изменила правила для контрактников, оценивающих ответы искусственного интеллекта.
До недавнего времени сотрудники компании GlobalLogic, работающие по контракту с Google, могли пропускать оценку ответов ИИ на вопросы, выходящие за рамки их профессиональной компетенции. Например, если специалист не имел медицинского образования, он мог отказаться от проверки ответов на узкоспециализированные вопросы по кардиологии.
Однако на прошлой неделе Google внес изменения в правила - теперь контрактники обязаны оценивать все ответы, независимо от своей квалификации. Вместо пропуска заданий им предписано "оценивать те части ответа, которые они понимают" и оставлять примечание об отсутствии экспертных знаний в данной области.
Это вызвало обеспокоенность среди сотрудников. "Разве смысл пропуска заданий не в том, чтобы повысить точность, передав оценку более компетентному специалисту?" - отметил один из контрактников во внутренней переписке.
Согласно новым правилам, пропустить задание можно только в двух случаях: при отсутствии полной информации о запросе/ответе или если контент требует специального разрешения на оценку из-за потенциально вредного содержания.
Эксперты опасаются, что новый подход может привести к снижению качества ответов Gemini, особенно по узкоспециализированным темам, таким как здравоохранение.
На момент публикации Google не ответил на запрос TechCrunch о комментариях.