Верховный суд штата Нью-Мексико наказал адвоката Стивена Аронса после того, как в апелляционные материалы по делу об убийстве попали показания несуществующих свидетелей, созданные ChatGPT. Юрист использовал нейросеть для обработки материалов процесса, но не проверил подготовленный ею текст перед подачей документа в суд.
Аронс представлял интересы Оскара Рене Сандовала, которого в 2025 году приговорили к пожизненному заключению. При подготовке апелляции адвокат загрузил в ChatGPT компьютерную расшифровку судебных заседаний и другие материалы дела, рассчитывая получить краткое и точное изложение собранной информации.
Однако в сформированном нейросетью тексте появились сведения, которых в исходных материалах не существовало. Среди них оказались показания полностью выдуманных свидетелей и несуществующее описание предполагаемого стрелка, якобы одетого в темные брюки и белую рубашку. Эти данные затем попали в официальный документ, направленный в суд.
Суд признал Аронса виновным в неуважении к суду за отсутствие надлежащей проверки поданных материалов. Юриста оштрафовали на $5000, запретили ему выступать перед Верховным судом Нью-Мексико, а информацию о произошедшем передали в дисциплинарную коллегию для отдельного рассмотрения.
Судьи также раскритиковали поведение адвоката после обнаружения ошибки. В решении отмечалось, что он не продемонстрировал достаточного раскаяния и должной заботы об интересах своего клиента. В результате первоначальная работа над апелляцией фактически была признана непригодной для дальнейшего рассмотрения.
2 сентября дело передали государственному защитнику Ким Чавес Кук. Теперь апелляционное производство должно начаться заново уже с другим представителем, которому предстоит повторно изучить материалы и подготовить документы без использования недостоверных сведений.
Сам Аронс объяснил произошедшее тем, что недостаточно хорошо представлял себе способность генеративного ИИ придумывать факты. По его словам, он ожидал получить от ChatGPT точное резюме загруженных судебных материалов и не предполагал, что система может добавить в него сведения, которых в документах никогда не было.
Юрист назвал произошедшее честной ошибкой и заявил, что этот случай должен стать предупреждением для других специалистов, использующих генеративный ИИ. Однако судья Шеннон Бэкон усомнилась в том, что профессиональный адвокат мог не знать о риске так называемых галлюцинаций нейросетей, поскольку подобные случаи с юристами уже неоднократно становились публичными.
История вновь показывает один из главных рисков использования генеративных моделей в юридической сфере. ChatGPT и другие нейросети способны быстро обрабатывать большие объемы текста и помогать с подготовкой черновиков, однако они могут уверенно добавлять в ответы несуществующие факты, имена, цитаты или обстоятельства. Поэтому использование ИИ не освобождает специалиста от необходимости самостоятельно проверять каждое утверждение перед подачей официального документа.