Написать статью нейросетью для сайта компании можно, но одной вычитки для неё мало. Американский сайт о технологиях CNET с ноября 2022 года выпускал финансовые справки, черновики которых писал внутренний ИИ-инструмент. До паузы в январе 2023 года таких статей вышло 77, и, по подсчёту The Verge и Engadget, поправки понадобились в 41 из них. При этом каждую статью перед публикацией, по словам CNET, проверял, сверял факты и правил редактор, знающий тему.
Случай CNET показывает, где искать ошибки. Они нашлись в расчётах, фактах и фразах, взятых у других изданий, и звучали так же уверенно, как верный текст. Поэтому их ищут отдельной проверкой.
Какие ошибки прошли через редактора
Издание Futurism разобрало справку CNET о сложных процентах. Там было написано, что, положив 10 000 долларов под 3% годовых, за первый год вы заработаете 10 300 долларов. На деле заработок - 300 долларов, а 10 300 - весь остаток вместе со вложенными деньгами. Ещё справка утверждала, что по годовому срочному вкладу проценты начисляются один раз, в конце срока, хотя бывают годовые вклады с ежедневным и ежемесячным начислением. Когда Futurism обратился в редакцию, CNET исправил статью и проверил все статьи, написанные с инструментом.
Через несколько дней Futurism нашёл в этих статьях чужие фразы - например, отрывок о плате за овердрафт повторял статью другого финансового издания с заменой нескольких слов синонимами. CNET заменил такие фразы в нескольких статьях. По словам главного редактора CNET, программу проверки на заимствования в этих случаях либо редактор не использовал как следует, либо она не поймала предложения, близкие к оригиналу.
Среди мелких поправок CNET назвал неполные названия компаний, переставленные цифры и расплывчатые формулировки.
Порядок проверки до публикации
- Пересчитайте каждое число вне текста, в калькуляторе или таблице. Ошибку CNET с процентами видно после одного умножения.
- Для каждой цифры, правила и цитаты найдите источник и откройте его, а названия и цифры сверьте с ним знак в знак. Искать будет проще, если заранее дать нейросети открытые материалы по теме и попросить подкрепить ссылкой каждую цифру и цитату - такие ссылки CNET после аудита пообещал проставлять автоматически. Утверждение без источника уберите или отдайте специалисту. Ссылки на нормы и судебную практику нейросеть может придумать целиком, поэтому их проверяют особенно внимательно.
- Прогоните текст через программу проверки на заимствования, прочитайте отмеченные места и сравните текст с первыми страницами выдачи по тому же запросу - пересказ с заменой пары слов программа может не поймать.
Кому поручить проверку
У CNET статью и правил, и проверял один редактор. Но вычитка отвечает на вопрос, хорошо ли написано, а проверка - верно ли, и в один проход их лучше не смешивать. Все три шага по такому списку выполнит любой внимательный сотрудник. Факты о продукте и отрасли, которых нет в открытых источниках, подтверждает специалист компании. Результат каждого шага стоит записывать - что сверено и с чем, - чтобы проверку нельзя было тихо пропустить. Детектор ИИ её не заменит, потому что оценивает, похож ли текст на написанный нейросетью, а суммы и источники не проверяет.
Когда статей много, проверку надёжнее сделать этапом, без которого статья не выходит. В выпуске статей, который настраивает Kvema, публикацию без приёмки блокируют, а утверждение без подтверждения возвращают на доработку. Ошибок это не исключает, поэтому до регулярного выпуска заказчик оценивает пробные статьи.
Как нейросети пишут и проверяют статьи этого журнала, расскажет вторая часть серии «Журнал на нейросетях своими руками». Первая - о том, откуда берутся темы и какие отсеиваются.
Источники
- CNET: главный редактор о работе с ИИ, 16.01.2023, и об итогах проверки, 25.01.2023
- Futurism: об ошибках в справке о процентах, 17.01.2023, и о чужих фразах, 23.01.2023
- The Verge о 41 статье с поправками, 25.01.2023
- Engadget о поправках, 25.01.2023
