В 1989 году я проходил практику во Владимирском доме быта. Учился на портного. Придумал способ пошива шуб, который позволял значительно ускорить работу, и вместо трёх за месяц сшил три десятка.
Результатом заинтересовались. Дошло до ОБХСС, проверок и контрольных замеров. Всё закончилось красным дипломом и пятым разрядом. Нервов, правда, потратили достаточно.
Вспомнил эту историю, когда прочёл, что при проверке литературного текста нужно искать «слишком много правильных фраз».
После победы «Маяков Сахалина» в номинации «Выбор читателей» премии «Ясная Поляна» я узнал о своей книге много нового. Короткие предложения оказались подозрительными, происхождение рукописи сомнительным, а некоторых читателей заочно произвели в боты. Об этом я написал эссе «Пишут как люди» и собирался опубликовать его перед выпуском программы «Наблюдатель» на канале «Культура», в котором мы обсуждаем ИИ в литературе. Но начать решил с этой заметки. Эссе пока придержу, возможно, после откликов будет что добавить.
Литературный редактор Анна Гутиева опубликовала гайд о признаках нейросетевого текста: https://redakrik.ru/ai_text. В сопровождающем посте она упомянула спор о том, написал ли победитель «Ясной Поляны» свою книгу сам, и предложила читателям потренироваться в распознавании. Закончила пояснением: «трава, да, зелёная».
С определением цвета травы я спорить не собирался. Открыл инструкцию.
«Ищем слишком много правильных фраз, выбранных слишком предсказуемым, регулярным и обезличенным способом».
В гайде оговорено, что отдельной фразы недостаточно, важна совокупность признаков. При редактуре повторяемость действительно полезно замечать. Я и сам иногда обнаруживаю, что несколько страниц подряд заканчиваю мысль одинаково. Бывает, это видит редактор или первочитатель. Дальше разбираемся, зачем понадобилось повторение, что оно даёт и можно ли без него обойтись. Работа вполне обычная. Как из такого наблюдения установить происхождение рукописи, в инструкции убедительно не объяснено.
Зато в разделе о человеческом письме перечислены неровность, неловкость, не вполне логичные решения. Автор может одну сцену написать великолепно, следующую кое-как, найти точную деталь, а через страницу выдать банальность. Это объясняется индивидуальностью внимания. Я понимаю претензию к безликости: бывает проза, в которой всё грамотно, всё на месте, а читать незачем. Люди довольно давно научились писать скучно без посторонней помощи. Теперь, получается, неудачную сцену полезно придержать для проверяющего.
В разделе об отсутствии развития мысли приведён пример:
«Он ей доверял. Не полностью. Не безоговорочно. Но достаточно, чтобы перестать задавать вопросы».
По-моему, здесь кое-что произошло. Мы узнали о доверии, о его пределах и о том, как оно повлияло на поведение. Конструкцию можно счесть затёртой, но все четыре предложения не сообщают одно и то же.
Рядом стоит фраза: «Он боялся не смерти. Он боялся того, что смерть оставит после него». Здесь различены сама смерть и её последствия. Что человек боится оставить, мы пока не знаем. Может быть, семью без помощи или дело, которое больше некому закончить. Если дальше автор об этом расскажет, фраза получит продолжение. Если ограничится красивым намёком, разочарует нас. Придётся читать дальше.
Подчёркивания конструкции «не это, а то» недостаточно.
Есть в чек-листе и вопрос: «Видна ли индивидуальная речевая система автора?» Большинство положительных ответов предлагается считать основанием для заключения о нейросетевых признаках. Так индивидуальная речевая система попадает в число обстоятельств против человека. Возможно, пропущено отрицание. Обычная ошибка, которую стоит исправить. Человеческое происхождение ошибки я, впрочем, устанавливать не берусь.
Дальше предлагается после каждого предложения спрашивать, что нового мы узнали. Если многие фразы только уточняют, усиливают или перефразируют уже известное, делается вывод о конструкции без содержания. Но я читаю литературу в том числе ради уточнения. Ради того, как человек подходит к мысли, отступает, пробует ещё раз. Иногда он уже всё сказал, а признать сказанное пока не может. Повтор тогда сообщает о нём больше, чем ещё одно событие. Возвращение к слову меняет его вес, а фраза, в которой нет нового факта, заставляет иначе прочесть предыдущую.
Можно пересказать страницу двумя предложениями, сохранив имена, поступки и последовательность событий. Из описания дороги сделать маршрут. Из разговора выписать, кто кому отказал. Только потом трудно объяснить, зачем для этого вообще понадобился писатель.
У меня врождённая дислексия. Литературная редактура всегда была необходимой частью подготовки моих книг. Первые две (2013–2015) написаны в соавторстве с Андреем Полонским. Позднее я работал с литературными редакторами. На заключительном этапе у меня всегда есть два первочитателя, мужчина и женщина. Они по-разному воспринимают текст: где одному всё понятно, другому требуется объяснение. Иногда оказывается, что объяснил я как раз слишком много.
У «Маяков Сахалина» было три последовательных этапа литературной редактуры. С первой завершённой версией в апреле работал мой прежний редактор. Затем рукопись получила Нина Горская. Под её руководством до сентября роман прошёл три редакции. После этого были редакция издательства и два первочитателя.
Оставались версии, замечания, переписка. Читатель не обязан интересоваться всеми нашими обсуждениями. Но если речь заходит о происхождении рукописи, документы этой работы имеют к нему прямое отношение. Особенно когда гладкость предъявляют как улику: люди несколько месяцев работали над текстом, а теперь выясняется, что следовало оставить побольше следов неумения.
За то, что в итоге напечатано, отвечаю я. Количество редакторов не гарантирует хорошей книги, но и вычеркнуть их работу из её истории невозможно.
Мои книги выходили задолго до массового появления нынешних генеративных сервисов. Старые издания можно открыть и посмотреть, какие обороты я использовал, от чего отказался, что осталось. Это не удостоверяет происхождение каждой новой страницы, зато позволяет изучить авторскую манеру. У повторяющегося приёма может быть история длиннее, чем история сервиса, которому поручили его проверить. Для конкретной рукописи есть черновики и датированные редакции. Странно отмахиваться от них ради нескольких знакомых конструкций.
Кабаков, Степнова, Отрошенко и другие мои преподаватели учили меня разному. Но все говорили о поиске своего языка, на котором автору удобно разговаривать с читателем. Даже если читателю этот язык не всегда по душе. По рукописи бывает видно, чему и у кого человек учился. На неё влияют и книги, которые он читал, и требования выбранного жанра.
С 2023 года я сам проверяю свои тексты на ИИ-паттерны.
Это один из проверочных слоёв до литературной редактуры. Мне полезно увидеть конструкции, к которым я привык и которых уже не замечаю. Иногда замечание помогает, иногда предлагается избавиться от фразы, ради которой написан весь абзац. Приходится перечитывать и решать. Короткое предложение я могу оставить коротким, случайный повтор убрать. Так проверка участвует в редактуре. Свидетелем написания книги она от этого не становится.
Уверенность в распознавании тоже имеет смысл проверять. В исследовании Liang и соавторов, опубликованном в журнале Patterns в 2023 году, семь детекторов тестировали, в частности, на 91 сочинении TOEFL, написанном людьми. Средняя доля ложных срабатываний на этой выборке составила 61,3 процента. Речь шла об английском языке и авторах, для которых он не родной. Переносить эту цифру на русский роман или любой нынешний сервис нельзя. Но человеческий текст был объявлен машинным, и таких ошибок в исследовании оказалось немало.
В исследовании RAID, представленном на ACL в 2024 году, тестирование двенадцати детекторов показало зависимость результатов от условий генерации, незнакомых моделей и преобразований текста.
Эти работы посвящены программным детекторам и не проверяли гайд Анны Гутиевой. Надёжность ручного метода придётся устанавливать отдельно: дать нескольким редакторам тексты известного происхождения, не сообщая им, какие написал человек, а какие сгенерировала модель, затем сравнить заключения. Посмотреть, сколько человеческих рукописей попало под подозрение, в том числе написанных до появления нынешних моделей. В опубликованном гайде такой проверки я не нашёл.
В самом гайде встречаются противопоставления, повторяющиеся конструкции, одинаково устроенные блоки. Для инструкции это удобно: нужно перечислять, объяснять, возвращаться к правилу. По этим особенностям я не берусь судить, как работала её автор.
При чтении романа тоже хотелось бы сначала разобраться, что делает автор. Навязчивую мысль можно передать повтором; ровная речь бывает естественной для человека, привыкшего контролировать себя. Рассказчик вправе объяснять происходящее, если так устроено повествование. Удалять объяснение только потому, что оно объяснение, довольно расточительно. Как и изымать из русского языка приёмы, которыми научились пользоваться модели. Сокращать тогда придётся сам язык.
Представляю эту работу. Автор убирает триады, удлиняет короткие предложения, нарушает равновесие абзацев. Следит, чтобы мысль не выглядела слишком завершённой. Подбирает подходящие неловкости. Через некоторое время у всех одинаково разнообразные предложения и тщательно распределённые несовершенства. Тексты похожи друг на друга старанием не походить на машинные.
Собственную манеру в такой работе легко потерять. Особенно если с каждым новым списком подозрительных признаков приходится заново переделывать уже написанное.
У писателя с прежними книгами хотя бы есть что предъявить. У дебютанта могут быть только рукопись и желание её опубликовать. Отсутствие литературной биографии не делает подозрение более обоснованным. Иначе хорошо написанная первая книга сама становится поводом для недоверия.
Критик вправе сказать, что мой ритм ему мешает. Редактор может показать, где я пережал фразу или объяснил уже понятное. Я готов обсуждать это и переписывать. Но переделывать книгу ради предположения, что кто-нибудь сочтёт её машинной, значит постоянно писать с оглядкой на проверяющего. Выбор стилистики я оставляю за собой, даже понимая, какие толкования она может вызвать. Чужое подозрение само по себе ещё не причина менять фразу, которую считаешь нужной.
Думаю, хайп и хейт на этой теме только начинаются. Всё же хотелось бы, чтобы из обсуждения постепенно выросла договорённость о том, что мы сегодня называем авторской работой. Придётся различать помощь при редактуре и поручение машине написать книгу, обсуждать, что автор сообщает читателю об использованных инструментах. И договариваться о том, чем следует подтверждать обвинение в том, что человек свою книгу не написал.
К этому разговору мы обращаемся и в «Наблюдателе». Эфир намечен на 26 октября, в 10:00, на канале «Культура». Среди участников Владислав Отрошенко, арт-куратор проекта «Мёртвые души. Второй том. Возрождение», в котором текст создавался с участием нейросети ГигаЧат.
В 1989 году проверяющие могли сделать контрольные замеры. У рукописи тоже есть история создания, и при необходимости её можно изучить. Если же разговор идёт о качестве текста, я готов обсуждать каждое решение. В том числе спорное, неудачное или слишком правильное.
Добавлять ошибку для удостоверения личности пока не планирую.