Статья вышла, а нейросеть её не заметила: как проверить, повлиял ли материал на ответы ИИ
Материал вышел, его прочитали, в комментариях поспорили. Через неделю кто-то спрашивает: а нейросети теперь про нас знают? И ответить нечем.
Просмотры посчитаны, ссылки собраны, а что изменилось в ответах ассистентов, не знает никто. Я давно отношусь к каждой публикации как к эксперименту: у неё есть зафиксированное состояние «до», проверяемое ожидание и дата, когда я прихожу смотреть результат. Без этих трёх вещей статья превращается в акт веры. Ниже порядок, по которому я это делаю, и места, где он обманывает. Привычная отчётность по контенту устроена вокруг самого факта выхода: вот текст, вот охваты, вот дочитывания. В поиске к этому добавлялись позиции. В ответах ассистентов нет ни позиций, ни стабильной выдачи: на один и тот же вопрос модель сегодня назовёт три компании, завтра четыре, причём частично другие. Из этого следует неприятное. Если я не записал, что ассистент отвечал до публикации, то после публикации мне не с чем сравнивать, и любая находка будет подогнана под желаемое. Увидел упоминание бренда значит сработало. Не увидел значит рано. Это не измерение, а гадание. Фиксация занимает меньше времени, чем сама статья, но делать её нужно именно до, а не задним числом. Я записываю пять вещей. Отдельно отмечу: прогон запроса один раз ничего не значит. Ответы ассистентов шумные, поэтому каждую формулировку я прогоняю несколькими заходами и смотрю на долю ответов с упоминанием, а не на единичный случай. Нормальная гипотеза для статьи выглядит скучно и звучит примерно так: материал закрывает конкретный пробел, по которому у ассистентов нет русскоязычного источника, поэтому через месяц он начнёт попадать в цитирования по трём-четырём запросам из списка. В такой формулировке приятно то, что её можно не подтвердить. Гипотеза, которую нельзя опровергнуть, не нужна: она всегда «сработала». Публикация без зафиксированного состояния «до» это не эксперимент, а надежда с бюджетом. Проверка идёт слоями, от технического к смысловому. Пропускать нижние слои нельзя: половина «статья не повлияла» объясняется тем, что страницу просто не увидели. Доступна ли она краулерам, не закрыта ли площадкой, попала ли в индекс поиска. Правила обхода у каждого игрока публичные: у OpenAI это описание их ботов, у Google список краулеров. Если площадка закрывает статью от обхода, дальше можно не идти. Появляется ли её адрес в ссылках под ответом. Это самый ранний видимый эффект, и быстрее всего он проявляется в ассистентах с живым веб-поиском. Важно, что цитирование материала и упоминание бренда это разные события: статью могут цитировать, не называя компанию, и наоборот. Здесь смотрю не только на наличие названия, но и на формулировки. Пропала ли ошибка, ради которой всё затевалось. Появился ли бренд в перечне вариантов или он упоминается вскользь. В каком качестве его называют: как подходящий вариант, как нишевый или как «тоже есть такие». Доля ответов с упоминанием по всему списку запросов, доля ответов, где источником стал свой домен, состав конкурентов рядом. Это единственный слой, по которому можно говорить что-то про эффект, а не про отдельный удачный прогон. Сроки зависят от того, как ассистент получает информацию, и разброс здесь большой. Практический вывод: первую проверку делаю через неделю, вторую через месяц, и только вторая что-то значит. Руками всё перечисленное делается ровно один раз: двадцать запросов на десять…
Источник: vc.ru — vc.ru/ai/3218814-kak-proverit-vliyanie-statii-na-neiroseti-i-otvety-ii
