Как ChatGPT выбирает источники: исследование механизмов поиска на основе 27 000 страниц

Когда ChatGPT отвечает на вопросы с использованием веб-поиска, модель не всегда открывает страницы сайтов и не изучает их полностью. В большинстве случаев она получает короткое представление страницы, сформированное поисковой системой, и использует его для подготовки ответа.

Исследование было направлено на изучение того, какие данные получает ChatGPT во время поиска, какие страницы становятся источниками ответа и какие материалы модель открывает полностью. Авторы исследования проанализировали 27 000 страниц и 58 000 URL-адресов, полученных в процессе работы ChatGPT. Из всех найденных ссылок 7 600 были добавлены в список источников ответа, 5 000 получили цитирование внутри текста, а 760 страниц были открыты моделью для чтения содержимого.

Полученные данные показывают, что между обнаружением страницы поисковой системой и её появлением в ответе нейросети существует несколько этапов отбора. Большая часть найденных URL не используется напрямую: модель получает ограниченный набор данных и только часть источников проходит дальше по цепочке.

Как ChatGPT получает страницы для ответа

При работе с веб-поиском ChatGPT сначала получает результаты от поискового механизма. На этом этапе модель получает URL страницы, её заголовок и короткий текстовый фрагмент. Полный текст страницы в большинстве случаев не загружается.

Основным представлением сайта для модели становится короткий поисковый фрагмент. Обычно ChatGPT работает с информацией, которая занимает около двухсот символов и содержит часть текста страницы, сформированную поисковой системой.

Полное открытие страницы происходит только в отдельных случаях, когда доступной информации недостаточно для формирования ответа или требуется проверить конкретные данные.

В результате путь страницы до итогового ответа выглядит следующим образом: сначала URL попадает в результаты поиска, затем часть найденных страниц становится доступной модели, после этого отдельные источники выбираются для цитирования.

Из 58 000 полученных URL только 760 страниц были открыты полностью. Это около 1,3% всех найденных ссылок. Большинство страниц LLM использовал без прямого чтения содержимого.

Различия между бесплатным Think и платным режимом

Одной из задач исследования было определить, одинаково ли работают разные режимы нейросети при поиске информации.

Авторы сравнили бесплатный и платный режимы рассуждения. Для этого они анализировали количество полученных URL и источники, из которых эти ссылки поступали.

В бесплатном режиме Think ChatGPT получал в среднем 35,3 URL за один диалог. Платный режим рассуждения при среднем уровне усилий получал 35,1 URL.

Хотя количество найденных страниц было практически одинаковым, источники различались.

Бесплатный Think в основном использовал собственный индекс OpenAI Labrador. На него приходилось 74,7% полученных URL. Google использовался только для 3,1% результатов, ещё 22,2% приходилось на Oxylabs.

Платный режим рассуждения работал иначе. В нём около 75,3% URL поступало из Google, а доля индекса OpenAI составляла 24,7%.

Таким образом, одинаковый пользовательский запрос может обрабатываться через разные источники в зависимости от выбранного режима ChatGPT. Бесплатный Think в большей степени зависит от внутреннего индекса OpenAI, тогда как платное рассуждение в большей степени использует результаты Google.

Проверка влияния режима Think на количество источников

Следующим тестом стало сравнение количества источников, которые получает один и тот же бесплатный аккаунт в разных режимах работы. Авторы использовали одинаковые запросы и сравнили ответы в режиме Instant и после включения Think.

В режиме Instant ChatGPT получал в среднем 15,1 URL за диалог. Количество уникальных доменов составляло 9,8. После включения Think количество источников увеличилось. Модель получала в среднем 35,3 URL за диалог, а число уникальных доменов выросло до 16,3. Таким образом, переключение в режим Think увеличило объём получаемых поисковых данных более чем в два раза.

Проверка изменения поискового поведения платного режима рассуждения

Авторы исследования также сравнили работу платного режима рассуждения в разные периоды.

При среднем уровне усилий в июле ChatGPT использовал в среднем 3,56 поисковых ветки за один диалог. В августе этот показатель снизился до 1,90. Одновременно уменьшилось количество получаемых URL. В июле модель получала около 47,2 URL за диалог, а в августе — 33,9 URL.

Количество уникальных доменов также сократилось: с 21,9 в июле до 15,5 в августе. При высоком уровне усилий изменения были ещё заметнее. В июле модель получала около 67 URL за диалог, а в августе — 40,5 URL. Количество уникальных доменов уменьшилось с 29,5 до 14,7.

По результатам теста можно сделать вывод, что при одинаковом режиме работы поисковый объём ChatGPT в августе стал ниже примерно в два раза по сравнению с июльскими показателями.

Анализ вариантов GPT-5.6: Luna, Sol и Terra

В исследовании отдельно проверялись разные варианты GPT-5.6.

Авторы анализировали три обозначения моделей:

• Luna;
• Sol;
• Terra.

OpenAI указывала, что Sol используется в платных функциях, Luna применяется в бесплатных функциях, а режим Think связан с более длительным процессом рассуждения Luna.

При этом исследование отмечает, что технически подтвердить соответствие моделей напрямую невозможно. В полученных данных использовался идентификатор gpt-5-6-t-mini, однако названия Luna, Sol и Terra в технических данных отсутствовали.

Чтобы сравнить поведение моделей, авторы отправили одинаковые 62 запроса четырём вариантам:

• GPT-5.5;
• Luna;
• Sol;
• Terra.

GPT-5.5 получил в среднем 52,1 уникального URL. Luna получила 33,2 URL, Sol — 42,7 URL, Terra — 31,5 URL.

Количество ответов с несколькими поисковыми раундами также различалось. Для GPT-5.5 показатель составил 71,2%, для Luna — 61,5%, для Sol — 69,8%, для Terra — 50,9%.

Использование оператора site: в поисковых запросах распределилось следующим образом: GPT-5.5 применял его в 23,9% случаев, Luna — в 43,8%, Sol — в 50%, Terra — в 41,2%.

Количество открытых страниц за один ответ также отличалось. GPT-5.5 открывал в среднем 1,52 страницы, Luna — 0,26, Sol — 0,58, Terra — 0,35.

Результаты показали, что разные варианты GPT-5.6 используют разные поисковые стратегии. Sol по объёму поиска оказался ближе к GPT-5.5, тогда как Luna и Terra получали меньше источников.

Использование оператора site: в поисковых запросах ChatGPT

В рамках исследования отдельно проверялось, насколько часто ChatGPT использует оператор site: при поиске информации. Этот оператор позволяет ограничить результаты поиска определённым доменом, поэтому его применение показывает, насколько часто модель пытается получить данные с конкретных сайтов.

Авторы сравнили использование site: в разных режимах работы ChatGPT.

В бесплатном режиме Instant оператор использовался в 3,5% поисковых запросов. После включения режима Think показатель увеличивался до 10,8%.

В платном режиме рассуждения оператор применялся значительно чаще. При среднем уровне усилий доля запросов с site: составляла 41,9%, а при высоком уровне усилий — 58,1%.

Дополнительно исследователи сравнили изменения внутри режима рассуждения. В конце июля оператор site: использовался примерно в 40,8% поисковых запросов при высоком уровне усилий. К середине августа этот показатель вырос до 58,1%.

Выходит, что ChatGPT использует разные поисковые стратегии. Режимы с более глубоким рассуждением чаще ограничивают поиск конкретными доменами, когда это требуется для ответа.

Как часто ChatGPT открывает найденные страницы

После получения результатов поиска ChatGPT должен определить, достаточно ли информации из поискового фрагмента или требуется открыть страницу полностью.

Исследование показало, что открытие страниц происходит редко. Из 58 000 URL, которые были получены в ходе тестирования, модель открыла только 760 страниц. Это составляет около 1,3% всех найденных ссылок.

В большинстве случаев ChatGPT формирует ответ на основе информации, которая уже присутствует в результатах поиска. К этой информации относятся:

• заголовок страницы;
• URL-адрес;
• короткое описание или фрагмент текста.

Полное содержимое страницы модель получает только в отдельных ситуациях.

Авторы исследования выделили несколько случаев, когда открытие страницы становится необходимым:

• когда поискового фрагмента недостаточно для ответа;
• когда требуется проверить конкретный факт;
• когда пользовательский запрос требует дополнительного изучения информации.

Например, если поисковый результат содержит только название компании и общий текст, модель может открыть страницу, чтобы найти конкретные характеристики товара или услуги.

Почему поисковый сниппет становится главным источником информации для ChatGPT

Исследование показывает, что для большинства страниц модель получает только короткое текстовое представление, сформированное поисковой системой. Это означает, что содержание сниппета влияет на то, сможет ли ChatGPT понять назначение страницы и использовать её в ответе.

Авторы приводят пример: если страница посвящена промышленному оборудованию, но поисковый фрагмент содержит только название компании и общую информацию, модель получает мало данных о содержании сайта.

Если же сниппет содержит конкретные сведения о странице, например:

• тип оборудования;
• область применения;
• характеристики;
• особенности продукта,

то ChatGPT получает больше информации для выбора этого источника.

Источник в результатах поиска и источник в ответе ChatGPT — разные этапы

Попадание страницы в результаты поиска не означает, что она обязательно станет частью итогового ответа.

Сначала поисковая система возвращает URL. Затем ChatGPT выбирает часть найденных страниц для использования. После этого отдельные источники могут быть показаны пользователю в качестве ссылок или цитат.

Из общего количества найденных ссылок:

• 58 000 URL были получены поиском;
• 7 600 URL были добавлены в список источников ответа;
• 5 000 URL получили цитирование;
• 760 страниц были открыты полностью.

Это показывает, что большая часть найденных страниц не используется в финальном ответе.

Страница может попасть в поисковую выдачу, но не пройти следующие этапы отбора.

Индекс OpenAI и Google формируют разные наборы страниц

Одним из ключевых выводов исследования стало то, что индекс OpenAI и Google не содержат одинаковый набор страниц.

Авторы сравнили результаты двух поисковых источников и обнаружили три группы URL:

• страницы, которые присутствуют одновременно в обоих индексах;
• страницы, доступные только через индекс OpenAI;
• страницы, доступные только через Google.

Это означает, что видимость сайта в Google и видимость в ChatGPT зависят от разных механизмов. Сайт может иметь хорошее присутствие в Google, но отсутствовать в источниках, которые использует конкретный режим ChatGPT. Особенно это относится к бесплатному режиму Think, который в исследовании в основном использовал собственный индекс OpenAI.

Как сайт попадает в ответ ChatGPT

Появление сайта в ответе ChatGPT зависит от нескольких последовательных этапов. Сначала страница должна присутствовать в поисковом индексе, который использует конкретный режим ChatGPT. Если URL отсутствует в этом индексе, модель не сможет использовать его при формировании ответа.

После этого страница должна соответствовать запросу пользователя. Поисковая система должна определить, что содержание страницы связано с нужной темой.

Следующий этап связан с представлением страницы. Модель получает поисковый фрагмент, поэтому важную роль играет информация, которая отображается в сниппете.

После получения результатов ChatGPT выбирает только часть источников для подготовки ответа. Большинство найденных страниц остаётся за пределами итогового ответа.

Таким образом, путь сайта выглядит следующим образом:

Отличия оптимизации под ChatGPT от традиционного SEO

Работа с видимостью в ChatGPT отличается от классического продвижения в поисковых системах.

При традиционном SEO основное внимание уделяется позициям страницы в выдаче и переходам пользователей.

При работе с ChatGPT важными становятся дополнительные факторы:

• присутствие страницы в индексе, который использует модель;
• содержание поискового фрагмента;
• наличие конкретных фактов на странице;
• структура информации;
• понятное описание объектов, характеристик и связей между ними.

Причина заключается в том, что ChatGPT чаще работает с коротким представлением страницы, а не с её полным содержимым.

Если поисковый фрагмент не передаёт основную информацию страницы, модель получает меньше данных для выбора этого источника.

Основные выводы исследования

ChatGPT использует многоступенчатую систему работы с веб-источниками. Модель сначала получает результаты поиска, затем анализирует доступные данные и выбирает источники для ответа. Полное открытие страниц происходит редко, поэтому значительная часть информации поступает через поисковые фрагменты.

Основные результаты исследования:

• бесплатный режим Think преимущественно использует индекс OpenAI, а платный режим рассуждения чаще обращается к Google;
• включение Think увеличивает количество получаемых источников в бесплатной версии более чем в два раза;
• в августе платный режим рассуждения использовал меньше поисковых данных, чем в июле;
• разные варианты GPT-5.6 отличаются по объёму поиска и количеству используемых источников;
• ChatGPT открывает только небольшую часть найденных страниц;
• поисковый сниппет становится основным представлением сайта для модели;
• попадание сайта в Google не гарантирует появление в ответах всех режимов ChatGPT;
• для видимости в ChatGPT важны не только позиции сайта, но и то, какую информацию поисковая система показывает о странице.

Исследование показывает, что между созданием страницы и её появлением в ответе ChatGPT существует несколько этапов обработки данных. На каждом этапе часть источников отсеивается, поэтому итоговая видимость сайта зависит от работы всей цепочки — от индексации до формирования поискового представления страницы.

Источник: Исследование от RESONEO “What ChatGPT pulls, what it shows, what it cites”