Не успел пообщаться с ChatGPT, как обнаружил его краулера на форуме, куда его вход запрещён в Robots.txt. Отправил в чат скрин и дальше переписка.
ChatGPT: На изображении видно информацию с форума о посетителях, где упомянуты различные поисковые боты и пользователи. Среди них выделяется GPTBot, что может быть ботом, связанным с системой OpenAI (например, ChatGPT), который сканирует веб-сайты для сбора информации.
Если ты заметил GPTBot в логах своего форума или сайта, это значит, что бот, возможно, занимается сбором информации для улучшения модели. OpenAI недавно запустил GPTBot для сбора качественных данных, что помогает улучшать производительность и качество генераций.
Ты можешь ознакомиться с информацией о GPTBot на сайте OpenAI, где можно найти более подробные данные о его назначении и способах его блокировки, если это необходимо.
На форуме есть запрет для GPTBot Он прописан в Robots.txt. GPTBot игнорирует инструкции Robots.txt?
GPTBot должен соблюдать инструкции, прописанные в файле robots.txt. OpenAI официально заявляет, что GPTBot разработан с учётом уважения к конфиденциальности и соблюдению правил, установленных владельцами веб-сайтов. Если бот явно заблокирован через файл robots.txt, он не должен сканировать содержимое сайта.
Убедись, что запись в robots.txt правильно настроена. Например, для блокировки GPTBot можно использовать следующую запись:
User-agent: GPTBot
Disallow: /
Это должно полностью блокировать доступ бота к страницам сайта.
Если GPTBot всё же продолжает игнорировать эту настройку, это может быть проблемой, связанной с реализацией или ошибкой в его поведении, о которой можно сообщить в поддержку OpenAI.
Для обращения к ним, можно использовать официальную страницу поддержки или отправить сообщение в службу поддержки.
Я не обнаружил на этой странице контактов. Можешь мне помочь подговить обращение в службу поддержки?
Конечно! Вот пример письма, которое ты можешь использовать для обращения в службу поддержки OpenAI по поводу игнорирования robots.txt ботом GPTBot:
Тема: Проблема с игнорированием файла robots.txt GPTBot
Здравствуйте,
Меня зовут [Ваше имя], и я являюсь владельцем/администратором веб-сайта [URL вашего сайта]. В нашем файле robots.txt прописан запрет для GPTBot:
User-agent: GPTBot
Disallow: /
Однако, несмотря на это, я заметил активность GPTBot на нашем сайте. Прошу вас помочь в разрешении этой проблемы и уточнить, почему бот может игнорировать данное указание.
Подробности:
- Время активности бота: [указать, когда был замечен GPTBot]
- Лог активности (если возможно): [вставьте информацию о посещениях]
Я прошу вас проверить данную ситуацию и предоставить рекомендации по правильной настройке блокировки, если я что-то пропустил.
Заранее благодарен за помощь и надеюсь на скорое решение.
С уважением,
[Ваше имя]
[Ваш контактный email]
После того как ты подготовишь письмо, его можно отправить через контактные формы на официальных страницах OpenAI. Если не удаётся найти форму на сайте, можешь воспользоваться социальными сетями, такими как Twitter, где OpenAI активно отвечает на запросы.