Author |
Message |
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
24 марта вот такой вот обанатевам случился P.S. Похоже это реферерры на / с Urlumbrella - вот тут пишут, что это "ghost traffic", который бъёт прямо в статистику гугла даже не заходя на твой сайт: https://www.reddit.com/r/GoogleAnalytics/comments/18606ht/urlumbrellacom_help_to_stop_this_traffic_showing/
|
27 Mar 2024 22:09 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
|
03 Apr 2024 09:29 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Зато теперь стало можно смотреть на ключевые слова гугла через Google Search Console:
|
13 Apr 2024 21:55 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Apr 2024: 209GB Чото набег опять какой-то призошёл с 24 по 30 апреля P.S. Это был какой-то ClaudeBot от https://www.anthropic.com/, который обычно 10 тысяч раз в день заходит или чуть больше, а в эти дни он занял 2/3 траффика...
|
04 May 2024 00:34 |
|
|
imsushka
Maniac
Joined: 01 Jan 2022 04:34 Posts: 201 Location: USSR, Tashkent
|
весь твой трафик кушают боты подсчета трафика
|
04 May 2024 02:51 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Claude это какой-то AI - см. http://claude.ai
|
04 May 2024 09:46 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Набег Клавдий отразился на первой странице нашего форума
|
09 May 2024 12:17 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
May 2024: 101GB Меньше, чем в апреле, но всё равно в 2 раза больше, чем обычно...
|
03 Jun 2024 20:53 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Добавил распознавание ещё нескольких ботов: Amazon [Bot], ByteDance [Bot], Claude AI [Bot] и GPT [Bot]
|
06 Jun 2024 01:44 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Jun 2024: 101GB - опять?
|
01 Jul 2024 23:53 |
|
|
aviator
Maniac
Joined: 10 Dec 2008 08:39 Posts: 212 Location: Стокгольм, Швеция
|
Я давече анализировал "кто стучится в дверь ко мне". А точнее, кто, зачем и как сканирует интерфейсы "моего" vCloud. Получилось, что 1-2% трафика это полезный трафик, связанный с функционированием системы и работой внешних API. А остальное - боты и роботы различных моделей и назначения.
_________________ С уважением, Сергей.
|
02 Jul 2024 06:51 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Щас AI боты достают в основном - причём они игнорируют robots.txt и сканируют всё подряд по многу раз...
|
02 Jul 2024 09:08 |
|
|
aviator
Maniac
Joined: 10 Dec 2008 08:39 Posts: 212 Location: Стокгольм, Швеция
|
Дык говнокодинг давно уже норма жизни, а уж в области AI там настоящие авгиевы конюшни. Вот и сканируют как попало и что попало.
_________________ С уважением, Сергей.
|
02 Jul 2024 10:45 |
|
|
Shaos
Admin
Joined: 08 Jan 2003 23:22 Posts: 23437 Location: Silicon Valley
|
Я помню лет 20-25 назад прочитал прикол, что у одной компании постоянно удалялась база данных пользователей, так вот оказалось, что у них удаление учётной записи происходило при вызове http:/.../delete.php?N (или что-то типа, т.е. с указанием номера учётной записи после ?) и обычный поисковый бот обходя все странички обнаруживал и обходил странички удаления тоже, вызывая их и удаляя всех по номеру - так вот одним из предложенных решений было записать урл удаления в robots.txt
|
02 Jul 2024 18:49 |
|
|
aviator
Maniac
Joined: 10 Dec 2008 08:39 Posts: 212 Location: Стокгольм, Швеция
|
Думаю, что история вполне реальная. Этой зимой я делал изолированную тестовую среду для одного фрилансера, из нескольких виртуальных машин. Там он занимался REST API, в этой песочнице. Ну и зачем-то он оставил публичный доступ. Это API имело вызовы типа /version, /capabilities, /status и тому подобное, для описания точек входа и состояния. Так вот, эти поисковые боты перебирают по словарю, пытаясь найти какие-либо валидные вызовы и потом дёргают их с различными методами и случайными параметрами.
_________________ С уважением, Сергей.
|
03 Jul 2024 01:19 |
|
|