Интернет статистика

Вопросы по работе форумов и сайта http://www.nedopc.org

Moderator: Shaos

User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Shaos wrote:
Shaos wrote:
Shaos wrote: Jan 2024: 43GB
Feb 2024: 54GB
Mar 2024: 87GB
Apr 2024: 209GB :o

Чото набег опять какой-то призошёл с 24 по 30 апреля :(

Code: Select all

-rw-r----- 1 root adm  3544120 May  3 06:33 access.log.2.gz
-rw-r----- 1 root adm  3681619 May  2 06:33 access.log.3.gz
-rw-r----- 1 root adm  4086267 May  1 06:34 access.log.4.gz
-rw-r----- 1 root adm 11960198 Apr 30 06:34 access.log.5.gz
-rw-r----- 1 root adm 21684426 Apr 29 06:34 access.log.6.gz
-rw-r----- 1 root adm 21198708 Apr 28 06:34 access.log.7.gz
-rw-r----- 1 root adm 24105851 Apr 27 06:34 access.log.8.gz
-rw-r----- 1 root adm 22513122 Apr 26 06:34 access.log.9.gz
-rw-r----- 1 root adm 14201967 Apr 25 06:34 access.log.10.gz
-rw-r----- 1 root adm 11390758 Apr 24 06:34 access.log.11.gz
-rw-r----- 1 root adm  3339613 Apr 23 06:34 access.log.12.gz
-rw-r----- 1 root adm  4262820 Apr 22 06:33 access.log.13.gz
-rw-r----- 1 root adm  5291494 Apr 21 06:34 access.log.14.gz
P.S. Это был какой-то ClaudeBot от https://www.anthropic.com/, который обычно 10 тысяч раз в день заходит или чуть больше, а в эти дни он занял 2/3 траффика...
Top
imsushka
Maniac
Posts: 293
Joined: 01 Jan 2022 04:34
Location: USSR, Tashkent

Re: Интернет статистика

Post by imsushka »

весь твой трафик кушают боты подсчета трафика
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

imsushka wrote:весь твой трафик кушают боты подсчета трафика
Claude это какой-то AI - см. http://claude.ai
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Набег Клавдий отразился на первой странице нашего форума :o
Больше всего посетителей (855) здесь было 25 апр 2024 12:40
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Shaos wrote:
Shaos wrote:
Shaos wrote:
Shaos wrote: Jan 2024: 43GB
Feb 2024: 54GB
Mar 2024: 87GB
Apr 2024: 209GB
May 2024: 101GB

Меньше, чем в апреле, но всё равно в 2 раза больше, чем обычно...
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Добавил распознавание ещё нескольких ботов: Amazon [Bot], ByteDance [Bot], Claude AI [Bot] и GPT [Bot]
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Shaos wrote:
Shaos wrote:
Shaos wrote:
Shaos wrote:
Shaos wrote: Jan 2024: 43GB
Feb 2024: 54GB
Mar 2024: 87GB
Apr 2024: 209GB
May 2024: 101GB
Jun 2024: 101GB - опять? :o

P.S. Не - это я слишком рано торкнулся - он ещё за прошлый месяц число показывал...
Top
aviator
Doomed
Posts: 369
Joined: 10 Dec 2008 08:39
Location: Стокгольм, Швеция

Re: Интернет статистика

Post by aviator »

Я давече анализировал "кто стучится в дверь ко мне". А точнее, кто, зачем и как сканирует интерфейсы "моего" vCloud. Получилось, что 1-2% трафика это полезный трафик, связанный с функционированием системы и работой внешних API. А остальное - боты и роботы различных моделей и назначения.
С уважением, Сергей.
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Щас AI боты достают в основном - причём они игнорируют robots.txt и сканируют всё подряд по многу раз...
Top
aviator
Doomed
Posts: 369
Joined: 10 Dec 2008 08:39
Location: Стокгольм, Швеция

Re: Интернет статистика

Post by aviator »

Дык говнокодинг давно уже норма жизни, а уж в области AI там настоящие авгиевы конюшни. Вот и сканируют как попало и что попало.
С уважением, Сергей.
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Я помню лет 20-25 назад прочитал прикол, что у одной компании постоянно удалялась база данных пользователей, так вот оказалось, что у них удаление учётной записи происходило при вызове http:/.../delete.php?N (или что-то типа, т.е. с указанием номера учётной записи после ?) и обычный поисковый бот обходя все странички обнаруживал и обходил странички удаления тоже, вызывая их и удаляя всех по номеру - так вот одним из предложенных решений было записать урл удаления в robots.txt :lol:
Top
aviator
Doomed
Posts: 369
Joined: 10 Dec 2008 08:39
Location: Стокгольм, Швеция

Re: Интернет статистика

Post by aviator »

Думаю, что история вполне реальная.
Этой зимой я делал изолированную тестовую среду для одного фрилансера, из нескольких виртуальных машин. Там он занимался REST API, в этой песочнице. Ну и зачем-то он оставил публичный доступ. Это API имело вызовы типа /version, /capabilities, /status и тому подобное, для описания точек входа и состояния.
Так вот, эти поисковые боты перебирают по словарю, пытаясь найти какие-либо валидные вызовы и потом дёргают их с различными методами и случайными параметрами.
С уважением, Сергей.
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

aviator wrote:Думаю, что история вполне реальная.
Этой зимой я делал изолированную тестовую среду для одного фрилансера, из нескольких виртуальных машин. Там он занимался REST API, в этой песочнице. Ну и зачем-то он оставил публичный доступ. Это API имело вызовы типа /version, /capabilities, /status и тому подобное, для описания точек входа и состояния.
Так вот, эти поисковые боты перебирают по словарю, пытаясь найти какие-либо валидные вызовы и потом дёргают их с различными методами и случайными параметрами.
Тем более, что REST API вроде официально допускает наличие метода DELETE :lol:
Top
aviator
Doomed
Posts: 369
Joined: 10 Dec 2008 08:39
Location: Стокгольм, Швеция

Re: Интернет статистика

Post by aviator »

Shaos wrote:Тем более, что REST API вроде официально допускает наличие метода DELETE :lol:
На деле веб-погромисты кодят "кто в лес, кто по дрова".
Сейчас модно делать GET для получения ресурсов, а PUT для изменения, в том числе для удаления. А в payload городят поля, описывающие тип запроса. Подражают JSON-RPC или gRPC, по-моему. А использовать различные типы HTTP Request "не модно и не тру".
Ещё часто REST API сейчас возвращают всё время HTTP 200, а в payload запихнут JSON в котором реальный статус операции описывается, с кодом завершения и ошибкой. Тоже модно стало.
Но я в веб лезу постольку-поскольку. Моя зона ответственности это Embedded Linux, C/C++ и всякие микроконтроллеры.
С уважением, Сергей.
Top
User avatar
Shaos
Admin
Posts: 24395
Joined: 08 Jan 2003 23:22
Location: Silicon Valley

Re: Интернет статистика

Post by Shaos »

Ну PUT и GET это классика и как бы уже (ещё) не REST :no:
Top

Return to “Вебсайт и форумы”