KoVaLsKy 59 Опубликовано 7 декабря, 2012 Жалоба Share Опубликовано 7 декабря, 2012 сабж. из Штата Айдахо по 250 запросов в день Ддосят, волнами запросы поступают. ОС - Linux, экран 800x600, ip известен. У кого есть опыт? поставить проверку на ip? забанить? Ссылка на сообщение Поделиться на другие сайты
support 447 Опубликовано 7 декабря, 2012 Жалоба Share Опубликовано 7 декабря, 2012 250 запросов в день?! Это же смешно, какой это ddos :dad: Нужно смотреть, что за ip, а то вполне может быть, что это просто паук какого-нибудь поисковика типа гугл. Ссылка на сообщение Поделиться на другие сайты
KoVaLsKy 59 Опубликовано 7 декабря, 2012 Автор Жалоба Share Опубликовано 7 декабря, 2012 не он проверял. 250, потом скачок, потом опять тишина. сей час разгоняется. тестят скрипт, как мне кажется. возможно не дос. https://maps.google.ru/maps?hl=ru&q=1410+Calabazas+Boulevard,+Santa+Clara&ie=UTF-8&hq=&hnear=0x808fca0ce9684ac7:0x98afda2683287a22,1410+Calabazas+Blvd,+Santa+Clara,+CA+95051,+%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D1%91%D0%BD%D0%BD%D1%8B%D0%B5+%D0%A8%D1%82%D0%B0%D1%82%D1%8B+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B8&gl=ru&ei=LDzCUKPCIo2N4gSD9oG4Bg&ved=0CC0Q8gEwAA Ссылка на сообщение Поделиться на другие сайты
alexts 18 Опубликовано 7 декабря, 2012 Жалоба Share Опубликовано 7 декабря, 2012 Тут с похожим боролся http://vamshop.ru/fo...b6%d0%bd%d0%be/ Еще в робот.тхт можно ботов заблокировать ненужных Всех, но ничего индексироваться не будет Вставляем после User-agent: * Disallow: / Выборочно: Вставлять до User-agent: * Если какие Вам все же нужны - удаляйте конструкцию User-agent: XXXXXXX Disallow: / User-agent: Googlebot-Image Disallow: / User-Agent: aport Disallow: / User-agent: Webalta Disallow: / User-agent: Alexibot Disallow: / User-agent: Aqua_Products Disallow: / User-agent: asterias Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: BecomeBot Disallow: / User-agent: Black Hole Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: Bookmark search tool Disallow: / User-agent: BotALot Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: BunnySlippers Disallow: / User-agent: Cegbfeieh Disallow: / User-agent: CheeseBot Disallow: / User-agent: CherryPicker Disallow: / User-agent: CherryPicker /1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: Copernic Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: cosmos Disallow: / User-agent: Crescent Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: dumbot Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: EmailWolf Disallow: / User-agent: Enterprise_Search Disallow: / User-agent: Enterprise_Search/1.0 Disallow: / User-agent: EroCrawler Disallow: / User-agent: es Disallow: / User-agent: ExtractorPro Disallow: / User-agent: FairAd Client Disallow: / User-agent: Flaming AttackBot Disallow: / User-agent: Foobot Disallow: / User-agent: FreeFind Disallow: / User-agent: Gaisbot Disallow: / User-agent: GetRight/4.2 Disallow: / User-agent: grub Disallow: / User-agent: grub-client Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Hatena Antenna Disallow: / User-agent: hloader Disallow: / User-agent: http://www.SearchEngineWorld.com bot Disallow: / User-agent: http://www.WebmasterWorld.com bot Disallow: / User-agent: httplib Disallow: / User-agent: humanlinks Disallow: / User-agent: ia_archiver Disallow: / User-agent: ia_archiver/1.6 Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Iron33/1.0.2 Disallow: / User-agent: JennyBot Disallow: / User-agent: Jetbot Disallow: / User-agent: Jetbot/1.0 Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Keyword Density/0.9 Disallow: / User-agent: larbin Disallow: / User-agent: LexiBot Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: LinkWalker Disallow: / User-agent: LNSpiderguy Disallow: / User-agent: lwp-trivial Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: Mata Hari Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: Microsoft URL Control - 6.00.8169 Disallow: / User-agent: MIIxpc Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: Mister PiX Disallow: / User-Agent: MJ12bot Disallow: / User-agent: moget Disallow: / User-agent: moget/2.1 Disallow: / User-agent: Mozilla Disallow: / User-agent: mozilla/3 Disallow: / User-agent: mozilla/4 Disallow: / User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 2000) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 98) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows ME) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT) Disallow: / User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows XP) Disallow: / User-agent: mozilla/5 Disallow: / User-agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Disallow: / User-agent: MSIECrawler Disallow: / User-agent: naver Disallow: / User-agent: NetAnts Disallow: / User-agent: NetMechanic Disallow: / User-agent: nicebot Disallow: / User-agent: NICErsPRO Disallow: / User-agent: NPBot Disallow: / User-agent: Nutch Disallow: / User-agent: Offline Explorer Disallow: / User-agent: OmniExplorer_Bot Disallow: / User-agent: Openbot Disallow: / User-agent: Openfind Disallow: / User-agent: Openfind data gathere Disallow: / User-agent: Oracle Ultra Search Disallow: / User-agent: PerMan Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: ProWebWalker Disallow: / User-agent: psbot Disallow: / User-agent: Python-urllib Disallow: / User-agent: QueryN Metasearch Disallow: / User-agent: Radiation Retriever 1.1 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RMA Disallow: / User-agent: scooter Disallow: / User-agent: searchpreview Disallow: / User-agent: SiteSnagger Disallow: / User-agent: SpankBot Disallow: / User-agent: spanner Disallow: / User-agent: Stanford Disallow: / User-agent: Stanford Comp Sci Disallow: / User-agent: suzuran Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: Telesoft Disallow: / User-agent: The Intraformant Disallow: / User-agent: TheNomad Disallow: / User-agent: TightTwatBot Disallow: / User-agent: Titan Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: True_Robot Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: turingos Disallow: / User-agent: URL Control Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: URLy Warning Disallow: / User-agent: VCI Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: Web Image Collector Disallow: / User-agent: WebAuto Disallow: / User-agent: WebBandit Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: WebCopier Disallow: / User-agent: WebEnhancer Disallow: / User-agent: WebmasterWorld Extractor Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: WebSauger Disallow: / User-agent: Website Quester Disallow: / User-agent: Webster Pro Disallow: / User-agent: WebStripper Disallow: / User-agent: WebVac Disallow: / User-agent: WebZip Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: Wget Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: Xenu's Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Zeus Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Zeus Link Scout Disallow: / User-agent: * [/CODE] Ссылка на сообщение Поделиться на другие сайты
Vladzimir 15 Опубликовано 7 декабря, 2012 Жалоба Share Опубликовано 7 декабря, 2012 И как запись в роботсе может заблочить ботов? Это необходимо делать на уровне .htaccess Ссылка на сообщение Поделиться на другие сайты
alexts 18 Опубликовано 8 декабря, 2012 Жалоба Share Опубликовано 8 декабря, 2012 Ну если почтать мануал на яндексе или в гугле по поводу использования файла робот, то выясняется , что паук сначала читает его, и именно в нем устанавливаются разрешения что ему можно индексировать. Если предположить, что их рекомендации по этому поводу - сплошная деза, тогда только .htaccess :) Ссылка на сообщение Поделиться на другие сайты
Vladzimir 15 Опубликовано 8 декабря, 2012 Жалоба Share Опубликовано 8 декабря, 2012 Это работает, если бот "белый", а если "серый" то ему до лампочки ваш роботс. Вот таких ботов и нужно отлавливать в .htaccess Ссылка на сообщение Поделиться на другие сайты
YuraS 4 Опубликовано 10 декабря, 2012 Жалоба Share Опубликовано 10 декабря, 2012 бан по айпи в хтакцессе сделать и забыть. Ссылка на сообщение Поделиться на другие сайты
MaZa 10 Опубликовано 12 декабря, 2012 Жалоба Share Опубликовано 12 декабря, 2012 если речь об одном хосте, то это просто дос) я бы забанил по ip с помощью .htaccess , если докучает этот товарисчь (не важно бот или нет) Order Allow,Deny Deny from 123.321.123.321 Allow from all [/CODE] з.ы.: а вот так можно запретить метод get, post, connect которые используются для полноценной работы сайта: [CODE] <Limit GET POST> order allow,deny deny from 123.321.123.321 allow from all </Limit> pss: а вот так можно посмотреть сколько подключений с каких ip: netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n [/code] кстати, как определили, что это DoS? Ссылка на сообщение Поделиться на другие сайты
YuraS 4 Опубликовано 13 декабря, 2012 Жалоба Share Опубликовано 13 декабря, 2012 кстати, как определили, что это DoS?ну дык целых 250 запросов в день :D Ссылка на сообщение Поделиться на другие сайты
KoVaLsKy 59 Опубликовано 13 декабря, 2012 Автор Жалоба Share Опубликовано 13 декабря, 2012 ну дык целых 250 запросов в день :D если 250 в день не значит что по 10 в час за 4-5 минут и 250 - тока минимум. опять же говорю что есть Ддос с 10 мбс а есть тестеры, типа моего случая, которые сидят в домике и пишут програмки. Ссылка на сообщение Поделиться на другие сайты
Vladzimir 15 Опубликовано 13 декабря, 2012 Жалоба Share Опубликовано 13 декабря, 2012 Кстати. Некоторые сайты (а их если посикать то достаточно) можно положить и парой сотней запросов. А делается так. Ищем самый тяжелый запрос для БД, например генерация карты сайта, и одновременно запрашиваем 100-200 раз. При большом количестве товаров сйт после этого лежит, поскольку мускль сдыхает. Ссылка на сообщение Поделиться на другие сайты
KoVaLsKy 59 Опубликовано 14 декабря, 2012 Автор Жалоба Share Опубликовано 14 декабря, 2012 в чем и дело то. понятно что от 250 ничего не будет. сам факт знания и опыт минимальной борьбы с досей важен. например главная страница, где включены только рекомендуемые и новинки генерит около 600 запросов. Ссылка на сообщение Поделиться на другие сайты
KoVaLsKy 59 Опубликовано 14 декабря, 2012 Автор Жалоба Share Опубликовано 14 декабря, 2012 Кстати. Некоторые сайты (а их если посикать то достаточно) можно положить и парой сотней запросов. А делается так. Ищем самый тяжелый запрос для БД, например генерация карты сайта, и одновременно запрашиваем 100-200 раз. При большом количестве товаров сйт после этого лежит, поскольку мускль сдыхает. знаю сайты у них по 15 к товаров на вамшопе. разогнать нормально получилось, убирая не нужное, но сайтмап или маркет ппц как долго генерятся. по 30-40 секунд. Ссылка на сообщение Поделиться на другие сайты
Рекомендуемые сообщения