Безопасность → Некорректная работа поисковика Cuil "убивает" сайты

В распоряжении издания TechCrunch появились данные о том, что бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают".

cuil page

"Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник. - Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться".

Дискуссии по поводу индексации сайтов ботом Cuil развернулись на форумах Admin Zone сайта SecurityLabs. Многие админы находят метод работы Twiceler некорректным.Они заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL - действуя случайным образом (и увеличивая базу).

В Cuil заявляют, что бот - экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.

Internet, Сбой



Количество ядер у вашего CPU?


Интернет магазин обуви Fashionshop.by в Минске, всегда актуальные модели в наличии.
Интернет магазин обуви

© 2007-2019 PCnews.
О сайте | Размещение рекламы | Копирайт

Электронная почта: info@pcnews.by

Разработка сайта: Дизайн-студия Дмитрия БоровогоРазработка сайта:
Дизайн-студия Дмитрия Борового
Rambler's Top100 Rating All.BY
ЗАКРЫТЬ

Теги

3Com, 760G, 780i, 790, 790FX, 790GX, A-Data, Abit, Acer, Adobe, Agena, Akasa, Albatron, Amazon, AMD, Android, Antec, AOpen, Apple, Arctic Cooling, ASRock, Asus, Athlon, ATI, Atom, Barbone, Barcelona, Belarus, Benq, BFG, Biostar, Blizzard, Blu-ray, Bobcat, BSD, Calpella, Catalyst, Celeron, Centrino 2, Chieftec, Chrome, Cisco, Clarkdale, Club3D, Cooler Master, Core 2, Core i3, Core i5, Core i7, Corel, Corsair, Creative, CrossFire, DDR2, DDR3, DDR4, DDR5, Debian, Dell, Deneb, DFI, DirectX, DivX, Dlink, Download, E-TEN, eBay, ECS, Eee PC, ELSA, Englide, EnzoTech, Epox, Epson, EVGA, Fennec, Firefox, FirePro, Flock, Floston, ForceWare, Foxconn, Fujitsu, Fusion, G.Skill, G45, G92, G94, G96, Gainward, Galaxy, Games, GeCube, GeForce, Geil, Gigabyte, GlacialTech, GLOBALFOUNDRIES, GN40, Gnome, Google, GPL, GT200, GT206, GT212, GT215, GT216, GT218, GT300, H57, Havendale, Havok, HD DVD, HDD, HDMI, Hewlett-Packard, High-End, Hiper, HIS, Hitachi, HTC, Hynix, Ibex Peak, IBM, ICQ, IE, IGP, IM, Imation, Inno3D, Intel, Internet, Ion, iPhone, iPod, iRiver, Isaiah, Istanbul, Itanium, J&W, Java, JEDEC, JetWay, Kaspersky, Kingmax, Kingston, Larrabee, Leadtek, Lenovo, LG, Lianli, Linux, Lite-ON, Logitech, Lynnfield, Mac OS, Medfield, Microsoft, Mobile, Moorestown, Motorola, Mozilla, MSI, MSN, MultiCore, MultiMedia, Mushkin, Nec, Nehalem, Nexus, nForce, Nintendo, Noctua, Nokia, Novell, NVidia, OCZ, Opensource, Opera, Opteron, OQO, Oracle, Overclocking, P43/G43, P45/G45, P55, Palit, Palm, Panasonic, PDA, Penryn, Pentium, Phenom, PhysX, Pioneer, PlayStation, Plextor, Point of View, PowerColor, PQI, Propus, Qimonda, QNAP, QuadCore, Quadro, Qualcomm, Radeon, Rambus, RD890, Red Hat, Regor, Rover, RS880, RV670, RV710, RV730, RV740, RV770, RV790, RV870, S3, Safari, Samsung, Sapphire, SATA, SCO, Scythe, Seagate, Sempron, Server, Shanghai, Sharp, Shuttle, SilverStone, SiS, Skype, SLI, Solaris, Sony, Sparkle, Spire, SSD, Sun Microsystems, Super Talent, SuSe, Symantec, TDK, Tegra, Thermalright, Thermaltake, Thunderbird, Titan, Toliman, Toshiba, Transcend, Trillian, TSMC, Turion, TwinTech, Ubuntu, UMC, UMPC, Unix, USB 3.0, VIA, Vista, VMware, WebMoney, Western Digital, Wi-Fi, Wii, Wikipedia, WiMAX, Windows, Windows7, X38/48, X58, Xbox , XEON, XFX, Xigmatek, XP, Yahoo, Yandex, Yeston, YouTube, Z68, Zalman, ZEROtherm, Zotac, ZyXEL, Аналитика, Блог, Блоки Питания, Брандмауэр, В43, Взлом, Вирусы, Драйвера, Игры, Корпуса, Манипуляторы, Монитор, Нетбук, Неттоп, Новость дня, Новые технологии, Ноутбук, Охлаждение, Пиратство, Планшет, Разное, Сбой, Сервис, Сети, Смартфон, Спам, Статистика, Фото дня, Эльбрус