Как найти в интернете любые файлы

Ищем и скачиваем непопулярные и старые файлы в интернете

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.

_{Увы, частая ситуация в попытке хоть что-то скачать}

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.

Зачем это нужно?

  • Отсутствие некоторых релизов на дисках
В случае с видео, иногда случается так, что картину дублируют и транслируют по телевидению в какой-то стране, а на дисках не выпускают. Капперы выкладывают ТВ-рипы в файлообменные сети или BitTorrent, затем выходят DVD в другой стране, без соответствующей аудиодорожки, например, французской, и люди вынуждены либо качать DVDRip с хорошим качеством видео без французской дорожки, либо ТВ-рип с ней. Проходит время, ТВ-рип раздают все меньше и меньше людей, он удаляется с файлообменников из-за неактивности, и все — французский релиз становится скачать гораздо сложнее.
Проблему можно было бы решить, совместив аудиодорожку из ТВ-рипа с доступным видео из DVD, что не всегда так просто, как кажется. Этим никто не занялся и ТВ-версия умерла.

  • Отличие контента ТВ- и DVD-версии
Например, мультсериал «Дарья» лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.

  • Региональные различия
Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD.
Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.

Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?

Usenet

Usenet — распределенная сеть из серверов, синхронизирующих информацию между собой. Структура Usenet напоминает что-то среднее между форумами и электронной почтой: в «новостных группах» (так называются тематические категории в Usenet) сообщения имеют древовидную структуру, пользователи могут подписываться на конкретные группы, читать и писать в них. Как и в Email, у сообщений есть тема (subject), которая позволяет ориентироваться в содержании дискуссий. Сейчас используется преимущественно для обмена файлами.

История Usenet

Появившаяся в 1979 году, в до-интернетовскую эпоху сеть использовала прямые модемные соединения для передачи информации через UUCP и была инструментом преимущественно текстового общения. В свое время Usenet конкурировал с BBS, существовали специальные шлюзы в и из Fidonet. С приходом интернета, сообщения Usenet начали передаваться по TCP/IP, используя протокол NNTP, который остается относительно используемым и вне Usenet (например, можно читать огромное количество публичных списков рассылок через gmane и RSS-фиды через gwene, причем, в отличие от списков рассылок, вы всегда можете посмотреть всю историю, а не только сообщения с момента вашей подписки).

С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день.
Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive.

До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.

Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.

В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй — FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.

Подключение к Usenet

Полноценно пользоваться сетью бесплатно, скорее всего, не получится: либо столкнетесь с низким временем хранения файлов (10-30 дней), либо с низкой скоростью, либо получите доступ только к текстовым группам. Придется купить доступ у какого-нибудь провайдера или их реселлеров. Большинство провайдеров имеют два типа тарифов: месячный абонемент без ограничений по количеству скачанного (unlimited) и пакет трафика без ограничения по времени (block). Если вы собираетесь качать файлы из сети пару раз в месяц, block-доступа вам хватит надолго.
Крупнейшими провайдерами являются Altopia, Giganews, Eweka, NewsHosting, Astraweb.

Теперь нужно каким-то образом получить nzb-файл с метаинформацией, это что-то вроде .torrent-файла. Если у вас его нет, нужно воспользоваться поисковиком-индексатором.

Индексаторы

Общедоступные индексаторы завалены спамом с вирусами и ищут, как правило, плохо, но, тем не менее, подходят для поиска устаревших файлов, загруженных около 5 и более лет назад.
Вот некоторые из них:

• binsearch.info
• binzb.com
• nzbindex.com
• nzbsearch.net
• nzbking.com

Бесплатные индексаторы, требующие регистрацию, больше подходят для файлов посвежее. Они хорошо каталогизированы, релизы имеют не только название, но и описание с картинкой.

• nzbfinder.ws
• nzbid.org
• nzbnoob.com
• nzb.ag
• nzbfriends.com
• usenet-crawler.com
• drunkenslug.com
• nzbgeek.info

Последние два особенно рекомендую, в них можно найти множество обфусцированных релизов.
Существуют и узконаправленные сайты. Например, индексатор аниме anizb и музыки albumsindex.

Скачивание с Usenet

Давайте попробуем скачать фильм The FP 2011 года, достаточно неизвестный и непопулярный, BDRip’а которого в 1080p так просто найти мне не удалось. Для этого вам нужно найти nzb-файл и импортировать его в программу для закачки, например, NZBGet или SABnzbd, предварительно ее установив.
Заходим на nzbking.com, выполняем поиск по «the.fp.2011».

Видим в индексе файл, у которого доступна только одна часть из 3867. Такой файл не скачать, поэтому индексатор отображает этот параметр красным цветом.

Файлы, защищенные паролем, как правило, являются просто фейками.

На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля — хороший знак.

На третьей странице находим BDRip и несколько DVDRip’ов, похожих на настоящие (судя по размеру файла и дате загрузки).
Выбираем файлы, которые хотим скачать, нажимаем кнопку «Download NZB», скачиваем .nzb-файл и импортируем его в NZBGet или SABnzbd, предварительно вписав данные своего Usenet-аккаунта в настройки программы. Начинается скачивание со скоростью канала моего провайдера.

По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!

IRC / DCC / XDCC

Internet Relay Chat — протокол текстового общения, до сих пор пользующийся популярностью у разработчиков свободного ПО, администраторов торрент-трекеров, анимешников и авторов ботнетов из-за своей простоты. Появившийся в 1989 году, IRC стал стандартом групповых чатов в интернете на долгие годы, и начинает терять популярность только к середине 2000-х, с приходом ICQ и Jabber. В IRC существует возможность передачи файлов — DCC, на основе которой в 1994 году был написан первый бот для автоматического распространения доступных боту файлов — Xabi DCC (отсюда и название — XDCC).

На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).

В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.

Индексаторы

Многие (но не все) XDCC-боты индексируются специальными скриптами, предоставляющими веб-интерфейс для эффективного поиска файлов.
Общие индексаторы контента:

• ixirc.com
• xdcc.eu
• sunxdcc.com
• cr4wl.ga

Индексаторы аниме:

• news.kae.re
• nibl.co.uk
• intel.haruhichan.com

Скачивание из IRC

Вам потребуется IRC-клиент, подойдет практически любой (подавляющее большинство клиентов поддерживает DCC). Подключаемся к интересующему вас серверу из списка, заходим на канал. Крупнейшие серверы с книгами:

• irc.undernet.org, канал #bookz
• irc.irchighway.net, канал #ebooks

Варезом:

• irc.criten.net, канал #elitewarez
• irc.infatech.net, канал #elitewarez
• irc.scenep2p.net, канал #the.source

Фильмами:

• irc.abjects.net, канал #moviegods
• irc.abjects.net, канал #beast-xdcc

Мультфильмами и аниме:

• irc.rizon.net, канал #news
• irc.xertion.org, канал #cartoon-world

Все версии ботов принимают команду !find или @find для поиска файлов, после чего отправляют результаты личным сообщением. Для популярных запросов на каналах с большим количеством ботов вас буквально заспамит ответами, поэтому, если канал поддерживает команду @search, лучше воспользоваться ей — специальный индексатор канала отправит вам результаты одним файлом через DCC.

Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) — замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.

Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:

Отправляем боту запрос на скачивание файла:

…и принимаем его!

Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.

DC++

Direct Connect-сеть представляет собой клиент-серверную архитектуру, где все коммуникации, кроме непосредственно обмена файлами, происходят через сервер. В DC++ есть возможность расшаривания файлов и директорий, поиск файлов с учетом их типа (видео, аудио, архивы, документы, образы дисков), ссылки на файлы, независящие от имени файла и, конечно же, чат, из-за чего DC++-хабы были очень популярны в локальных сетях интернет-провайдеров РФ. Сибирский провайдер GoodLine рекламировал свой внутрисетевой хаб на уличных рекламных щитах, писал ПО для упрощения файлообмена и даже встраивал его в свои Set-top box, чтобы клиенты могли смотреть новинки кинематографа прямо с телевизора. На хабе сидело более 100000 человек — больше, чем в любом другом хабе в мире.

Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.

_{3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.}

Скачивание из DC++

Вам потребуется какой-нибудь DC-клиент. Под Windows рекомендую FlylinkDC++ (который, к тому же, поддерживает BitTorrent), под Linux — EiskaltDC++ и AirDC++ Web. Далее нужно подключиться к популярным хабам, лучше сразу к десятку. Список хабов есть в самих программах, но можно воспользоваться специальной страницей и скопировать адреса оттуда.

Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.

Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.

Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.

Из-за ограничений протокла NMDC, одновременный поиск нескольких файлов затруднен, результаты одного поискового запроса могут перемешиваться и отображаться в соседних окнах поиска, поэтому лучше не искать несколько файлов одновременно. У хабов, работающих по протоколу ADC, таких ограничений нет, но и таких хабов удручающе мало (их URI начинается с adc://, а не с dchub://).

Индексаторы

Поиск внутри программы может найти только файлы пользователей, находящихся в DC-сети на момент поиска, поэтому индексаторы очень полезны для нахождения и скачивания файлов с редко запускающих программу людей.

Насколько мне известно, полноценный индексатор DC++ есть только один — spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте.
Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.

eDonkey2000 (ed2k), Kad

ed2k — протокол децентрализованной передачи файлов, требующий сервер-хаб для нахождения пользователей и соединения с ними. Был протоколом №1 для передачи файлов среди всех слоев населения, до закрытия самого популярного сервера Razorback 2 в 2006 году и роста популярности BitTorrent.

eDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.

В ed2k можно найти примерно то же самое, что и в DC++ — старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.

Скачивание в eDonkey2000 / Kad

Как вы уже догадались, потребуется ed2k-клиент. Хороший выбор для Linux — aMule, для Windows, наверное, eMule, хоть он и не обновлялся с 2011 (Обновление: появилась официальная версия eMule от сообщества, доступная для скачивания на официальном сайте, она обновляется). Крайне рекомендую пробросить порты, чтобы иметь возможность скачивать с пользователей за NAT (LowID).

Процесс поиска и скачивания файлов очень похож на таковой в DC++ — вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания.
Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.

Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public — картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com — сервису аудио- и видеотрансляций, основанном в 1993 году.

Вводим поисковую фразу, получаем результаты:

Кликаем, начинается скачивание:

Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.

Soulseek

Soulseek — централизованная сеть обмена музыкальным файлами по принципу P2P, созданная в 2000 году одним из разработчиков Napster. Долгое время была популярна среди слушателей и авторов IDM и прочей электронной музыки, и по сей день сеть развивается и остается хорошим местом для поиска аудиофайлов. Есть групповые и приватные чаты, возможность раздачи файлов только друзьям, удобный поиск музыки с указанием битрейта и других характеристик аудиофайлов. Некоторые поисковые запросы цензурируются.

Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+.

BitTorrent DHT

Все популярные клиенты BitTorrent могут искать пиров и обмениваться торрент-файлами через распределенную хеш-таблицу (DHT). Этим пользуются не только компании, отслеживающие раздающих файл пользователей, по договору с правообладателями контента, но и индексаторы, которые пытаются получить torrent-файл с infohash из DHT-запроса и сохранить его в своей базе. Индексаторы могут найти нигде не опубликованный или просто редкий торрент по названию директории или файла, а также различные дубликаты интересующего вас торрента с потенциальными сидерами.
Ранее самым популярным индексатором был ныне неработающий btdigg, на смену ему, с некоторым запозданием, пришли следующие сайты:

• bitsnoop.com
• godht.com
• btdb.in
• digbt.org
• btdb.in
• btkitty.bid
• kikibt.net
• btdig.com (не имеет отношения к оригинальному btdigg, хоть и страница в wikipedia говорит об обратном)

К сожалению, подобные сервисы не живут долго: два моих любимых, fastbot и BTKitty.red, не открывались на момент написания статьи.

Файлообменники и FTP-серверы

Почти в каждом регионе существуют свои местные файлообменники, пользующиеся популярностью у конкретной языковой группы. Например, на uloz.to можно найти много чешского и словацкого контента, zone-telechargement.ws подойдет любителям французского языка, а chomikuj.pl для поляков.

Индексаторы FTP-серверов нечасто находят нужные файлы, но попытаться стоит:

• mmnt.net
• searchftps.net
• filemare.com
• ftpsearch.lostclus.kiev.ua
• filewatcher.com
• krasfs.ru
• ftplike.com

Поисковики по популярным файлообменникам тоже существуют, но не всегда эффективны:

• filediva.com
• rapid-search-engine.com
• alluc.ee

До совсем недавнего времени большое количество контента можно было найти на ex.ua, но увы.

---

Как искать

Не всегда достаточно искать файлы только по названию материала, так можно упустить сценические релизы.

Рели́зная гру́ппа — сообщество людей-энтузиастов, объединенных идеей свободы информации. Выпускает электронные копии CD или DVD с фильмами, музыкой, программами и играми для компьютеров и игровых приставок, руководствуясь правилами релизов и соревнуясь со своими коллегами-конкурентами в скорости и качестве выпуска таких копий (релизов). Сообщество релизных групп, объединенных одной темой (музыка определенного жанра, кинофильмы или варез), называется сценой.

^{https://ru.wikipedia.org/wiki/Релизная_группа}
Сценические релизы очень часто содержат сокращенные или намеренно испорченные имена архивов, которые нельзя найти обычным поиском по имени файла. Чтобы узнать настоящее имя, нужно поискать его в специальных индексаторах сцен-релизов: layer13.net, pre.corrupt-net.org и predb.me.

Попробуем узнать сценическое название архивов с релизом We Live In Public от PUZZLE на Layer13:

NFO-файл называется «puzzle-wlip.nfo». Названия архивов практически всегда, в 99% случаев совпадают с названием NFO, поэтому попробуем поискать это название в Usenet-индексаторе:

Ура, теперь мы можем скачать DVD фильма!

Обычные поисковые системы вроде Google не всегда будут вам помощниками. Во-первых, Google следует букве закона и удаляет (скрывает) результаты с сайтов, о которых сообщают ему правообладатели в рамках DMCA, во-вторых, поиск контента с названием из спецсимволов затруднен: проблемно найти что-либо о W.I.T.C.H., вам постоянно подсовывают информацию о Witch, The Witch или Blair Witch. Я предпочитаю пользоваться DuckDuckGo, Bing и метапоисковиком SearX — через них можно найти материалы, недоступные в Google.
Если вас интересует релиз на конкретном языке, уместней узнать локализованное название и совершать поиск по нему. Получить подобную информацию можно на Wikipedia, IMDb и других подобных сайтах.

Для аниме есть anidb, хранящий информацию о релизах групп на разных языках. Карточка группы, как правило, содержит ссылку на сайт или IRC-канал, где можно пообщаться с ее членами и скачать файлы через XDCC.

Помимо источника, разрешения видео, языков аудиодорожек и субтитров, на anidb есть TTH-хеш для DC++ и ed2k-ссылка для каждого файла.

Заключение

Примерно так я ищу нужные мне файлы. В посте намеренно не упомянуты очевидные вещи, вроде покупки дисков с Amazon или Ebay и поиска по популярным открытым и закрытым Torrent-трекерам. Все способы применимы для медиаконтента из Европы и США, мне никогда не приходилось искать, например, арабский и индийский контент, поэтому не могу сказать, насколько они эффективны.

Мы используем куки-файлы, чтобы вы могли быстрее и удобнее пользоваться сайтом. Подробнее

Секреты поиска. Как найти нужный документ .

Всем привет, это следующий урок о том, как правильно искать информацию  в сети с помощью Google. Есть одна хитрость, которая, впрочем как всегда, никаким секретом не является. Мало кто из нас задумывается, но логически это понимают все – интернет это далеко не только веб-страницы ресурсов. Это видео, фото и аудио файлы, это документы различных форматов и многое другое. Даже не всегда на том или ином ресурсе в силу каких-то обстоятельств (в том числе и по недосмотру владельца файла) мы имеем доступ к нему по прямой ссылке для скачивания. Но в сети они есть и Google их прекрасно видит. Файлы проиндексированы поисковой системой, а значит, они доступны и для нас. Так что найти нужный документ бывает проще, чем каждый из нас думает. Давайте найдём их.

Перед тем, как перейти конкретно к поиску, стоит упомянуть о специальном сервисе Google, о котором, оказывается, мало кто знает. Это страница расширенного поиска:

https://www.google.com/advanced_search?hl=ru

Я нарочно оставлю это без комментариев, там всё по-русски. Изучайте и пользуйтесь. Это, скажем, страница продвинутого поиска без знания операторов Google.

У каждого из файлов есть своё расширение, которое определяет тип программы, с помощью которой ему положено открываться. По умолчанию тип сокрыт от глаз пользователя. Но не для Google. Даже не зная названия документа полностью, вы сможете (теоретически) попытаться найти нужный документ, зная, что он имеет вид, например, документа Word из набора Microsoft Office. Вобщем, Google понимает вот такие расширения:

 Adobe Portable Document Format (PDF)

 Adobe PostScript (PS)

MacWrite (MW)

Microsoft Excel (XLS)

 Microsoft PowerPoint (PPT)

 Microsoft Word (DOC)

 Microsoft Works (WDB, WKS, WPS)

Microsoft Write (WRI)

Rich Text Format (RTF)

Text (ANS, TXT)

И некоторые другие, более специфичные. Если вы собираетесь найти нужный документ , например, обязательно в формате Word с расширением .docx, то можно попробовать задать этот параметр (без точки перед расширением) уже в поисковой строке. Это должно выглядеть так:

Название_документафайлафильмапесни filetype:тип_файла

Например:

Договор купли-продажи кактуса filetype:docx

По аналогии с известным вам исключением ненужной информации из поисковой выдачи, можно, наоборот, исключить из неё ненужные расширения и работать только с определёнными их типами. Используем, тем самым, оператор исключения «-». Например:

Договор купли-продажи кактуса -filetype:docx

Всё. В поисковой выдаче страниц с договором в формате Word не будет. Будут PDF, TXT, но не Word.

Как найти нужный документ на конкретном сайте или домене.

Нередко перед некоторыми пользователями ставится задача найти нужный документ или просто посмотреть некоторую информацию только на ресурсах, имеющих более высокую степень доверия по сравнению с остальными. Например, домены .com, .edu, .org принадлежат правительственным или образовательным учреждениям, которые имеют больший информационный вес. Или нам необходимо узнать информацию или новость из первоисточника. А про обрушение котировок на английской бирже лучше узнать не из израильского сайта, не так ли? Потому лучше было зондировать именно английские источники информации – это доменная зона британцев .uk. Или канадцев — .ca. Или французов – fr. И так далее.

Так вот, чтобы заняться поиском только по конкретной доменной зоне, укажите тип домена в поисковом запросе с помощью оператора “site:”. Например:

site:.edu (не забудьте точку перед названием домена)

И при наборе информации в определённой зоне:

Do it yourself.:ru

Google будет искать результаты только в русскоязычном интернете (рунете).

По аналогии с доменной зоной можно сократить место поиска до конкретного веб-сайта. Например, если нужно прочитать справку о том или ином событий в операционной системе Windows, есть смысл обратиться к первоисточнику. Ищите в пределах только официальной справки от Microsoft на официальном сайте. Для этого используйте тот же самый оператор в таком виде:

Ошибка 000240767 site:www.microsoft.com (точку перед адресом ставить нельзя!)

Все найденные результаты будут касаться только этого сайта.

Успехов

Иногда случается так, что вы хотите скачать свободно распространяемый музыкальный альбом 2007 года, выпущенный исполнителем, которого знает три с половиной человека. Вы находите торрент-файл, запускаете его, загрузка доходит до 14,7% и… всё. Проходят дни и недели, а загрузка стоит на месте. Вы начинаете искать альбом в Google, рыщете по форумам и наконец находите ссылки на какие-нибудь файлообменники, но они уже давно не работают.

Такое происходит всё чаще и чаще — правообладатели постоянно закрывают полезные ресурсы. И если популярный контент найти по-прежнему не проблема, отыскать какой-нибудь телевизионный сериал семилетней давности на испанском языке может быть крайне трудно.

Что бы вам ни понадобилось в интернете, есть ряд способов это отыскать. Мы предлагаем все нижеперечисленные варианты исключительно для ознакомления с контентом, но ни в коем случае не для воровства.

Usenet

Usenet — распределённая сеть серверов, между которыми синхронизируются данные. Структура Usenet напоминает гибрид форума и электронной почты. Пользователи могут подключаться к специальным группам (Newsgroups), что-то в них читать или писать. Как и в случае с почтой, у сообщений есть тема, которая помогает определить тему группы. Сегодня Usenet используется по большей части для обмена файлами.

До 2008 года крупные провайдеры Usenet хранили файлы лишь 100–150 дней, однако затем файлы стали храниться вечно. Более мелкие провайдеры оставляют контент на 1 000 и более дней, чего зачастую тоже достаточно.

Примерно в середине 2001 года Usenet стали замечать правообладатели, из-за чего провайдерам пришлось удалять защищённый авторским правом контент. Но энтузиасты быстро нашли обходной путь: они стали давать файлам запутанные названия, защищать архивы паролями и добавлять их на специальные сайты, к которым можно получить доступ только по приглашению.

В России о существовании Usenet почти никто не знает, чего не скажешь о странах, где власти усердно борются с пиратством. В отличие от протокола BitTorrent, в Usenet нельзя определить IP-адрес пользователя без помощи провайдера сервиса или поставщика интернет-услуг.

Как подключиться к Usenet

В большинстве случаев бесплатно подключиться не выйдет. Придётся довольствоваться либо малым временем хранения файлов, либо низкой скоростью, либо доступом только к текстовым группам.

Провайдеры предлагают два типа платного доступа: ежемесячную подписку с неограниченным объёмом загружаемых данных или неограниченные по времени тарифы с лимитированным трафиком. Второй вариант — для тех, кому лишь иногда требуется что-то скачать. Крупнейшие поставщики таких услуг — Altopia, Giganews, Eweka, NewsHosting, Astraweb.

Теперь нужно понять, где брать NZB-файлы с метаинформацией — что-то вроде торрент-файлов. Для этого используются специальные поисковые движки — индексаторы.

Индексаторы

Публичные индексаторы полны спама и вирусов, но они всё ещё годятся для поиска файлов, загруженных пять или более лет назад. Вот некоторые из них:

• binsearch.info;
• binzb.com;
• nzbindex.com;
• nzbking.com.

Бесплатные индексаторы, требующие регистрации, больше подходят для поиска новых файлов. Они хорошо структурированы, у контента есть не только названия, но и описания с картинками. Можно попробовать следующие:

• nzbfinder.ws;
• nzbid.org;
• nzbnoob.com;
• nzbfriends.com;
• usenet-crawler.com;
• drunkenslug.com;
• nzbgeek.info.

Также существуют индексаторы только для определённых типов контента. Например, anizb подойдёт поклонникам аниме, а albumsindex — тем, кто ищет музыку.

Скачивание из Usenet

В качестве примера возьмём «Фрейзер Парк» (The FP) — малоизвестный фильм 2011 года, вариант которого в разрешении 1080p отыскать практически невозможно. Нужно найти NZB-файл и запустить его через программу вроде NZBGet или SABnzbd.

Заходим на nzbking.com и ищем the.fp.2011.

Здесь доступна только одна часть из 3 867. Вы не можете скачать такой файл, он помечен красным.

Защищённые паролями файлы (Password protected) обычно являются фальшивками.

На второй странице видим нормальный DVDRip — подходящий размер файла, никаких паролей.

На этой странице есть BDRip и несколько нормальных DVDRip, судя по размеру и дате загрузки.

Выберите нужный фильм, нажмите «Загрузить NZB» (Download NZB) и импортируйте файл в NZBGet или SABnzbd, в которых необходимо ввести данные аккаунта Usenet. Когда скачивание закончится, программа сама распакует архивы и удалит их.

IRC / DCC / XDCC

IRC — старый протокол для текстового общения, из-за своей простоты по-прежнему популярный среди разработчиков, администраторов торрент-трекеров и любителей аниме. IRC поддерживает передачу файлов посредством DCC.

Сегодня существуют IRC-каналы и даже серверы, предназначенные исключительно для передачи файлов с помощью скрипта XDCC. Он популярен благодаря простоте использования и администрирования ботов: пользователю достаточно загрузить файл на FTP, а бот автоматически добавит его в индекс и уведомит об этом членов канала.

Есть специальные приватные IRC-сети с программами, новыми и не очень фильмами, музыкой и играми. Агентства по борьбе с нарушителями авторских прав об XDCC почти ничего не знают, поэтому в таких сетях можно найти много того, чего нет в других местах.

Индексаторы

У большинства XDCC-ботов есть веб-интерфейсы. Контент общей направленности можно найти здесь:

• ixirc.com;
• xdcc.eu;
• sunxdcc.com.

Аниме можно найти на nibl.co.uk.

Как качать через IRC

Вам потребуется IRC-клиент. Подойдёт почти любой — подавляющее большинство поддерживает DCC. Подключитесь к интересующему вас серверу и начинайте качать.

Крупнейшие серверы с книгами:

• irc.undernet.org, комната #bookz;
• irc.irchighway.net, комната #ebooks.

Фильмы:

• irc.abjects.net, комната #moviegods;
• irc.abjects.net, комната #beast-xdcc.

Западная и японская анимация:

• irc.rizon.net, комната #news;
• irc.xertion.org, комната #cartoon-world.

Для поиска файлов можно использовать команды !find или @find. Бот отправит результаты в виде личного сообщения. Если возможно, отдавайте предпочтение команде @search — она запускает специального бота, который предоставляет результаты поиска в виде одного файла, а не огромного потока текста.

Попробуем скачать «Как музыка стала свободной» (How Music Got Free) — книгу о музыкальной индустрии, написанную Стивеном Уиттом (Stephen Witt).

Бот отреагировал на запрос @search и отправил результаты в виде ZIP-файла по DCC.

Отправляем запрос на скачивание.

И принимаем файл.

Если вы нашли файл с помощью индексатора, то вам не нужно искать его на канале. Просто отправьте боту запрос на загрузку, используя команду с сайта индексатора.

DC++

В DC-сети все коммуникации осуществляются через сервер, называемый хабом. В ней можно искать конкретные типы файлов: аудио, видео, архивы, документы, образы дисков.

Делиться файлами в DC++ очень просто: достаточно поставить галочку напротив папки, к которой вы хотите предоставить общий доступ. За счёт этого можно отыскать что-то совершенно невообразимое — что-то, о чём вы сами уже давно забыли, но что может кому-то внезапно пригодиться.

Как качать через DC++

Подойдёт любой клиент. Для Windows лучшим вариантом является FlylinkDC++. Пользователи Linux могут выбирать между EiskaltDC++ и AirDC++ Web.

Подключитесь к разным хабам — чем больше, тем лучше. Список хабов есть в самом клиенте, также их можно найти по специальной ссылке.

Поиск и загрузка реализованы удобно: введите запрос, выберите тип контента, нажмите «Искать» и два раза щёлкните по результату, чтобы скачать файл. Также можно просмотреть список всех открытых пользователем файлов и загрузить все файлы из выбранной папки. Для этого нужно правой кнопкой мыши щёлкнуть по поисковому результату и выбрать соответствующий пункт.

Если что-то не нашли, попробуйте позже. Зачастую люди включают DC-клиент только когда им самим нужно что-то загрузить.

eDonkey2000 (ed2k), Kad

Как и DC++, ed2k — протокол децентрализованной передачи данных с централизованным хабом для поиска и соединения пользователей друг с другом. В eDonkey2000 можно найти почти то же самое, что и в DC++: старые сериалы с разной озвучкой, музыку, программы, игры, старые книги для программистов, а также книги по математике и биологии. Впрочем, есть здесь и новые релизы.

Как качать через eDonkey2000 / KAD

Вам нужен ed2k-клиент. Хороший выбор для Linux — aMule. Пользователям Windows подойдёт eMule, несмотря на то что он не обновлялся с 2011 года.

Поиск и скачивание реализованы почти так же, как в DC++. Введите запрос, получите результаты от онлайн-пользователей, два раза щёлкните по нужному файлу, чтобы загрузить его.

Поищем «Мы живём на людях» (We Live In Public) — малоизвестный документальный фильм 2009 года, в котором рассказывается об интернете 90-х годов.

Введите запрос, нажмите «Пуск» (Start) и ждите, пока не появятся результаты.

Два раза щёлкните по файлу, чтобы начать загрузку.

Скачивание одного файла может длиться недели и даже месяцы. По какой-то непонятной причине у большинства пользователей ed2k невероятно низкая скорость соединения с интернетом, причём в онлайн они выходят лишь на несколько часов в неделю. Поэтому запаситесь терпением.

Soulseek

Это централизованная сеть для прямого обмена музыкой. Известна в IDM-сообществе и всё ещё находится в активной разработке. Здесь есть группы и приватные чаты, возможность делиться файлами с друзьями и поиск по битрейту.

Самый популярный клиент — официальный SoulseekQt. Есть также два неофициальных — Nicotine+ и Museek+.

BitTorrent DHT

Все современные BitTorrent-клиенты могут искать пиров через распределённую хеш-таблицу (DHT). Эта функция используется DHT-индексаторами: они получают торрент-файлы с данными из сторонних DHT-запросов и сохраняют их в свои базы. Через такие индексаторы можно искать редкие и неопубликованные торрент-файлы или похожие на них, но с большим количеством раздающих.

Список некоторых популярных индексаторов:

• bitsnoop.com;
• btdb.in;
• digbt.org;
• btdb.in;
• btkitty.bid;
• kikibt.net;
• btdig.com.

DHT-индексаторы известны тем, что долго не живут. Поэтому что-то из списка на момент публикации материала уже может не работать.

Сайты и FTP-серверы для обмена файлами

Почти в каждом регионе есть свои сайты для обмена файлами. Например, среди чехов популярен uloz.to, среди французов — zone-telechargement.ws, а среди поляков — chomikuj.pl.

FTP-индексаторы редко помогают найти что-то нужное, но попытаться всё равно можно:

• mmnt.net;
• searchftps.net;
• filemare.com;
• krasfs.ru.

Сайты для поиска на файлообменниках тоже малоэффективны, но не стоит забывать и о них:

• filediva.com.

Читайте также:

• 8 поисковиков, которые лучше, чем Google →
• Все секреты поиска в Google: найдётся действительно всё →
• 4 специальных браузера для анонимного сёрфинга →

Эксперт + Директолог   + Интернет маркетолог

179

27 подписчиков

Спросить

24 октября 2014

Как быстро найти и скачать любые документы и файлы в интернете

Что делать, если вам нужно быстро найти определенный тип файла в интернете и желательно скачать его без регистрации? К примеру, вам понадобилось для написания реферата или диплома найти таблицу с данными в формате Excel или книгу в текстовом формате TXT, или презентацию PowerPoint, или, например, музыканту срочно нужен MIDI-файл.

Значительно сократить время поиска документов и файлов вплоть до нескольких минут и даже секунд помогут некоторые полезные сервисы:

1. Расширенный поиск Яндекса.  Далеко не все в курсе, что у поисковых машин существует расширенные версии поиска. У Яндекса этот сервис располагается на этой странице: http://yandex.ru/search/advanced. Здесь, введя требуемый запрос, вы можете уточнить детали этого запроса. Например, язык документа, дату публикации, ну и, конечно же, необходимый вам формат. После нажатия на кнопку «Найти», поисковик выдаст вам список ссылок на документы требуемого формата. Вам остается только нажать на кнопку «Загрузить», и произойдет скачивание документа непосредственно с сервера, на котором документ или файл находится без всяких регистраций. Или можно вначале почитать содержимое документа без закачки, нажав на кнопку «Просмотреть», чтобы не перегружать компьютер ненужными файлами.          
2. Расширенный поиск Google. Google также предоставляет возможность найти файлы нужного формата. Вот страница, где это можно сделать: http://www.google.ru/advanced_search. В отличие от Яндекса, Google дает  возможность осуществлять поиск по таким экзотическим форматам, как: Adobe PostScript (.ps), Autodesk DWF (.dwf), Shockwave Flash (.swf). На самом деле список форматов, по которым Google осуществляет поиск, намного шире. Если вы в конце поисковой фразы добавите так называемый оператор запроса filetype: и добавите за ним необходимый вам формат файла, то вы сможете без труда найти искомый файл. Например, если вам нужно найти MIDI-файл композитора Баха, то вы можете набрать Bach filetype:mid и вполне вероятно, что вы отыщете то, что вам было нужно.      
3. Еще один полезный сервис находится по этому адресу: http://wte.su/poisk.html. Это сервис поиска по документам различных форматов, в том числе и TXT, FB2, ODT, и даже RAR и ZIP. После ввода вашего запроса, вы можете быстро перемещаться по вкладкам, осуществляя поиск по конкретному типу файла. У сервиса 2 существенных преимущества — простота и скорость поиска. Единственный недочет — ссылки не всегда ведут на конечный файл. Там, где есть прямая ссылка на файл, вы увидите кнопку «Скачать».      
4. Также для поиска файлов можно воспользоваться сервисом поиска по FTP-серверам http://filemare.com/. Ведь иногда файлы выгружают на FTP-серверы с открытым доступом к внутренним папкам, а вот поисковые машины часто их не находят. После того как вы введете ваш запрос в строку поиска данного сервиса, вы увидите список найденных в интернете файлов и папок, которые содержат в своем имени или в пути к себе текст, введенный вами в поисковом запросе.

Войти на сайт

или

Забыли пароль?
Еще не зарегистрированы?