Как найти файл на конкретном сайте

Секреты поиска. Как найти нужный документ .

найти нужный документВсем привет, это следующий урок о том, как правильно искать информацию  в сети с помощью Google. Есть одна хитрость, которая, впрочем как всегда, никаким секретом не является. Мало кто из нас задумывается, но логически это понимают все – интернет это далеко не только веб-страницы ресурсов. Это видео, фото и аудио файлы, это документы различных форматов и многое другое. Даже не всегда на том или ином ресурсе в силу каких-то обстоятельств (в том числе и по недосмотру владельца файла) мы имеем доступ к нему по прямой ссылке для скачивания. Но в сети они есть и Google их прекрасно видит. Файлы проиндексированы поисковой системой, а значит, они доступны и для нас. Так что найти нужный документ бывает проще, чем каждый из нас думает. Давайте найдём их.

Перед тем, как перейти конкретно к поиску, стоит упомянуть о специальном сервисе Google, о котором, оказывается, мало кто знает. Это страница расширенного поиска:

https://www.google.com/advanced_search?hl=ru

Я нарочно оставлю это без комментариев, там всё по-русски. Изучайте и пользуйтесь. Это, скажем, страница продвинутого поиска без знания операторов Google.

У каждого из файлов есть своё расширение, которое определяет тип программы, с помощью которой ему положено открываться. По умолчанию тип сокрыт от глаз пользователя. Но не для Google. Даже не зная названия документа полностью, вы сможете (теоретически) попытаться найти нужный документ, зная, что он имеет вид, например, документа Word из набора Microsoft Office. Вобщем, Google понимает вот такие расширения:

 Adobe Portable Document Format (PDF)
 Adobe PostScript (PS)
MacWrite (MW)
Microsoft Excel (XLS)
 Microsoft PowerPoint (PPT)
 Microsoft Word (DOC)
 Microsoft Works (WDB, WKS, WPS)
Microsoft Write (WRI)
Rich Text Format (RTF)
Text (ANS, TXT)

И некоторые другие, более специфичные. Если вы собираетесь найти нужный документ , например, обязательно в формате Word с расширением .docx, то можно попробовать задать этот параметр (без точки перед расширением) уже в поисковой строке. Это должно выглядеть так:

Название_документафайлафильмапесни filetype:тип_файла

Например:

Договор купли-продажи кактуса filetype:docx

По аналогии с известным вам исключением ненужной информации из поисковой выдачи, можно, наоборот, исключить из неё ненужные расширения и работать только с определёнными их типами. Используем, тем самым, оператор исключения «-». Например:

Договор купли-продажи кактуса -filetype:docx

Всё. В поисковой выдаче страниц с договором в формате Word не будет. Будут PDF, TXT, но не Word.

Как найти нужный документ на конкретном сайте или домене.

Нередко перед некоторыми пользователями ставится задача найти нужный документ или просто посмотреть некоторую информацию только на ресурсах, имеющих более высокую степень доверия по сравнению с остальными. Например, домены .com, .edu, .org принадлежат правительственным или образовательным учреждениям, которые имеют больший информационный вес. Или нам необходимо узнать информацию или новость из первоисточника. А про обрушение котировок на английской бирже лучше узнать не из израильского сайта, не так ли? Потому лучше было зондировать именно английские источники информации – это доменная зона британцев .uk. Или канадцев — .ca. Или французов – fr. И так далее.

Так вот, чтобы заняться поиском только по конкретной доменной зоне, укажите тип домена в поисковом запросе с помощью оператора “site:”. Например:

site:.edu (не забудьте точку перед названием домена)

И при наборе информации в определённой зоне:

Do it yourself.:ru

Google будет искать результаты только в русскоязычном интернете (рунете).

По аналогии с доменной зоной можно сократить место поиска до конкретного веб-сайта. Например, если нужно прочитать справку о том или ином событий в операционной системе Windows, есть смысл обратиться к первоисточнику. Ищите в пределах только официальной справки от Microsoft на официальном сайте. Для этого используйте тот же самый оператор в таком виде:

Ошибка 000240767 site:www.microsoft.com (точку перед адресом ставить нельзя!)

Все найденные результаты будут касаться только этого сайта.

Успехов

Как это работает в обычном поиске

Введите ключевые слова: Иван Федорович Крузенштерн

Заключите словосочетание в кавычки: «книга Иван Крузенштерн»

Вставьте оператор OR между словами: человек OR пароход

Поставьте знак минуса перед словами: -пароход, -«книга о пароходе»

Вставьте две точки между числами и укажите единицу измерения: 300..1000 рублей, 1812..1846

Поиск страниц на выбранном языке.

Поиск страниц, созданных в определенной стране.

Поиск страниц, которые были созданы или обновлены в течение указанного времени.

Поиск на определенном сайте (например, wikipedia.org ) или в домене (например, .edu, .org или .gov).

Поиск по тексту, заголовку или адресу страниц, а также по ссылкам на них.

Показывать все результаты

Используйте Безопасный поиск, чтобы избавиться от неприятных и непристойных сайтов и картинок в результатах поиска.

Поиск страниц и файлов определенного формата.

Поиск страниц, которые можно бесплатно использовать, распространять и изменять.

Рассказываем, как искать нужную информацию быстро и легко.

Как пользоваться поиском в Google: 30 хитростей

1. Поиск точной фразы

Иногда бывает необходимо найти фразу именно в том виде, в котором мы её вводим. Допустим, когда мы ищем текст песни, но знаем только одно предложение. В таком случае вам нужно заключить его в кавычки. Например так: "Feel as though nobody cares".

2. Поиск по конкретному сайту

Google — отличный поисковик. Как правило, он содержит гораздо больше настроек, чем встроенный поиск на сайтах. Именно поэтому рациональнее использовать Google для поиска информации на каком-нибудь ресурсе. Для этого нужно ввести site:, указать доменное имя сайта и прописать нужный запрос. Вот как, к примеру, будет выглядеть поиск по «Википедии»: site:wikipedia.org масонская ложа.

3. Поиск слов в тексте

Если нужно, чтобы в тексте найденных результатов были все слова запроса, введите перед ним allintext:. Вот так, к примеру: allintext: как быстро протрезветь.

Если одно слово запроса должно быть в тексте, а остальные — в любом другом месте страницы, включая заголовок или URL, поставьте перед словом intext:, а остальное напишите до этого. Например: intext:коронавирус у животных.

4. Поиск слов в заголовке

Если вы хотите, чтобы все слова запроса были в заголовке, используйте фразу allintitle:. Скажем, вот так: allintitle:тренировка дня.

Если только часть запроса должна быть в заголовке, а остальное — в другом месте документа или страницы, ставьте просто intitle:.

5. Поиск слов в URL

Чтобы найти страницы, у которых ваш запрос прописан в URL, введите allinurl: и нужный текст.

6. Поиск новостей для конкретной локации

Если нужны новости по определённой тематике из конкретной локации, используйте операторlocation: в запросе. Например, вот так: распродажи location:москва.

7. Поиск с несколькими пропущенными словами

Вам нужно найти предложение в документе или статье, но вы помните только слова в начале и в конце. Введите свой запрос и укажите с помощью оператора AROUND(число), сколько приблизительно слов было между теми словами, которые вы помните. Выглядит это так: У лукоморья AROUND(5) дубе том.

8. Поиск с неизвестным словом или цифрой

Забыли какое-то слово из поговорки, песни, цитаты? Не беда. Google всё равно поможет его найти — просто поставьте символ * (звёздочку) на месте забытого слова.

9. Поиск сайтов, которые ссылаются на интересующий вас ресурс

Этот пункт полезен владельцам блогов или сайтов. Если вам интересно, кто же ссылается на ваш ресурс или даже на определённую страницу, то достаточно ввести в поисковой строке адрес и поставить перед ним оператор link:. Например, вот так: link:lifehacker.ru.

10. Исключение результатов с ненужным словом

Представим ситуацию. Вы решили поехать отдыхать на острова. И вы совсем не хотите на Мальдивы. Чтобы Google не показывал их в результатах поиска, нужно просто ввести Отдых на островах -Мальдивы. То есть перед названием поставить символ - (дефис).

11. Поиск похожих сайтов

Вы желаете найти всех своих конкурентов. Или вам очень нравится сайт, но не хватает материала на нём, а вам хочется ещё и ещё. Вводим оператор related: и любуемся результатом. Выглядит это следующим образом: related:wikipedia.org.

12. Поиск «или-или»

Если хотите сэкономить время, можно получить выдачу сразу по двум запросам. В результатах будет информация, связанная с одним из указанных слов или с обоими. Это делается с помощью оператора OR, который можно заменить символом |. Например, безос OR маск или безос|маск.

13. Поиск разных слов в одном предложении

Для нахождения связей между объектами или просто для поиска упоминания двух личностей вместе можно использовать символ &. Пример: Фрейд & Юнг.

14. Поиск по синонимам

Для охвата большего количества результатов можно добавить к запросу символ ~ и получить выдачу не только по заданному слову, но и по его синонимам. Например, если написать ~дешёвые умные часы, то поисковик также отобразит информацию, которая содержит слова «дешёвые», «недорогие», «доступные» и так далее.

15. Поиск в заданном диапазоне чисел

Очень полезный секрет поисковика. Он пригодится, если вам нужно найти, например, события, произошедшие в определённые года, или цены в определённом диапазоне. Просто поставьте две точки между числами. Google будет искать именно в этом диапазоне.

16. Поиск файлов определённого формата

Если вам нужно найти какой-нибудь документ или просто файл определённого формата, то и здесь может помочь Google. Достаточно добавить в конце вашего запроса filetype:doc. Вместо doc можно подставить нужный формат.

17. Поиск кешированных страниц

Полезная функция, которая здорово выручает в ситуациях, когда нужно прочитать удалённую новость или открыть страницу временно не работающего сайта. Чтобы воспользоваться ей, необходимо добавить оператор cache: перед названием ресурса или адресом страницы в поисковой строке.

18. Поиск по картинке

Google умеет искать не только картинки, но и по картинкам. То есть использовать в качестве запроса не текст, а изображение. Это пригодится в случаях, когда нужно найти товар по фото или более качественную версию картинки в высоком разрешении. Переключитесь на вкладку «Картинки», нажмите на иконку камеры в строке поиска и перетащите в специальную область файл изображения. Можно также просто вставить прямую ссылку на картинку.

19. Поиск в социальных сетях

Чтобы сузить область поиска, когда нужно найти информацию из социальных медиа, используйте оператор @ и название соцсети. Например, для поиска в Twitter поставьте после запроса @twitter.

20. Поиск по хештегам

Если нужно найти какие-нибудь посты в соцсетях, объединённые одним хештегом, то пригодится такой трюк. Просто поставьте перед запросом символ #. Выглядит это следующим образом — #ps5, #новыйгод.

Бонус: ещё 10 полезных функций Google

1. Google может поработать неплохим калькулятором. Для этого просто введите нужную операцию в поисковую строку. Поддерживаются арифметические операции, функции, площади фигур, а также формулы расчётов, теоремы и построение графиков.

2. Google может заменить толковый словарь. Если хотите узнать значение слова, а не просто посмотреть страницы по теме, добавляйте к слову define или значение.

3. Можно использовать поисковик в качестве конвертера величин и валют. Чтобы вызвать конвертер, наберите запрос с переводом, например 60 миль в км.

4. С помощью Google вы можете узнать погоду и время без необходимости заходить на сайты. Наберите запросы погода город, время город. Если не указывать город — поисковик покажет местную погоду и время.

5. Чтобы посмотреть результаты и расписание матчей спортивной команды, просто наберите в поисковике её название.

6. Чтобы перевести слово на любой язык, напишите в поисковой строке перевод слово и выберите нужный язык .

7. По запросу восход город Google показывает время восхода и заката (для последнего — соответствующий запрос).

8. Google содержит самую разнообразную справочную информацию — от физических величин до астрономических данных. У поисковика можно напрямую спросить плотность свинца, температуру Солнца, расстояние до Луны и многое другое.

9. Если вы вводите в поисковую строку номер авиарейса, Google выдаёт полную информацию о нём.

10. Чтобы увидеть таблицу с котировками конкретной компании, просто введите запрос акции компания, например акции apple.

Если у вас есть свои способы эффективнее использовать Google и быстрее находить нужную информацию, делитесь советами в комментариях к этой статье. 

Текст обновлён 2 февраля 2021 года.

Читайте также 🧐

  • 10 полезных сервисов Google, о которых вы могли не знать
  • 8 поисковиков, которые лучше, чем Google
  • 10 инструментов, которые помогут найти удалённую страницу или сайт

Ищем и скачиваем непопулярные и старые файлы в интернете

Время на прочтение
14 мин

Количество просмотров 194K

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.

Попытка скачать хотя бы один файл
Увы, частая ситуация в попытке хоть что-то скачать

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.

Зачем это нужно?

  • Отсутствие некоторых релизов на дисках
В случае с видео, иногда случается так, что картину дублируют и транслируют по телевидению в какой-то стране, а на дисках не выпускают. Капперы выкладывают ТВ-рипы в файлообменные сети или BitTorrent, затем выходят DVD в другой стране, без соответствующей аудиодорожки, например, французской, и люди вынуждены либо качать DVDRip с хорошим качеством видео без французской дорожки, либо ТВ-рип с ней. Проходит время, ТВ-рип раздают все меньше и меньше людей, он удаляется с файлообменников из-за неактивности, и все — французский релиз становится скачать гораздо сложнее.
Проблему можно было бы решить, совместив аудиодорожку из ТВ-рипа с доступным видео из DVD, что не всегда так просто, как кажется. Этим никто не занялся и ТВ-версия умерла.

  • Отличие контента ТВ- и DVD-версии
Например, мультсериал «Дарья» лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.

  • Региональные различия
Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD.
Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.

Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?

Usenet

Usenet — распределенная сеть из серверов, синхронизирующих информацию между собой. Структура Usenet напоминает что-то среднее между форумами и электронной почтой: в «новостных группах» (так называются тематические категории в Usenet) сообщения имеют древовидную структуру, пользователи могут подписываться на конкретные группы, читать и писать в них. Как и в Email, у сообщений есть тема (subject), которая позволяет ориентироваться в содержании дискуссий. Сейчас используется преимущественно для обмена файлами.

История Usenet

Появившаяся в 1979 году, в до-интернетовскую эпоху сеть использовала прямые модемные соединения для передачи информации через UUCP и была инструментом преимущественно текстового общения. В свое время Usenet конкурировал с BBS, существовали специальные шлюзы в и из Fidonet. С приходом интернета, сообщения Usenet начали передаваться по TCP/IP, используя протокол NNTP, который остается относительно используемым и вне Usenet (например, можно читать огромное количество публичных списков рассылок через gmane и RSS-фиды через gwene, причем, в отличие от списков рассылок, вы всегда можете посмотреть всю историю, а не только сообщения с момента вашей подписки).

Чтение email-рассылок через NNTP

С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день.
Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive.

Загрузка файлов в Usenet

До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.

Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.

В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй — FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.

Подключение к Usenet

Полноценно пользоваться сетью бесплатно, скорее всего, не получится: либо столкнетесь с низким временем хранения файлов (10-30 дней), либо с низкой скоростью, либо получите доступ только к текстовым группам. Придется купить доступ у какого-нибудь провайдера или их реселлеров. Большинство провайдеров имеют два типа тарифов: месячный абонемент без ограничений по количеству скачанного (unlimited) и пакет трафика без ограничения по времени (block). Если вы собираетесь качать файлы из сети пару раз в месяц, block-доступа вам хватит надолго.
Крупнейшими провайдерами являются Altopia, Giganews, Eweka, NewsHosting, Astraweb.

Теперь нужно каким-то образом получить nzb-файл с метаинформацией, это что-то вроде .torrent-файла. Если у вас его нет, нужно воспользоваться поисковиком-индексатором.

Индексаторы

Общедоступные индексаторы завалены спамом с вирусами и ищут, как правило, плохо, но, тем не менее, подходят для поиска устаревших файлов, загруженных около 5 и более лет назад.
Вот некоторые из них:

  • binsearch.info
  • binzb.com
  • nzbindex.com
  • nzbsearch.net
  • nzbking.com

Бесплатные индексаторы, требующие регистрацию, больше подходят для файлов посвежее. Они хорошо каталогизированы, релизы имеют не только название, но и описание с картинкой.

  • nzbfinder.ws
  • nzbid.org
  • nzbnoob.com
  • nzb.ag
  • nzbfriends.com
  • usenet-crawler.com
  • drunkenslug.com
  • nzbgeek.info

Последние два особенно рекомендую, в них можно найти множество обфусцированных релизов.
Существуют и узконаправленные сайты. Например, индексатор аниме anizb и музыки albumsindex.

Скачивание с Usenet

Давайте попробуем скачать фильм The FP 2011 года, достаточно неизвестный и непопулярный, BDRip’а которого в 1080p так просто найти мне не удалось. Для этого вам нужно найти nzb-файл и импортировать его в программу для закачки, например, NZBGet или SABnzbd, предварительно ее установив.
Заходим на nzbking.com, выполняем поиск по «the.fp.2011».
Поиск the.fp.2011 в nzbking, файл только с одной доступной частью
Видим в индексе файл, у которого доступна только одна часть из 3867. Такой файл не скачать, поэтому индексатор отображает этот параметр красным цветом.

Поиск the.fp.2011 в nzbking, нашелся файл с паролем
Файлы, защищенные паролем, как правило, являются просто фейками.

Поиск the.fp.2011 в nzbking, нашелся DVDRip
На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля — хороший знак.

BDRip the.fp.2011 в nzbking
На третьей странице находим BDRip и несколько DVDRip’ов, похожих на настоящие (судя по размеру файла и дате загрузки).
Выбираем файлы, которые хотим скачать, нажимаем кнопку «Download NZB», скачиваем .nzb-файл и импортируем его в NZBGet или SABnzbd, предварительно вписав данные своего Usenet-аккаунта в настройки программы. Начинается скачивание со скоростью канала моего провайдера.

Скачивание файла через NZBGet
По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!

IRC / DCC / XDCC

Internet Relay Chat — протокол текстового общения, до сих пор пользующийся популярностью у разработчиков свободного ПО, администраторов торрент-трекеров, анимешников и авторов ботнетов из-за своей простоты. Появившийся в 1989 году, IRC стал стандартом групповых чатов в интернете на долгие годы, и начинает терять популярность только к середине 2000-х, с приходом ICQ и Jabber. В IRC существует возможность передачи файлов — DCC, на основе которой в 1994 году был написан первый бот для автоматического распространения доступных боту файлов — Xabi DCC (отсюда и название — XDCC).

На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).

В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.

Индексаторы

Многие (но не все) XDCC-боты индексируются специальными скриптами, предоставляющими веб-интерфейс для эффективного поиска файлов.
Общие индексаторы контента:

  • ixirc.com
  • xdcc.eu
  • sunxdcc.com
  • cr4wl.ga

Индексаторы аниме:

  • news.kae.re
  • nibl.co.uk
  • intel.haruhichan.com

Скачивание из IRC

Вам потребуется IRC-клиент, подойдет практически любой (подавляющее большинство клиентов поддерживает DCC). Подключаемся к интересующему вас серверу из списка, заходим на канал. Крупнейшие серверы с книгами:

  • irc.undernet.org, канал #bookz
  • irc.irchighway.net, канал #ebooks

Варезом:

  • irc.criten.net, канал #elitewarez
  • irc.infatech.net, канал #elitewarez
  • irc.scenep2p.net, канал #the.source

Фильмами:

  • irc.abjects.net, канал #moviegods
  • irc.abjects.net, канал #beast-xdcc

Мультфильмами и аниме:

  • irc.rizon.net, канал #news
  • irc.xertion.org, канал #cartoon-world

Все версии ботов принимают команду !find или @find для поиска файлов, после чего отправляют результаты личным сообщением. Для популярных запросов на каналах с большим количеством ботов вас буквально заспамит ответами, поэтому, если канал поддерживает команду @search, лучше воспользоваться ей — специальный индексатор канала отправит вам результаты одним файлом через DCC.

Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) — замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.
Поиск книги на IRC-канале

Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:
Прием ZIP-архива

Отправляем боту запрос на скачивание файла:
Запрос на скачивание файла

…и принимаем его!
Прием файла

Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.

DC++

Direct Connect-сеть представляет собой клиент-серверную архитектуру, где все коммуникации, кроме непосредственно обмена файлами, происходят через сервер. В DC++ есть возможность расшаривания файлов и директорий, поиск файлов с учетом их типа (видео, аудио, архивы, документы, образы дисков), ссылки на файлы, независящие от имени файла и, конечно же, чат, из-за чего DC++-хабы были очень популярны в локальных сетях интернет-провайдеров РФ. Сибирский провайдер GoodLine рекламировал свой внутрисетевой хаб на уличных рекламных щитах, писал ПО для упрощения файлообмена и даже встраивал его в свои Set-top box, чтобы клиенты могли смотреть новинки кинематографа прямо с телевизора. На хабе сидело более 100000 человек — больше, чем в любом другом хабе в мире.

EiskaltDC++, хаб allavtovo

Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.

Поиск в DC++
3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.

Скачивание из DC++

Вам потребуется какой-нибудь DC-клиент. Под Windows рекомендую FlylinkDC++ (который, к тому же, поддерживает BitTorrent), под Linux — EiskaltDC++ и AirDC++ Web. Далее нужно подключиться к популярным хабам, лучше сразу к десятку. Список хабов есть в самих программах, но можно воспользоваться специальной страницей и скопировать адреса оттуда.

Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.

Страница настроек EiskaltDC++

Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.

Скачивание файла в DC++

Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.

Из-за ограничений протокла NMDC, одновременный поиск нескольких файлов затруднен, результаты одного поискового запроса могут перемешиваться и отображаться в соседних окнах поиска, поэтому лучше не искать несколько файлов одновременно. У хабов, работающих по протоколу ADC, таких ограничений нет, но и таких хабов удручающе мало (их URI начинается с adc://, а не с dchub://).

Индексаторы

Поиск внутри программы может найти только файлы пользователей, находящихся в DC-сети на момент поиска, поэтому индексаторы очень полезны для нахождения и скачивания файлов с редко запускающих программу людей.

Насколько мне известно, полноценный индексатор DC++ есть только один — spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте.
Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.

eDonkey2000 (ed2k), Kad

ed2k — протокол децентрализованной передачи файлов, требующий сервер-хаб для нахождения пользователей и соединения с ними. Был протоколом №1 для передачи файлов среди всех слоев населения, до закрытия самого популярного сервера Razorback 2 в 2006 году и роста популярности BitTorrent.

eDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.

В ed2k можно найти примерно то же самое, что и в DC++ — старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.

Скачивание в eDonkey2000 / Kad

Как вы уже догадались, потребуется ed2k-клиент. Хороший выбор для Linux — aMule, для Windows, наверное, eMule, хоть он и не обновлялся с 2011 (Обновление: появилась официальная версия eMule от сообщества, доступная для скачивания на официальном сайте, она обновляется). Крайне рекомендую пробросить порты, чтобы иметь возможность скачивать с пользователей за NAT (LowID).

Процесс поиска и скачивания файлов очень похож на таковой в DC++ — вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания.
Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.

Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public — картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com — сервису аудио- и видеотрансляций, основанном в 1993 году.

Вводим поисковую фразу, получаем результаты:
Поиск фильма We Live In Public в ed2k

Кликаем, начинается скачивание:
Скачивание фильма We Live In Public в ed2k

Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.

Soulseek

Soulseek — централизованная сеть обмена музыкальным файлами по принципу P2P, созданная в 2000 году одним из разработчиков Napster. Долгое время была популярна среди слушателей и авторов IDM и прочей электронной музыки, и по сей день сеть развивается и остается хорошим местом для поиска аудиофайлов. Есть групповые и приватные чаты, возможность раздачи файлов только друзьям, удобный поиск музыки с указанием битрейта и других характеристик аудиофайлов. Некоторые поисковые запросы цензурируются.

Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+.

BitTorrent DHT

Все популярные клиенты BitTorrent могут искать пиров и обмениваться торрент-файлами через распределенную хеш-таблицу (DHT). Этим пользуются не только компании, отслеживающие раздающих файл пользователей, по договору с правообладателями контента, но и индексаторы, которые пытаются получить torrent-файл с infohash из DHT-запроса и сохранить его в своей базе. Индексаторы могут найти нигде не опубликованный или просто редкий торрент по названию директории или файла, а также различные дубликаты интересующего вас торрента с потенциальными сидерами.
Ранее самым популярным индексатором был ныне неработающий btdigg, на смену ему, с некоторым запозданием, пришли следующие сайты:

  • bitsnoop.com
  • godht.com
  • btdb.in
  • digbt.org
  • btdb.in
  • btkitty.bid
  • kikibt.net
  • btdig.com (не имеет отношения к оригинальному btdigg, хоть и страница в wikipedia говорит об обратном)

К сожалению, подобные сервисы не живут долго: два моих любимых, fastbot и BTKitty.red, не открывались на момент написания статьи.

Файлообменники и FTP-серверы

Почти в каждом регионе существуют свои местные файлообменники, пользующиеся популярностью у конкретной языковой группы. Например, на uloz.to можно найти много чешского и словацкого контента, zone-telechargement.ws подойдет любителям французского языка, а chomikuj.pl для поляков.

Индексаторы FTP-серверов нечасто находят нужные файлы, но попытаться стоит:

  • mmnt.net
  • searchftps.net
  • filemare.com
  • ftpsearch.lostclus.kiev.ua
  • filewatcher.com
  • krasfs.ru
  • ftplike.com

Поисковики по популярным файлообменникам тоже существуют, но не всегда эффективны:

  • filediva.com
  • rapid-search-engine.com
  • alluc.ee

До совсем недавнего времени большое количество контента можно было найти на ex.ua, но увы.


Как искать

Не всегда достаточно искать файлы только по названию материала, так можно упустить сценические релизы.

Рели́зная гру́ппа — сообщество людей-энтузиастов, объединенных идеей свободы информации. Выпускает электронные копии CD или DVD с фильмами, музыкой, программами и играми для компьютеров и игровых приставок, руководствуясь правилами релизов и соревнуясь со своими коллегами-конкурентами в скорости и качестве выпуска таких копий (релизов). Сообщество релизных групп, объединенных одной темой (музыка определенного жанра, кинофильмы или варез), называется сценой.

https://ru.wikipedia.org/wiki/Релизная_группа
Сценические релизы очень часто содержат сокращенные или намеренно испорченные имена архивов, которые нельзя найти обычным поиском по имени файла. Чтобы узнать настоящее имя, нужно поискать его в специальных индексаторах сцен-релизов: layer13.net, pre.corrupt-net.org и predb.me.

Попробуем узнать сценическое название архивов с релизом We Live In Public от PUZZLE на Layer13:

We Live In Public на Layer13

NFO-файл называется «puzzle-wlip.nfo». Названия архивов практически всегда, в 99% случаев совпадают с названием NFO, поэтому попробуем поискать это название в Usenet-индексаторе:
Поиск по сценическому имени архива в Usenet

Ура, теперь мы можем скачать DVD фильма!

Обычные поисковые системы вроде Google не всегда будут вам помощниками. Во-первых, Google следует букве закона и удаляет (скрывает) результаты с сайтов, о которых сообщают ему правообладатели в рамках DMCA, во-вторых, поиск контента с названием из спецсимволов затруднен: проблемно найти что-либо о W.I.T.C.H., вам постоянно подсовывают информацию о Witch, The Witch или Blair Witch. Я предпочитаю пользоваться DuckDuckGo, Bing и метапоисковиком SearX — через них можно найти материалы, недоступные в Google.
Если вас интересует релиз на конкретном языке, уместней узнать локализованное название и совершать поиск по нему. Получить подобную информацию можно на Wikipedia, IMDb и других подобных сайтах.

Для аниме есть anidb, хранящий информацию о релизах групп на разных языках. Карточка группы, как правило, содержит ссылку на сайт или IRC-канал, где можно пообщаться с ее членами и скачать файлы через XDCC.
Информация о группах на Anidb

Помимо источника, разрешения видео, языков аудиодорожек и субтитров, на anidb есть TTH-хеш для DC++ и ed2k-ссылка для каждого файла.
Информация о файле на anidb

Заключение

Примерно так я ищу нужные мне файлы. В посте намеренно не упомянуты очевидные вещи, вроде покупки дисков с Amazon или Ebay и поиска по популярным открытым и закрытым Torrent-трекерам. Все способы применимы для медиаконтента из Европы и США, мне никогда не приходилось искать, например, арабский и индийский контент, поэтому не могу сказать, насколько они эффективны.

Скрытый текст

А еще Usenet можно использовать для дешевого хранения резервных копий: шифруем файлы, покупаем доступ в Usenet за $10, загружаем файлы, через 4 года опять покупаем доступ и скачиваем их за еще одни $10. В отличие от облаков, в Usenet не нужно оплачивать хранение файлов. Но без фанатизма, а то удалят.

Поиск по файлообменникам — что это, зачем и почему мы не слышали об этом раньше

Что такое поиск по файлообменникам и как они работают?

Что такое поиск по файлообменникам и как они работают?

В Интернете доступно огромное количество серверов, работающих по протоколу FTP. (Чем протокол FTP отличается от HTTP/HTTPS, что будет, если заменить начало URL-адреса большинства сайтов — можно прочитать в любом специализированном справочнике, сейчас же интересно рассмотреть поисковики, индексирующие файлы на FTP-серверах).

Так как большинство FTP-серверов хранит данные в свободном доступе, без необходимости ввода логина и пароля, (а если с паролем — то создатели поисковой системы стараются узнать его и предоставить доступ своим пользователям) потому, что не каждый хост определен владельцем как хранилище приватных данных или данных сайта — очевидно, что возникает возможность просматривать и индексировать файлы, лежащие на серверах, допускающих анонимное подключение.

Вот, вкратце, и вся предыстория появление FTP-поисковиков: они «проходят» по доступным серверам, создают базу данных файлов, создают точную копию расположения и иерархического устройства директорий и предоставляют расположение файла в ответ на запрос пользователя с названием, фрагментом или другими параметрами файла, доступными к пониманию поисковой системы. Да, хорошие решения в это сфере ищут по любому фрагменту, доступному внутри файла.

Особенности FTP-поисковиков

Подобные поисковики — это история только про файлы. Без агрессивной рекламы, редиректов, всплывающих окон, внезапных звуков, громоздких фреймов и т.д. Просто ссылки на файлы — и все. Вы получаете комплект файлов, подключаетесь к серверу и загружаете к себе на компьютер нужные вам файлы через FTP-клиент или «проводник».

FTP-поисковики нужны для быстрого поиска, быстрой загрузки и концентрации ресурсов компьютера и пользователя исключительно на поиске файлов — без навязчивой рекламы, всплывающих окон и потери скорости.

Обзор имеющихся решений в области FTP-поиска. Сравнение, описание и тест-драйв

Сразу стоит сказать, что рассматриваемые ниже сервисы — это далеко не полный список решений, доступных в нише поисковых систем, работающих по протоколу FTP, но это список наиболее крупных и мощных сервисов с обширной базой доступных серверов и мощным функционалом поиска.

FileSearch.ru

Проект запущен более 20 лет назад. FS индексирует огромное количество российских FTP-серверов и тысячи зарубежных. Доступны только серверы с анонимным доступом. На момент написания данной статьи, индексная база составляет 31 595 791 файлов общим объемом 51565.6 Gb. Сервис регулярно обновляет индексы и следит за наличием файлов на серверах, что видно при поиске — неактивных ссылок в выдаче практически нет, так как они удаляются из базы индексации в течение нескольких недель

Данный поисковик предлагает искать файлы, каталоги, аудио и видео файлы, изображения и сервера по их именам. Данный сервис поддерживает поиск внутри домена, а также поиск конкретной папки на сервере, поиск по размеру, по маске, по регулярным выражениям или точному фрагменту текста. Кроме того сервис выдает всю информацию о файле и внесенных в него изменениях.

FileSearch.ru

Мамонт

Проект Константина Айги, на который обязательно стоит обратить внимание, так как проект разрабатывал всего один человек с абсолютного нуля.

Во многом функционал этого поисковика совпадает с FileSearch.ru, уступает в количестве проиндексированных файлов, поддерживает обычный веб-поиск по сайтам, а также поиск внутри архивов.

Мамонт

FreeWareWeb.com

На фоне остальных рассмотренных поисковиков выглядит пестрой рекламной доской объявлений, с нелогично составленными блоками и внешне (как и многие другие FTP-поисковики) похож на сайт двадцатилетней давности. По функционалу беднее, чем FileSearch.ru , выдает до 2000 результатов и не поддерживает поиск по регулярным выражениям.

FreeWareWeb.com

Как уже было сказано выше, это далеко не все имеющиеся решения, позволяющие осуществлять FTP-поиск, а лишь список, состоящий из нескольких крупных проектов, и необходимый для получения общего представления о теме статьи. С появлением файлообменников и развитием таких поисковых гигантов как Google, изолированные FTP-поисковики постепенно уходят в прошлое, становятся заброшенными (частично или полностью) или вовсе уходят в историю развития интернет-технологий.

Скорее всего, буквально через несколько лет поиск по протоколу FTP уйдет в прошлое так как современные поисковые решения уже стирают границы, во всяком случае, для конечного пользователя и умеют находить и текстовые документы, и архивы, и музыку по напеваемому фрагменту, а с помощью нейронных сетей могут догадываться о том, что конкретно хочет увидеть конкретный пользователь на видео. К сожалению, основное преимущество FTP-поисковиков в скорости уничтожается, становится незаметным и неосязаемым с развитием вычислительной мощности, а также технологий индексации и хранения данных. Но, если вам интересен поиск файлов по FTP — теперь вы знаете, куда обратиться.

Пожалуйста, оставляйте свои комментарии по текущей теме статьи. Мы очень благодарим вас за ваши комментарии, отклики, лайки, дизлайки, подписки!

Пожалуйста, оставьте свои комментарии по текущей теме статьи. За комментарии, лайки, дизлайки, подписки, отклики огромное вам спасибо!

Ищем и скачиваем непопулярные и старые файлы в интернете

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.

Попытка скачать хотя бы один файл
Увы, частая ситуация в попытке хоть что-то скачать

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.

Зачем это нужно?

• Отличие контента ТВ- и DVD-версии
Например, мультсериал «Дарья» лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.

• Региональные различия
Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD.
Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.

Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?

Usenet

Usenet — распределенная сеть из серверов, синхронизирующих информацию между собой. Структура Usenet напоминает что-то среднее между форумами и электронной почтой: в «новостных группах» (так называются тематические категории в Usenet) сообщения имеют древовидную структуру, пользователи могут подписываться на конкретные группы, читать и писать в них. Как и в Email, у сообщений есть тема (subject), которая позволяет ориентироваться в содержании дискуссий. Сейчас используется преимущественно для обмена файлами.

История Usenet

Чтение email-рассылок через NNTP

С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день.
Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive.

Загрузка файлов в Usenet

До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.

Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.

В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй — FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.

Подключение к Usenet

Теперь нужно каким-то образом получить nzb-файл с метаинформацией, это что-то вроде .torrent-файла. Если у вас его нет, нужно воспользоваться поисковиком-индексатором.

Индексаторы

Скачивание с Usenet

Давайте попробуем скачать фильм The FP 2011 года, достаточно неизвестный и непопулярный, BDRip’а которого в 1080p так просто найти мне не удалось. Для этого вам нужно найти nzb-файл и импортировать его в программу для закачки, например, NZBGet или SABnzbd, предварительно ее установив.
Заходим на nzbking.com, выполняем поиск по «the.fp.2011».
Поиск the.fp.2011 в nzbking, файл только с одной доступной частью
Видим в индексе файл, у которого доступна только одна часть из 3867. Такой файл не скачать, поэтому индексатор отображает этот параметр красным цветом.

Поиск the.fp.2011 в nzbking, нашелся файл с паролем
Файлы, защищенные паролем, как правило, являются просто фейками.

Поиск the.fp.2011 в nzbking, нашелся DVDRip
На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля — хороший знак.

BDRip the.fp.2011 в nzbking
На третьей странице находим BDRip и несколько DVDRip’ов, похожих на настоящие (судя по размеру файла и дате загрузки).
Выбираем файлы, которые хотим скачать, нажимаем кнопку «Download NZB», скачиваем .nzb-файл и импортируем его в NZBGet или SABnzbd, предварительно вписав данные своего Usenet-аккаунта в настройки программы. Начинается скачивание со скоростью канала моего провайдера.

Скачивание файла через NZBGet
По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!

IRC / DCC / XDCC

Internet Relay Chat — протокол текстового общения, до сих пор пользующийся популярностью у разработчиков свободного ПО, администраторов торрент-трекеров, анимешников и авторов ботнетов из-за своей простоты. Появившийся в 1989 году, IRC стал стандартом групповых чатов в интернете на долгие годы, и начинает терять популярность только к середине 2000-х, с приходом ICQ и Jabber. В IRC существует возможность передачи файлов — DCC , на основе которой в 1994 году был написан первый бот для автоматического распространения доступных боту файлов — Xabi DCC (отсюда и название — XDCC).

На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).

В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.

Индексаторы

Скачивание из IRC

  • irc.undernet.org, канал #bookz
  • irc.irchighway.net, канал #ebooks
  • irc.criten.net, канал #elitewarez
  • irc.infatech.net, канал #elitewarez
  • irc.scenep2p.net, канал #the.source
  • irc.abjects.net, канал #moviegods
  • irc.abjects.net, канал #beast-xdcc
  • irc.rizon.net, канал #news
  • irc.xertion.org, канал #cartoon-world

Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) — замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.
Поиск книги на IRC-канале

Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:
Прием ZIP-архива

Отправляем боту запрос на скачивание файла:
Запрос на скачивание файла

…и принимаем его!
Прием файла

Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.

Direct Connect-сеть представляет собой клиент-серверную архитектуру, где все коммуникации, кроме непосредственно обмена файлами, происходят через сервер. В DC++ есть возможность расшаривания файлов и директорий, поиск файлов с учетом их типа (видео, аудио, архивы, документы, образы дисков), ссылки на файлы, независящие от имени файла и, конечно же, чат, из-за чего DC++-хабы были очень популярны в локальных сетях интернет-провайдеров РФ. Сибирский провайдер GoodLine рекламировал свой внутрисетевой хаб на уличных рекламных щитах, писал ПО для упрощения файлообмена и даже встраивал его в свои Set-top box, чтобы клиенты могли смотреть новинки кинематографа прямо с телевизора. На хабе сидело более 100000 человек — больше, чем в любом другом хабе в мире.

EiskaltDC++, хаб allavtovo

Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.

Поиск в DC++
3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.

Скачивание из DC++

Вам потребуется какой-нибудь DC-клиент. Под Windows рекомендую FlylinkDC++ (который, к тому же, поддерживает BitTorrent), под Linux — EiskaltDC++ и AirDC++ Web. Далее нужно подключиться к популярным хабам, лучше сразу к десятку. Список хабов есть в самих программах, но можно воспользоваться специальной страницей и скопировать адреса оттуда.

Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.

Страница настроек EiskaltDC++

Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.

Скачивание файла в DC++

Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.

Индексаторы

Поиск внутри программы может найти только файлы пользователей, находящихся в DC-сети на момент поиска, поэтому индексаторы очень полезны для нахождения и скачивания файлов с редко запускающих программу людей.

Насколько мне известно, полноценный индексатор DC++ есть только один — spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте.
Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.

eDonkey2000 (ed2k), Kad

ed2k — протокол децентрализованной передачи файлов, требующий сервер-хаб для нахождения пользователей и соединения с ними. Был протоколом №1 для передачи файлов среди всех слоев населения, до закрытия самого популярного сервера Razorback 2 в 2006 году и роста популярности BitTorrent.

eDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.

В ed2k можно найти примерно то же самое, что и в DC++ — старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.

Скачивание в eDonkey2000 / Kad

Как вы уже догадались, потребуется ed2k-клиент. Хороший выбор для Linux — aMule, для Windows, наверное, eMule, хоть он и не обновлялся с 2011 (Обновление: появилась официальная версия eMule от сообщества, доступная для скачивания на официальном сайте, она обновляется). Крайне рекомендую пробросить порты, чтобы иметь возможность скачивать с пользователей за NAT (LowID).

Процесс поиска и скачивания файлов очень похож на таковой в DC++ — вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания.
Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.

Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public — картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com — сервису аудио- и видеотрансляций, основанном в 1993 году.

Вводим поисковую фразу, получаем результаты:
Поиск фильма We Live In Public в ed2k

Кликаем, начинается скачивание:
Скачивание фильма We Live In Public в ed2k

Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.

Soulseek

Soulseek — централизованная сеть обмена музыкальным файлами по принципу P2P, созданная в 2000 году одним из разработчиков Napster. Долгое время была популярна среди слушателей и авторов IDM и прочей электронной музыки, и по сей день сеть развивается и остается хорошим местом для поиска аудиофайлов. Есть групповые и приватные чаты, возможность раздачи файлов только друзьям, удобный поиск музыки с указанием битрейта и других характеристик аудиофайлов. Некоторые поисковые запросы цензурируются.

Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+.

BitTorrent DHT

Файлообменники и FTP-серверы

Почти в каждом регионе существуют свои местные файлообменники, пользующиеся популярностью у конкретной языковой группы. Например, на uloz.to можно найти много чешского и словацкого контента, zone-telechargement.ws подойдет любителям французского языка, а chomikuj.pl для поляков.

До совсем недавнего времени большое количество контента можно было найти на ex.ua, но увы.

Как искать

https://ru.wikipedia.org/wiki/Релизная_группа
Сценические релизы очень часто содержат сокращенные или намеренно испорченные имена архивов, которые нельзя найти обычным поиском по имени файла. Чтобы узнать настоящее имя, нужно поискать его в специальных индексаторах сцен-релизов: layer13.net, pre.corrupt-net.org и predb.me.

Попробуем узнать сценическое название архивов с релизом We Live In Public от PUZZLE на Layer13:

We Live In Public на Layer13

NFO-файл называется «puzzle-wlip.nfo». Названия архивов практически всегда, в 99% случаев совпадают с названием NFO, поэтому попробуем поискать это название в Usenet-индексаторе:
Поиск по сценическому имени архива в Usenet

Ура, теперь мы можем скачать DVD фильма!

Обычные поисковые системы вроде Google не всегда будут вам помощниками. Во-первых, Google следует букве закона и удаляет (скрывает) результаты с сайтов, о которых сообщают ему правообладатели в рамках DMCA , во-вторых, поиск контента с названием из спецсимволов затруднен: проблемно найти что-либо о W.I.T.C.H., вам постоянно подсовывают информацию о Witch, The Witch или Blair Witch. Я предпочитаю пользоваться DuckDuckGo, Bing и метапоисковиком SearX — через них можно найти материалы, недоступные в Google.
Если вас интересует релиз на конкретном языке, уместней узнать локализованное название и совершать поиск по нему. Получить подобную информацию можно на Wikipedia, IMDb и других подобных сайтах.

Для аниме есть anidb, хранящий информацию о релизах групп на разных языках. Карточка группы, как правило, содержит ссылку на сайт или IRC-канал, где можно пообщаться с ее членами и скачать файлы через XDCC.
Информация о группах на Anidb

Помимо источника, разрешения видео, языков аудиодорожек и субтитров, на anidb есть TTH-хеш для DC++ и ed2k-ссылка для каждого файла.
Информация о файле на anidb

Как и где искать «редкие» файлы: программы, игры, фильмы и пр. (кроме как в Google / Яндекс)

poisk-faylovДоброго времени суток!

Не так давно мне потребовалось найти одну «старенькую» малопопулярную программку (😉). Разумеется (по закону подлости) ни в Яндекс, ни в Google не было ни одной рабочей ссылки.

Однако, её всё же удалось найти на одном FTP-сервере (возможно, эта аббревиатура ничего не скажет начинающим пользователям, но использовать это не так уж и сложно. ). И именно поэтому я подумал, что стоит этот материал также добавить на страницы блога.

Возможно, что кому-то это поможет (также, как и мне) найти относительно «редкий» файл. 👌 (не всегда же жить двумя поисковиками?!)

Примечание : помните, что часть файлов (которые вы вдруг найдете таким образом) могут быть защищены авторским правом! Материал сей заметки представлен в образовательных целях!

👉 В помощь!

Что касается непосредственно игр — то прежде всего попробуйте поискать их на этих официал. ресурсах!

Книги и документы — могут быть в открытых онлайн-библиотеках.

Фильмы и сериалы — возможно есть на официал. кинозалах (в т.ч. и на их родном языке, например, на англ.! Достаточно выбрать нужные субтитры).

ускорение ПК

Способы поиска

Вариант 1: «альтернативные» поисковики

Для начала (как бы это банально не звучало) попробуйте «пробежаться» по разным поисковым системам (вдруг где-то что-то «всплывет» — не всегда же в «Яндекс находится всё»).

Обратите внимание, что я привел часть зарубежных поисковиков! Это для того, чтобы натолкнуть вас на мысль сделать запрос на английском / немецком и пр. (тут, конечно, в зависимости от того, что вы ищите. Например, игра «Война роботов» в оригинале называется «War Robots»).

Кроме этого, желательно добавить к запросу год выхода (игры / фильма / альбома/ программы). При условии, что он вам известен.

Вариант 2: поиск по 10-кам торрент-трекеров

Попробуйте воспользоваться спец. поисковиками среди десятков разных торрент-трекеров (чтобы не проверять каждый в отдельности). Сделать это можно по-разному. Пару примеров ниже.

1) Во-первых , можно попробовать торрент-подборку у Владимира Демьяновича ( https://elims.org.ua/blog/torrtilla-ru-udobnyj-poiskovik-torrentov/ — у него есть неск. полезных ссылок).

2) Во-вторых , обратите внимание, что в некоторых программах для загрузки торрентов есть встроенный поисковик (например, у MediaGet, qBittorrent и пр.). Аналоги uTorrent я приводил 👉 в отдельной записи.

qBittorrent — хорошая альтернатива uTorrent

qBittorrent — хорошая альтернатива uTorrent

Вариант 3: через программы, поддерживающие DC++

Есть определенная группа программ, поддерживающая обмен файлами по протоколу Direct Connection (DC++) — т.е. прямая передача от одного пользователя к другому.

Кратко, как это выглядит на практике : вы подключаетесь к серверу (хабу), на котором можно искать и загружать файлы других пользователей (кто также подключен к хабу). Разумеется, вам тоже придется «расшарить» (поделиться) какой-нибудь своей папкой.

👉 Важно: на некоторых хабах расширено просто огромное число файлов, измеряемое тысячами ТБ! (не путайте с ГБ). А теперь представьте, если вы подключитесь к десятку таких хабов — это может быть похлеще, чем многие торрент-трекеры!

Для нашей текущей задачи можно попробовать остановиться на программе Strong DC++ (ссылка на офиц. сайт).

После ее запуска — откройте список хабов (их можно найти также и в сети Интернет) и подключитесь к нескольким из них.

Публичные хабы

Когда вы подключитесь к хабу — вы увидите общий чат, пользователей (справа), и строку состояния (внизу).

Как будет выглядеть программа, когда вы успешно подключитесь // Strong DC++

Как будет выглядеть программа, когда вы успешно подключитесь // Strong DC++

Чтобы что-то поискать на хабах (к котором вы подключены) — нажмите по значку «Лупы» в верхнем меню программы и введите поисковой запрос. См. пример ниже. 👇

Примечание : чтобы поиск был выполнен — на многих хабах нужно расшарить 10-20 ГБ информации (можно поделиться своей коллекцией музыки / фильмов, например).

Загрузка и поиск файлов / Strong DC++

Загрузка и поиск файлов / Strong DC++

Вариант 4: ищем на FTP-серверах

FTP — это протокол передачи данных, который появился еще до HTTP! А FTP-сервер — это (грубо говоря) компьютер в сети, на котором хранятся файлы (для общего использования), и, разумеется, к нему можно подключиться (используя протокол FTP) и скачать эти файлы.

Многие, конечно, сейчас считают, что обмен файлами по FTP выглядит устаревшим, и ничего существенного таким образом найти не удастся. Однако, это не всегда так! Попробуйте воспользоваться вот этими поисковиками:

    ;

  1. Proisk ( www.ftp.proisk.com ) // +100 FTP серверов; ; ;
  2. searchftps.net;
  3. www.filediva.com

👉 Важно: поимо русского запроса — попробуйте сделать запрос также на латинице (на FTP-серверах часто файлы хранятся на латинице).

Топ-10 FTP-серверов

Что касается загрузки файла с FTP-сервера — то любой современный браузер позволяет легко это сделать. По сути, это ничем не будет отличаться для вас от привычной работы в сети.

PS

Кстати, кто знаком с mIRC — то там тоже можно найти много интересных каналов с файлами (от книг, до игр с фильмами). Правда, не очень удобно сегодня этим пользоваться, но всё же.

Понравилась статья? Поделить с друзьями:
  • Как найти таблетки по фото
  • Как найти абонента мтс без его согласия
  • Как можно найти необходимый вам файл
  • Как найти архивные страницы интернета
  • Как найти изменение покупателя