Введение в Usenet

Введение в Usenet

В наше тяжелое время, когда peer-to-peer системы вроде eDonkey и DirectConnect обретают всю большую популярность среди охотников за файлами, для меня главным источником (подставить название любимого вида интеллектуальной собственности) остается Usenet. Много раз приходилось отвечать на вопросы — что это такое и как туда попасть, так что я наконец решил написать небольшое введение в этот секретное подразделение интернета и в будущем всех интересующихся отправлять к нему.

Не сомневаюсь, что подобные руководства давно существуют на русском языке (и уж подавно — на английском). Однако перед написанием предлагаемого текста я подобных руководств не искал, а просто решил изложить вкратце то, что сам знаю и думаю о Usenet'e.

Что такое Usenet

Наиболее уместным было бы сравнение Usenet'a с FIDO. По сути это совокупность серверов с так называемыми группами обсуждений (или группами новостей, или просто ньюсгруппами), по организации близкими к распространенным в www форумам. В отличие от собщений в веб-форумах, сообщения в ньюсгруппах более похожи на письма по электронной почте: их можно отправить в несколько ньюсгрупп одновременно, и они могут содержать файловые приложения (атташменты).

Главная особенность Usenet'a заключается в организации хранения данных. Веб- или ftp-сервер — это уникальное хранилище данных (веб-страниц, файлов и т. п.), содержимое одного сервера не повторяется ни на одном другом. Сервера Usenet'a, наоборот, полностью (до определенной степени) дублируют содержимое друг друга.

Синхронизация между ними происходит несколько раз в сутки, и сообщения, отправленные на один сервер, в скором времени появляются на всех остальных. Благодаря этому пользователю достаточно пользоваться лишь одним ньюссервером, чтобы получить доступ к любым группам со всем их содержимым.

Для доступа к Usenet'у использвуются специальные программы-клиенты. Microsoft Outlook и Netscape имеют возможности для чтения ньюсгрупп, но клиенты эти крайне убогие и, в частности, для обмена файлами совершенно непригодны. О рекомендуемых клиетах речь пойдет ниже.

Usenet использует собственный протокол предачи данных — NNTP (network news transfer protocol).

Плохие, злые и хорошие сервера

Разумеется, ньюсгруппы и их содержимое не всегда стопроцентно дублируется на абсолютно всех серверах. Какие группы поддерживать — определяет администратор сервера. Наример, особо злобный администратор может решить не поддерживать на своем сервере группы раздела alt. binaries, которые являются прибежищем негодяев и пиратов.

Кроме того, ньюссервер, как и любой компьютер, имеет ограниченное дисковое пространство. Поэтому по мере поступления новых сообщений старые постепенно автоматически удаляются. Время, в течение которого сообщения живут на сервере, глумительски называется retention rate. Чем оно больше, тем лучше сервер.

Итак, два главных критерия при выборе ньюссервера — это наличие на сервере интересующих вас групп и время жизни сообщений. Подключившись к серверу, вы можете сразу увидеть список поддерживаемых на нем групп, в то время, как retention можно определить только опытным путем, «на глаз», заметив, как скоро сообщения пропадают с сервера.

O Server, Where Art Thou?

Обычно интернет-провайдеры держат ньюссервер для своих клиентов. Часто провайдер под давлением откуда-то сверху или по собственной инициативе закрывает у себя доступ к пиратским ньюсгруппам и или с целью ограничить траффик устанавливает крайне низкий retention rate, порядка одного дня. Некоторые провайдеры (как мой Verizon DSL), однако, имеют на удивление приличные сервера.

Существуют открытые бесплатные сервера. У них время жизни сообщений и количество поддерживаемых групп, как правило, очень небольшие. Однако довольно часто сервера, которые только что открылись, для тестирования делают у себя на некоторое время свободный доступ к любым группам и сообщения держат подолгу. Распространены вебсайты энтузиастов, которые публикуют информацию о публичных ньюссерверах — адрес, количество групп, и т. д. Найти такие сайты можно в Google, сделав запрос вроде «public news servers». Навскидку помню .

И, наконец, есть платные сервера с доступом к практически любым группам и могучим, порядка нескольких недель, сроком жизни содержимого. Доступ к таким серверам стоит 10-20 долларов в месяц. Примеры: Usenetserver, Giganews, Newsguy (это не рекомендации, а только примеры, так как сам я названными сервисами не пользовался).

Организация ньюгрупп

Группы новостей имеют организованы тематически или территориально. Имя ньюсгруппы состоит из нескольких слов, разделенных точкой. Например, в группах, начинающихся с comp. os. обсуждают операционные системы, в microsoft. public. vc. обсуждается программирование на Visual C++, в it. sport. итальянцы говорят на спортивные темы, а в alt. binaries. pictures. erotica. всегда можно обнаружить залежи порнографии.

Множество групп пребывает в заброшенном состоянии, в них пусто и тоскливо. Каждый день в Usenet'e появляется с десяток новых групп.

Как правило, каждая «живая» ньюсгруппа имеет свои правила и этикет, изложенные в созданном активными участниками документе, называемом «group FAQ». С ним рекомендуется ознакомиться перед тем, как начать писать в группу. Где он находится — можно спросить в группе, ссылку на него всегда дадут.

Групп очень много: хороший сервер должен содержать их порядка тридцати тысяч.

Файлы

Большинство групп предназначены просто для обсуждения темы, означенной в названии группы. Но есть целое семейство групп, начинающихся с alt. binaries., несколько тысяч групп, в которых происходит обмен файлами.

Откуда берутся файлы в группах? Их засылают в виде атташментов в сообщениях обычные пользователи из мяса и костей. Засылают, рискуя быть изловленными (их, бывает, и вылавливают) и расстрелянными.

Ввиду того, что содержимое сервера постоянно меняется, нет никакой гарантии, что, зайдя в группу alt. binaries. movies. divx в поисках фильма «Клоуны-убийцы из глубокого космоса», вы тут же обнаружите искомое. Однако всегда можно написать в группу с просьбой заслать (как говорят, «запостить») то, что вас интересует, и почти всегда найдется добрая душа, которая просьбу выполнит.

Большие файлы отправляют порезанными на куски по 10-15 мегабайт. Режут, создавая многотомные архивы в формате RAR, реже — ACE. Далее при отправке ньюсклиент рабзивает файл на еще более мелкие куски, так как размер сообщений ограничен. На сервере файл так и хранится — в виде отдельных кусков. Программа-клиент, однако, показывает (и скачивает) сообщения, содержащие разные куски одного файла, как одно целое.

Иногда при отправке происходят сбои, отдельные куски теряются, и на сервере появляются неполные, битые файлы. Еще чаще это случается при синхронизации серверов, и в результате на одни сервера файлы попадают целиком, а на другие — нет. Происходит это чаще с перегруженными, бесплатными серверами. В таких случаях можно попросить группу о помощи, и кто-нибудь, возможно, зашлет недостающие файлы заново.

Примерно год назад появилась знатная программа SmartPar, которая практически полностью решила проблему битых файлов. О ней речь пойдет ниже.

Настройка клиента

Помимо встроенных в Outlook и Netscape убогих ньюсридеров, есть несколько прилично сделанных программ, из которых можно отметить NewsPro, XNews и NewsBin.

Перепробовав несколько разных ньюс-клиентов, я остановился на самом (заслуженно) популярном в Usenet'e — Forte Agent, о котором далее и пойдет речь.

Установив Агента, в первую очередь надите в меню Options диалог User and System Profile и введите адрес ньюссервера. В том же диалоге укажите имя и пароль, если сервер не публичный. После этого Агент подключится к серверу и считает список групп, на нем поддерживаемых. Список групп появится слева. Кликните правой кнопкой в списке групп, откройте Default Properties и в табе Directory укажите, куда сохранять скачанные файлы.

Каждый раз находить нужную группу в списке, особенно если он содержит свыше тридцати тысяч записей, было бы мучительно больно. Для облегчения жизни на любую группу можно «подписаться» (кликнуть правой кнопкой на названии группы — Subscribe), т. е. добавить ее в своего рода закладки. Кликая по заголовку окна со списком групп можно переключаться между подписанными группами и полным списком.

Далее нужно считать заголовки сообщений: выбрать группу, затем в меню Online выбрать команду Get New Headers in Selected Groups. Не скачивая самих сообщений и атташментов, Агент скачает только заголовки сообщений, и они появятся правом окне. Из заголовка видно, о чем сообщение и какие файлы оно содрежит. Скачиваются только новые заголовки, которые клиент видит впервые. Если вы случайно удалили заголовки из списка, и хотите их восстановить — в меню Online есть команда Get All Headers In Selected Groups.

Когда команда Get New Headers in Selected Groups выполняется впервые для выбранной группы, Агент считает заголовки всех сообщений этой группы. После этого команда будет считывать только новые заголовки, появившиеся на сервере со времени последнего визита.

Кликая по табам Subject, Author и Date можно по-разному сортировать заголовки. Быстрый поиск в выбранной группе — Ctrl-F. Глобальный поиск по всем группам — Ctrl-G. Поиск ведется, разумеется, только в скачанных заголовках и сообщениях, а не среди всего содержимого сервера. Слева от заголовка находится размер сообщения. Размер указывается в строках, одна строка — 120 байт.

Чтобы скачать текст сообщения и атташменты, нужно отметить заголовок (или несколько заголовков сразу) и в меню Online выбрать Get Selected Message Bodies. Другой, более предпочтительный способ — кликнуть правой кнопкой на заголовке сообщения и выбрать в меню Save All Attachements. Дело в том, что Агент по команде Get Selected Message Bodies помещает считанные сообщения, включая атташменты, в свою внутреннюю базу данных. Поэтому потом все равно придется делать Save All Attachements, чтобы сохранить скачанные файлы в указанный в Default Properties директорий.

Сохранив атташменты, сообщения из списка можно и нужно удалить, так как они продолжают занимать место в базе данных агента (и на диске). Периодически базу данных полезно сжимать (File — Compact Database).

SmartPar

Программа SmartPar стала настоящей панацеей для Usenet'a, практически полностью решив проблему битых файлов. SmartPar'ом создается несколько parity-файлов (они меют раширения par, p00, p01 и т. д.), которые отправляются на сервер вместе с остальными файлами. По одному par-файлу SmartPar может восстановить любой (но только один) файл из набора.

Если, к примеру отправленный в группу фильм состоит из 50 файлов rar, r00, r01, ..., r48, и три из них не попали на ваш сервер, то скачав три par-файла, вы сможете восстановить недостающие тома архива, запустив SmartPar и открыв par-файл (если первый par тоже не удалось скачать, подойдет любой другой).

Взять SmartPar можно здесь.

Как много девушек хороших

Образы дисков (программы и игры вперемешку):
alt. binaries. cd. image
alt. binaries. cd. image. clonecd
alt. binaries. cd. highspeed
alt. binaries. images

Образы дисков с играми:
alt. binaries. cd. image. games
alt. binaries. cd. image. playstation
alt. binaries. cd. image. xbox

Музыкальные диски, часто в DTS:
alt. binaries. cd. image. other

Образы DVD с фильмами:
alt. binaries. dvd

Книги:
alt. binaries. e-book
alt. binaries. e-books

Игры:
alt. binaries. games
alt. binaries. old. games
alt. binaries. warez. ibm-pc. games
alt. binaries. warez. ibm-pc. old
alt. binaries. warez. win95-games

Фильмы и сериалы:
alt. binaries. movies
alt. binaries. movies. divx
alt. binaries. multimedia
alt. binaries. vcd
alt. binaries. vcd. dvd-rip
alt. binaries. vcd. svcd

Программы:
alt. binaries. misc
alt. binaries. warez
alt. binaries. warez. ibm-pc

Музыка:
alt. binaries. music. mp3
alt. binaries. sounds. mp3
alt. binaries. sounds. mp3.complete_cd
alt. binaries. sounds. mp3.full_albums
alt. binaries. sounds. mp3.soundtracks
alt. binaries. sounds. mp3.*

Ну, вы поняли:
alt. binaries. multimedia. erotica
alt. binaries. pictures.*

Феня

Fills — отдельные файлы, отправляемые добрыми людьми для тех, чей сервер получил не все файлы ('I need some fills, please.')

Repost — полная повторная засылка файлов через некоторое время ('I will do a full repost in a week.')

REQ — просьба (request), обычно пишется в начале заголовка ('REQ: Please post Terminator 3.')

yEnc — сравнительно новый способ кодирования бинарных файлов, почти полностью вытеснивший UUENCODE за счет большей эффективности: использует все восемь битов, в отличие от семибитного UUENCODE; поддерживается последними версиями практически всех ньюс-клиентов.

Copyright © 2003 vv.