Реферат на тему:

User Agent

План:

Введение

2.1.1 Искусственная несовместимость

3.1 Браузеры 3.2 Библиотеки компонентов 3.3 Боты

4.1.1 Internet Explorer 1.0

Примечания

Введение

User Agent — это клиентское приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб-сайтам, таким как браузеры, поисковые роботы (и другие «пауки»), мобильные телефоны и другие устройства.

При посещении веб-сайта клиентское приложение обычно посылает веб-серверу информацию о себе. Это текстовая строка, являющаяся частью HTTP запроса, начинающаяся с User-agent: или User-Agent:, и обычно включающая такую информацию, как название и версию приложения, операционную систему компьютера и язык. У «пауков» эта строка часто содержит URL и email-адрес, по которым веб-мастер может связаться с оператором «паука».

1. Использование веб-сайтами

Из-за доминирования отдельных браузеров в разные периоды в истории всемирной паутины многие веб-сайты проектировались не в соответствии со стандартами W3C и IETF, а для работы с определённым браузером. Такие сайты посылают разное содержимое веб-страницы в зависимости от получаемого от клиента значения User-Agent. Это приводит к тому, что использовать сайт можно с помощью только одного-трёх самых популярных браузеров, а браузеры, имеющие немного отличающийся идентификатор, оказываются «запрещёнными».

НЕ нашли? Не то? Что вы ищете?

Многие веб-мастеры считают такой подход плохой практикой и рекомендуют создавать HTML разметку так стандартизированно, насколько это возможно, чтобы корректно отображать страницы сайта на максимальном количестве браузеров.

Веб-сайты для мобильных телефонов часто вынуждены жёстко полагаться на определение User-Agent, так как браузеры на разных мобильных телефонах слишком различны. Поэтому мобильные веб-порталы обычно генерируют разные страницы в зависимости от модели мобильного телефона. Эти различия могут быть как небольшими (изменение размера изображений специально для меньших экранов), так и весьма существенными (формат WML вместо XHTML).

Строка User-agent также используется веб-мастерами для предотвращения индексирования «поисковыми пауками» некоторых страниц сайта, например когда индексирование определённых страниц не имеет смысла или конкретный «паук» использует слишком много трафика. Веб-мастер может использовать специальный файл robots. txt для рекомендаций «пауку» или просто настроить веб-сайт не отдавать «пауку» эти страницы.

2. Подделка User-agent

2.1. Причины

2.1.1. Искусственная несовместимость

Использование веб-сайтами строки User-agent для изменения отображения страницы часто приводит к тому, что менее популярные браузеры не получают полного содержимого страницы, даже если они могут корректно его отобразить, а в некоторых радикальных случаях такие браузеры не получают вообще ничего.[1] В связи с этим многие браузеры стали «прятать» или «подделывать» User-agent.

Ранний пример этого — использование браузером Internet Explorer строки User-Agent, начинающейся с «Mozilla/<version> (compatible; MSIE <version>…», для получения контента, предназначенного для Netscape Navigator, его главного конкурента в 1990-х. Нужно отметить, что «Mozilla» в данном случае — не браузер с открытым кодом Mozilla, выпущенный гораздо позже, а оригинальное кодовое имя Navigator, которое также было именем талисмана (маскота) компании Netscape. Такой формат строки User-Agent с тех пор использовался и другими браузерами; в частности, из-за того, что доминировать стал Internet Explorer.

Когда Internet Explorer стал доминирующим браузером, такие конкуренты как Firefox, Safari и Opera встроили системы, позволяющие пользователю выбрать ложное значение User-Agent, такое же, что и у свежих версий Explorer. Некоторые из них (Firefox и Safari) копировали значение User-Agent полностью, другие (Opera) копировали значение User-Agent, добавляя истинное имя браузера в конце, что позже привело к тому, что строка содержит три имени и версии: первое зовётся как «Mozilla» (то есть Netscape Navigator); далее «MSIE» (Internet Explorer); и последнее, действительный браузер, такой как «Opera». Opera также позволяет полностью спрятаться под Internet Explorer или Firefox, полностью скрывая имя «Opera».

В случае Safari строка User-Agent содержит 5 имен (Mozilla, AppleWebKit (идентификатор «движка»), «KHTML, like Gecko» (используемый Safari WebKit основан на движке KHTML, Gecko — кодовое имя движка последних версий Mozilla Firefox) и Safari. Таким образом, если сайт делает проверку на практически любой современный браузер (кроме Opera) — Safari ее пройдет. Другие браузеры на движке WebKit работают аналогично.

Кроме браузеров, другие программы, использующие протокол HTTP, к примеру менеджеры закачек и оффлайновые браузеры, также имеют возможность изменять значение User-Agent, посылаемое серверу, по желанию пользователя. Это сделано, наверное, для обеспечения совместимости с определёнными серверами (некоторые серверы отказываются обслуживать подобные программы, так как они могут оказать значительные нагрузки на ресурсы сервера).

Подобная проблема продолжает существовать в мире браузеров, и поэтому начата кампания, способствующая тому, чтобы разработчики сайтов проектировали сайты в соответствии со стандартами, а не для какого-то любого определённого браузера.

Так, многие веб-сайты, созданные в 2005 году, лучше соответствуют стандартам, чем это было ранее в истории Web. Однако, на некоторых сайтах всё ещё используются устаревшие скрипты JavaScript, в сущности, блокирующие работу других браузеров, помимо Internet Explorer или Netscape Navigator. Причина этого часто заключается в бездумном копировании старого кода, взятого с других сайтов, без полного понимания того, какой эффект этот код будет в действительности иметь.

2.2. Последствия

Одним из результатов подделки значения User-Agent является переоценка популярности соответствующего (обычно и без того популярного) браузера в статистике и недооценка популярности других браузеров и, как следствие, отсутствие у разработчиков вышеописанных сайтов стимула к исправлению проблем совместимости.

Подделка значения User-Agent также может привести к угрозе безопасности при подделывании поискового робота и обходе ключевых частей веб-сайта.

3. Примеры значений User Agent

3.1. Браузеры

Samsung

9.53 под Windows XP SP2 — amaya/9.53 libwww/5.4.0

1.5 — Mozilla/4.0 (compatible; MSIE 6.0; America Online Browser 1.1; rev1.5; Windows NT 5.1;)

Более современные версии — Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Avant Browser []; iOpus-I-M; QXW03416; .NET CLR 1.1.4322)

1.0.3 под Mac OS X — Mozilla/5.0 (Macintosh; U; PPC Max OS X Mach-O; en-US; rv:1.8.0.7) Gecko/ Camino/1.0.3

ELinks 0.4pre5 в ОС на ядре Linux — ELinks (0.4pre5; Linux 2.4.27 i686; 80x25)

2.14.3 под Debian GNU/Linux — Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.7) Gecko/ (Debian|Debian-1.8.0.7-1) Epiphany/2.14

0.7.7 под Debian GNU/Linux — Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.7) Gecko/ Firefox/1.5.0.7 Flock/0.7.7

10.0.648.205 под Mac OS X — Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_7; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.205 Safari/534.16

Google Chrome's user agent string

2.0.0.6-g2 под Debian GNU/Linux — Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.6) Gecko/ IceWeasel/2.0.0.6-g2

2.0.0.11-g1-i386 в Debian GNU/Linux — Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.11) Gecko/ IceCat/2.0.0.11-g1

4.80 под Mac OS X — Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_7; ru-ru) AppleWebKit/533.21.1 (KHTML, like Gecko) iCab/4.8 Safari/533.16

2.0.0.6 в Debian GNU/Linux 4.0 — Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.6) Gecko/ Iceweasel/2.0.0.6 (Debian-2.0.0.6-0etch1+lenny1)

9.0 под Windows 7 в режиме стандартов — Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)

После Windows Mobile 5.0 — Mozilla/4.0 (compatible; MSIE 6.0; Windows CE; IEMobile m. n) where «m. n» is just a major. minor version number. Full specifics at the IE Mobile Team Blog Motorola VIP1200 — Mozilla/4.0 (compatible; MSIE 6.0; Windows CE; Motorola VIP12xx)

1.0 под Windows NT 4.0 — Mozilla/5.0 (Windows; U; WinNT4.0; en-US; rv:1.8.0.5) Gecko/ K-Meleon/1.0

4.3.5 под Mandriva Linux — Mozilla/5.0 (compatible; Konqueror/4.3; Linux) KHTML/4.3.5 (like Gecko)

2.2 под Debian GNU/kFreeBSD — Links (2.2; GNU/kFreeBSD 6.3-1-486 i686; 80x25)

2.8.6rel.4 под Gentoo Linux — Lynx/2.8.6rel.4 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.8g

Minimo 0.007 под Windows Mobile 2003 — Mozilla/5.0 (Windows; U; Windows CE 4.21; rv:1.8b4) Gecko/ Minimo/0.007

1.7.12 под Gentoo Linux — Mozilla/5.0 (X11; U; Linux i686; cs-CZ; rv:1.7.12) Gecko/

4.0 под Windows XP — Mozilla/5.0 (Windows; I; Windows NT 5.1; ru; rv:1.9.2.13) Gecko/ Firefox/4.0

8.1 под Windows XP using Gecko ( installed) — Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/ Netscape/8.1

4.8 под Windows 2000 — Mozilla/4.8 [en] (Windows NT 5.0; U)

Palm Web Pro 3.0.1a под Palm OS — Mozilla/4.76 [en] (PalmOS; U; WebPro/3.0.1a; Palm-Arz1)

3.5d под Windows XP SP2 — Mozilla/4.7 (compatible; OffByOne; Windows 2000)

5.1.2 beta 1 (v563.57) под Mac OS X — Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-US) AppleWebKit/125.4 (KHTML, like Gecko, Safari) OmniWeb/v563.57

Openwave 6.2.2 под Mobile Phone — OPWV-SDK/62 UP. Browser/6.2.2.1.208 (GUI) MMP/2.0

11.10 под Windows 7 — Opera/9.80 (Windows NT 6.1; U; ru) Presto/2.8.131 Version/11под Mac OS X — Opera/9.80 (Macintosh; Intel Mac OS X 10.6.7; U; ru) Presto/2.8.131 Version/11.10

10.00 под Symbian — Opera/9.80 (S60; SymbOS; Opera Mobi/499; U; ru) Presto/2.4.18 Version/10.00

[1]

4.2.14912 под J2ME — Opera/9.60 (J2ME/MIDP; Opera Mini/4.2.14912/812; U; ru) Presto/2.4.15

PlayStation 3 — Mozilla/5.0 (PLAYSTATION 3; 1.00)

PlayStation Portable 2.00 — Mozilla/4.0 (PSP (PlayStation Portable); 2.00)

5., r84622) — Mozilla/5.0 (Macintosh; I; Intel Mac OS X 10_6_7; ru-ru) AppleWebKit/534.31+ (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1

2.0.4 под Mandriva Linux — Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1.9) Gecko/ Mandriva/2.0.4-69.1mib2010.0 SeaMonkey/2.0.4

Splashtop Browser версии:

Mozilla/5.0 (X11; U; Linux i686; ru-RU; rv:1.9.0.4) Gecko/ Firefox/3.0.4 (Splashtop-v1.4.-1.-1)

Shiira 1.2.2 под Mac OS X — Mozilla/5.0 (Macintosh; U; PPC Mac OS X; de-de) AppleWebKit/418 (KHTML, like Gecko) Shiira/1.2.2 Safari/125

w3m 0.5.1 под FreeBSD — w3m/0.5.1

Web Browser для S60 (на основе WebCore и JavaScriptCore) под Symbian 9.1 — Mozilla/5.0 (SymbianOS/9.1; U; en-us) AppleWebKit/413 (KHTML, like Gecko) Safari/413

Web Browser для S60 (на основе WebCore и JavaScriptCore) 3.1 под Symbian 9.2 (S60 Web Browser from Nokia N95 8GB with firmware 31.0.015) — Mozilla/5.0 (SymbianOS/9.2; U; Series60/3.1 NokiaN95_8GB/31.0.015; Profile/MIDP-2.0 Configuration/CLDC-1.1 ) AppleWebKit/413 (KHTML, like Gecko) Safari/413

WebExplorer (на основе Mosaic) 1.1h под OS/2 — IBM-WebExplorer-DLL/v1.1h

3.2. Библиотеки компонентов

9.00.10 для Borland Delphi 7 — Mozilla/3.0 (compatible; Indy Library)

Mozilla/5.0 (%Platform%; %Security%; %Subplatform%; %Locale%) AppleWebKit/%WebKitVersion% (KHTML, like Gecko, Safari/419.3) %AppVersion%, где %Platform% и %Subplatform% заменяется на текущую оконную систему и ОС. (в случае Windows XP — будет Windows и Windows NT 5.2 соответственно), %Security% заменяется на U если при компиляции Qt была включена поддержка SSL, в противном случае — N, %Locale% — заменятся на текущую локализацию, в форме язык_страна (ru_RU для России), %WebKitVersion% в Qt 4.4 заменятся на 523.15, %AppVersion заменяется на установленное приложением имя и версию, если не задано — то в качестве имени-используется Qt а версии — версия Qt.

Mozilla/5.0 (Windows; U; Windows NT 5.2; ru-RU) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) demobrowser/0.1

3.3. Боты

Agent (владелец/пользователь)	Значение User-Agent
Accoona	Accoona-AI-Agent/1.1.2 (aicrawler at accoonabot dot com)
Alexa	ia_archiver
antabot (private)	antabot(http://www. /spider/)/1.0
/Teoma	Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Baidu Spider	Baiduspider (+http://www. /search/spider. htm)
cURL на Mac OS X для PowerPC (public)	curl/7.13.1 (powerpc-apple-darwin8.0) libcurl/7.13.1 OpenSSL/0.9.7b zlib/1.2.2
EltaIndexer	EltaIndexer
Feedfetcher-Google (Feedfetcher-Google)	Feedfetcher-Google; (+http://www. /feedfetcher. html; X subscribers; feed-id=XXXXXXXXXXXXXXXXXXXX)
GameSpy HTTP (GameSpy)	GameSpyHTTP/1.0
Gigabot (Gigablast)	Gigabot/2.0
Googlebot (Google)	Googlebot/2.1 (+http://www. /bot. html)
Googlebot alternate	Mozilla/5.0 (compatible; googlebot/2.1; +http://www. /bot. html)
Googlebot-Image (Google)	Googlebot-Image/1.0
Google Search Appliance (Google)	gsa-crawler
Grub (usage: public) (owner: LookSmart)	Mozilla/4.0 (compatible; grub-client-1.4.3; Crawl your own stuff with http://grub. org) Mozilla/4.0 (compatible; grub-client-2.3)
Gulper Web Bot	Gulper Web Bot/0.2.4 (www. ecsl. cs. sunysb. edu/~maxim/cgi-bin/Link/GulperBot)
Inktomi Slurp (superseded by Yahoo! Slurp)	Mozilla/3.0 (Slurp/si; ***@*com; http://www. /slurp. html)
Mihalism Bot	MihalismBot/1.1 (+http://www. /)
Msnbot (Microsoft’s MSN Search)	Msnbot/1.0 (+http://search. /msnbot. htm)
OmniExplorer_Bot (Feeds )	OmniExplorer_Bot/6.70 (+http://www. ) WorldIndexer
OoyyoBot (Owner: Ooyyo)	OoyyoBot (Used and new cars search engine;+http://www. )
PageBull	Pagebull http://www. /
Scooter (AltaVista)	Scooter-3.2.EX
W3C Validator	W3C_Validator/1.432.2.22
W3C CSS Validator	Jigsaw/2.2.5 W3C_CSS_Validator_JFouffa/2.0
WebAlta Crawler	WebAlta Crawler/1.3.25 (http://www. /ru/about_webmaster. html) (Windows; U; Windows NT 5.1; ru-RU)
wget (public)	Wget/1.9
YahooFeedSeeker	YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher. /rssguide; users X; views X)
Yahoo! Slurp (Yahoo!)	Mozilla/5.0 (compatible; Yahoo! Slurp;http://help. /help/us/ysearch/slurp) Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc. . cn/help. html)
Yahoo!-MMCrawler (Yahoo!)	Yahoo!-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
Yandex	Mozilla/5.0 (compatible; YandexBot/3.0)
YandexMirrorDetector (Yandex)	Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector)
YandexImages (Yandex)	Mozilla/5.0 (compatible; YandexImages/3.0)
YandexVideo (Yandex)	Mozilla/5.0 (compatible; YandexVideo/3.0)
YandexMedia (Yandex)	Mozilla/5.0 (compatible; YandexMedia/3.0)
YandexBlogs (Yandex)	Mozilla/5.0 (compatible; YandexBlogs/0.99; robot)
YandexAddurl (Yandex)	Mozilla/5.0 (compatible; YandexAddurl/2.0)
YandexFavicons (Yandex)	Mozilla/5.0 (compatible; YandexFavicons/1.0)
YandexDirect (Yandex)	Mozilla/5.0 (compatible; YandexDirect/3.0)
YandexDirectDyatel (Yandex)	Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel)
YandexMetrika (Yandex)	Mozilla/5.0 (compatible; YandexMetrika/2.0)
YandexCatalogDyatel (Yandex)	Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel)
YandexNews (Yandex)	Mozilla/5.0 (compatible; YandexNews/3.0)
YandexImageResizer (Yandex)	Mozilla/5.0 (compatible; YandexImageResizer/2.0)

4. Описание некоторых основных значений User Agent

4.1. Internet Explorer и браузеры, маскирующиеся под Internet Explorer

Mozilla/MozVer (compatible; MSIE IEVer[; Provider]; Platform[; Extension]*) [Addition]

Где:

MozVer

1.22

2.0

3.0

4.0

IEVer

1.5

3.01

5.0b1

Provider

AOL

Version

America Online Browser

Version

; rev

Revision

CS 2000

MSN

Version

; ;

Platform

Windows 3.1

Windows 95

Windows 98

Windows 98; Win 9x 4.90

Windows NT

Windows NT 4.0

Windows NT 5.0

Windows 2000

Windows NT 5.01

Windows NT 5.1

Windows NT 5.2

Windows NT 5.2; WOW64

Windows NT 6.0

Windows NT 6.1

Windows CE

Win32

Mac_68000

Mac_PPC

Mac_PowerPC

SunOS

Version

Symbian OS

Nitro

Extension

.NET CLR

Version

SV1

Tablet PC

Version

Win64

IA64

AMD64

x64

WOW64

Trident/4.0

Media Center PC

Version

2.8

3.0

3.1

4.0

5.0

MediaCenter

Version

MSIECrawler

X11

PPC

Smartphone

Motorola

Type

Nokia

Type

Version

(R1

Version

)

Alexa Toolbar

Maxthon

Crazy Browser

Version

MyIE2

Avant Browser []

FDM

Language

Width

Height

Addition

Netscape/

Version

Opera

Version

[

Language

]

4.1.1. Internet Explorer 1.0

Internet Explorer 1.0 использует альтернативное значение User-Agent:

Microsoft Internet Explorer/Version (Platform)

Где:

Version

4.0b1

Platform

Windows 95

scape

Данные значения соответствуют только ранним продуктам scape 6.0 и выше основаны на движке Gecko.

Mozilla/Version[Gold] [[Language]][Provider] (Platform; Security[; SubPlatform][StandAlone])

Где:

Version

Gold

Language

Provider

C-CCK-MCD

Platform

Win16

Win95

SubPlatform

16bit

Win98

WinNT

Windows NT 5.0

Windows NT 5.1

X11

SubPlatform

Distribution

Version

Subversion

Linux i586

SunOS 5.6 sun4u

IRIX 6.5 IP32

Macintosh

SubPlatform

68K

PPC

x86

Security

StandAlone

; Nav

;Nav

, Nav

4.3. Mozilla

Mozilla/MozVer (Platform; Security; SubPlatform; Language; rv:Revision[; Extension]*) Gecko/GeckVer [Product/ProdVer]

Где:

MozVer

5.0

Platform

SubPlatform

Windows

Win3.11

Win95

Win98

Win 9x 4.90

WinNT3.51

WinNT4.0

Windows NT 5.0

Windows NT 5.1

Windows NT 5.2

Windows NT 6.0

Windows CE 4.21

Macintosh

PPC Mac OS X

PPC Mac OS X Mach-O

Intel Mac OS X

X11

Linux

Version

Hardware

FreeBSD

Hardware

NetBSD

Hardware

SunOS

Hardware

Security

Language

en-US

en-GB

Revision

m18

1.0rc3

1.7.8

1.8a2

Extension

MultiZilla

Version

GeckVer

YYYYMMDD

Product

Netscape

Netscape6

Phoenix

Firebird

Firefox

GranParadiso

K-Meleon

Minimo

SeaMonkey

Camino

CS 2

ProdVer

4.4. Opera

Opera/Version (Platform; Security; Lang) Presto/PrestoVersion Version/OperaVersion

Где:

Version

9.80

Platform

Windows

Windows NT 5.1

Windows NT 6.0

Windows NT 6.1

Security

Lang

PrestoVersion

2.6.30

2.7.62

OperaVersion

5. Уровни шифрования «U» / «I» / «N»

Netscape, Mozilla, Opera и некоторые другие используют одну из этих букв для указания поддерживаемого уровня шифрования. Так как правительство США ранее не позволяло экспорт систем шифрования с ключом более 40-бит, выпускались разные версии с разным уровнем шифрования. «U» означало «USA» (США) (для версий с ключом шифрования в 128-бит), «I» означало «International» (международная) (браузер имел возможность шифровать с ключом в 40-бит и мог использоваться в любой точке мира), «N» означало «None» (без шифрования). Изначально версии с буквой «U» было разрешено загружать только жителям США, но с тех пор, как правительство США ослабило свою политику, экспорт систем шифрования высокого уровня теперь разрешён в большинство стран. Теперь браузеры распространяются только в версии с буквой «U» с поддержкой шифрования с ключом до 256-бит, так как необходимость в международной версии отпала.

Примечания

Bug 334geckoisgecko) Tracking bug for sites broken by UA string change to not use "Firefox" (англ.). Bugzilla@Mozilla. opera:about

Реферат на тему: User Agent

User Agent

План:

Введение

1. Использование веб-сайтами

2. Подделка User-agent

2.1. Причины

2.1.1. Искусственная несовместимость

2.2. Последствия

3. Примеры значений User Agent

3.1. Браузеры

3.2. Библиотеки компонентов

3.3. Боты

4. Описание некоторых основных значений User Agent

4.1. Internet Explorer и браузеры, маскирующиеся под Internet Explorer

4.1.1. Internet Explorer 1.0

scape

4.3. Mozilla

4.4. Opera

5. Уровни шифрования «U» / «I» / «N»

Примечания

Домашний очаг

Справочная информация

Техника

Общество

Образование и наука

Мир

Бизнес и финансы