А ведь можно было бы пойти другим путём и всё сделать по уму — на основе указанных пользователями ЖЖ регионов сформировать базу, хотя бы уточняющую данные из MaxMind GeoIP — сразу была бы решена проблема отнесения нижегородцев к Новгороду и упомянутого поста не возникло бы. Или скооперироваться с другими сервисами СУПа (не ЖЖ ведь единым СУП жив), пользователи которых указывают своё местонахождение, и сделать свою, правильную базу, тогда от MaxMind вообще можно было бы отказаться — по крайней мере, для России.

А так получается еще один, не первый и далеко не последний камень в огород СУПа.

IP	Страна	Регион	Город	ISP	Organization
195.122.224.0	RU	Primor’ye	Novgorod	Sandy Info Ltd
194.190.176.0	RU	Primor’ye	Posyet	Local Registry (Scientific and Educational Network)
193.125.70.0	RU	Primor’ye	Novgorod	RELCOM Corp. (Institute of Applied Phisycs)
213.190.224.0	RU	Primor’ye	Novgorod	Federal State Unitary Enterprise	STC ‘Atlas-NN’
212.92.128.0	RU	Nizhegorod	Kstovo	Business Communication Agency, Ltd.	JSC Norsi-Oil
195.98.32.0	RU	Primor’ye	Posyet	Business Communication Agency, Ltd.	Business Communication Agency, Ltd.
89.189.0.0	RU	Primor’ye	Novgorod	Business Communication Agency, Ltd.	Business Communication Agency, Ltd.
217.118.93.0	RU	Moscow City	Moscow	JSC VimpelCom	JSC VimpelCom Moscow Russia WiFi
82.208.64.0	RU	Tomsk	Gagarina	OJSC VolgaTelecom	Network for ADSL clients
89.109.0.0	RU	Tomsk	Gagarina	OJSC VolgaTelecom	Internet department, NMTS, OJSC VolgaTelecom
213.177.96.0	RU	Primor’ye	Posyet	OJSC VolgaTelecom	this networks used for our dialup pools
79.126.0.0	RU	Tomsk	Gagarina	OJSC VolgaTelecom	OJSC VolgaTelecom
217.23.16.0	RU	Primor’ye	Novgorod	OOO Nizhegorodsky TeleService	Nizhegorodsky TeleSrvice common block
78.40.184.0	RU	Primor’ye	Novgorod	OOO Nizhegorodsky TeleService	OOO Nizhegorodsky TeleService
81.19.128.0	RU	Primor’ye	Novgorod	Information & Computing Center, Ltd.	Russia
85.143.0.0	RU	Primor’ye	Novgorod	State Institute of Information Technologies and Te	Nizhny Novgorod State University network
217.25.80.0	RU	Primor’ye	Posyet	Personal Communications Systems	LLC Personal Communications Systems
217.18.52.0	RU	Primor’ye	Novgorod	STELT Telecom	STELT Telecom NNovgrod Network
91.194.192.0	RU	-	-	Business Center Communications LTD	Business Center Communications LTD

Страна во всех случаях определилась правильно, а вот с городами и регионами абсолютная каша – точно угадано лишь 2 раза из 19. В остальных случаях традиционно путают Нижний Новгород и Великий Новгород, к тому же почему-то относят его к Приморскому региону (это где Владивосток и Сахалин). Из плюсов этой базы можно отметить отделение провайдера от конечной организации, которой выделен блок IP-адресов. Очевидно, в своей российской части эта база создавалась автоматически на основе базы RIPE, в которой нет чёткого разделения «область» — «город» — «улица». И нам ещё повезло с нашей выборкой — не попалось IP-адреса типа 195.2.94.64, который находится в городе Olga Приморского края.

	Страна	Город
195.122.224.0	RU	NOVGOROD
194.190.176.0	RU	NIZHNI NOVGOROD
193.125.70.0	RU	NOVGOROD
213.190.224.0	RU	NOVGOROD
212.92.128.0	RU	NOVGOROD
195.98.32.0	RU	NOVGOROD
89.189.0.0	RU	NOVGOROD
217.118.93.0	RU	MOSCOW
82.208.64.0	RU	NOVGOROD
89.109.0.0	RU	NOVGOROD
213.177.96.0	RU	NOVGOROD
79.126.0.0	RU	NOVGOROD
217.23.16.0	RU	NOVGOROD
78.40.184.0	RU	NOVGOROD
81.19.128.0	RU	NOVGOROD
85.143.0.0	RU	SAINT PETERSBURG
217.25.80.0	RU	NOVGOROD
217.18.52.0	RU	NOVGOROD
91.194.192.0	FRANCE	PARIS

Позор, позор — один из IP-адресов скромного регионального провайдера почему-то находится в Париже. Фтопку такой сервис.

IP	Страна	Регион	Город	ISP
195.122.224.0	RU	MOSKVA	MOSCOW	SANDY INFO LTD
194.190.176.0	RU	NIZHEGORODSKAYA OBLAST’	NIZHNIY NOVGOROD	SCIENTIFIC AND EDUCATIONAL NETWORK
193.125.70.0	RU	NOVGORODSKAYA OBLAST’	NOVGOROD	INSTITUTE OF APPLIED PHISYCS
213.190.224.0	RU	MOSKVA	MOSCOW	STC ‘ATLAS-NN’
212.92.128.0	RU	MOSKVA	MOSCOW	JSC NORSI-OIL
195.98.32.0	RU	NOVGORODSKAYA OBLAST’	NOVGOROD	BUSINESS COMMUNICATION AGENCY LTD
89.189.0.0	RU	NOVGORODSKAYA OBLAST’	NOVGOROD	BUSINESS COMMUNICATION AGENCY LTD
217.118.93.0	RU	MOSKVA	MOSCOW	JSC VIMPELCOM MOSCOW RUSSIA WIFI
82.208.64.0	RU	NIZHEGORODSKAYA OBLAST’	NIZHNIY NOVGOROD	NETWORK FOR ADSL CLIENTS
89.109.0.0	RU	-	-	NETWORK FOR VPDN SESSION TERMINATIONS ON UAC`S
213.177.96.0	RU	MOSKVA	MOSCOW	NMTS-NET
79.126.0.0	RU	-	-	MTS-NN
217.23.16.0	RU	NOVGORODSKAYA OBLAST’	NOVGOROD	NIZHEGORODSKY TELESRVICE COMMON BLOCK
78.40.184.0	RU	-	-	OOO NIZHEGORODSKY TELESERVICE
81.19.128.0	RU	-	-	NN-IVC-NET
85.143.0.0	RU	NOVGORODSKAYA OBLAST’	NOVGOROD	NIZHNY NOVGOROD STATE UNIVERSITY NETWORK
217.25.80.0	RU	MOSKVA	MOSCOW	INTERNET2.RU
217.18.52.0	RU	-	-	STELT TELECOM NNOVGROD NETWORK
91.194.192.0	RU	-	-	BUSINESS CENTER COMMUNICATIONS LTD

Наблюдается традиционный для иностранцев географический кретинизм: нерезиновая наша столица называется то Moskva, то Moscow, Нижний Новгород упорно путается с Новгородом, а иногда регион и вовсе не определяется. Хорошо еще, что Новгород находится в Новгородской области, а не в Приморье. Судя по названиям организаций — владельцев диапазонов IP-адресов, база также автоматически составлена на основе RIPE database.

Источники информации о географической принадлежности IP-адресов:

• информация whois от 5 мировых регистраторов, занимающихся выделением блоков IP-адресов (RIPE (Европа), ARIN (Северная Америка), APNIC (Азия, Австралия, Тихий Океан), AFRINIC (Африка), LACNIC (Латинская Америка)). Можно запрашивать эту информацию для каждого хоста командой whois, или же скачать все пять баз целиком, разобраться в их формате и делать запросы к локальной копии. Проблемы очевиды: в первом случае количество запросов в единицу времени очень ограничено, во втором — не все регистраторы выкладывают свои базы полностью, информация быстро устаревает и, самое главное, — условия использования этих баз явно запрещают их использование для подобных целей. Третья проблема — многие провайдеры имеют широкий охват и в связи с тенденцией расширения центральных провайдеров в регионы становится всё труднее отделять московских пользователей этого провайдера от нижегородских.
• ресолвинг reverse dns: для IP-адреса 212.92.128.1 это будет выглядеть так:
  

  dig 1.128.92.212.in-addr.arpa ptr

  а ответ соответственно так:

  1.128.92.212.in-addr.arpa. 86298 IN PTR murka-f00212.nnov.lukoil.com.

  Это означает, что головной сервер нижегородского Лукойла называется murka-f00212 и, судя по слову nnov в имени домена, относится к Нижнему Новгороду. По-моему, без знания российской географии, экономики и психологии отечественных айтишников автоматически парсить вывод таких запросов очень трудно, к тому же этот сервер мог с тем же успехом называться murka-а00212.lukoil.com и не содержать в себе никакой географической информации. Даже если вырастить искусственный интеллект и рассказать ему, что nnov, nn и nino это скорее всего Нижний Новгород, то даже в случае десятков и сотен различных IP-адресов, которые надо обработать, подобный запрос создаст значительную нагрузку на DNS-сервер. И не все IP-адреса разрешаются подобным образом.

• информация из общедоступных источников. Например, в Нижнем Новгороде имеется так называемая нижегородская точка обмена трафиком. Провайдеры подключаются к условному центральному роутеру и межпровайдерский трафик, проходящий через эту точку, становится дешевле для них самих и для их конечных пользователей. На сайте каждого провайдера, участвующего в организации этой точки, имеется список адресов в удобочитаемом формате, трафик из которых передаётся по льготному тарифу или бесплатно, например, http://www.sandy.ru/support/?d=96. Главная проблема в случае этого подхода очевидна: не все провайдеры и диапазоны могут покрываться данными списками; не в каждом городе и не для каждого провайдера можно найти подобный список сетей.
• можно не заморачиваться самому, а обратиться к услугам сторонних организаций (и в случае чего валить всё на них). Перед этими коммерсантами стоят те же самые проблемы, но и возможностей анализа гораздо больше. Кроме вышеперечисленных методов, у этих фирм имеется ещё один способ получения нужной информации. Дело в том, что пользователи, регистрируясь на сайтах интернет-магазинов, обычно указывают свои IP-адреса с точностью до города, а иногда даже и до улицы и дома. И грех не воспользоваться подобным кладезем информации! Заключается договор с интернет-магазином, и по прошествии некоторого времени в распоряжении фирмы оказывается достоверная географическая информация, сообщенная самими пользователями, с привязкой к IP-адресам этих пользователей.Дополнительно к этому используются разнообразные комбинации из предыдущих методов для уточнения и корректировки. Например, проанализировав базу MaxMind GeoLiteCity, можно с точностью заявить, что для России использовался анализ базы RIPE.

  Большинство таких фирм имеет онлайн-утилиты для бесплатного поиска в своих базах данных. Назову лишь некоторые из них:

  • http://www.maxmind.com/app/locate_ip
  • http://ip2location.com
  • http://ipligence.com/iplocation
  • http://www.fraudlabs.com/demoIP2Location.aspx

  Однако не стоит доверять и этим сервисам. Возможно, они и попадают иногда в правильный город (а для стран результаты в большинстве случаев корерктные), но дальше Америки и мировых центров (Москва, Париж, Берлин) дело не идет и чем дальше от столиц, тем больше процент ошибок. Ну какое американцам дело до того, что Новгород и Нижний Новгород — это разные города и находятся соответственно в северной и центральной частях России, а Питер, Петербург и Санкт-Петербург — один и тот же город?! Да и на сайтах обычно заявлено, что вне США и Канады точность определения города в лучшем случае достигает 40%.

Ссылки по теме:

• Wikipedia (en)
• Некоторые способы определения географической привязки веб-сайтов — исследовательская работа, проведённая на грант Яндекса и посвященная проблеме определения географической принадлежности применительно к веб-сайтам.
• Geolocation by IP Address — статья 2004 года в LinuxJournal, предлагающая возможные пути определения географического местонахождения.

Сравнительный анализ точности определения соответствия IP-адресов географическому местонахождению ожидайте в следующей заметке на bappoy.pp.ru

В производственных целях скачал и поизучал БД соответствия IP-адресов городам и странам в формате CSV. Без слёз пополам со смехом на «русскую» часть этой базы смотреть невозможно.

Во-первых, там присутствует масса «городов», которые называются «Nogina», «Pionerskaya», «Sovetskaya», «Vpered», «KorolКva», «Kononenko» и даже просто «Ivan» и «Anton». Это части имен/фамилий/названий фирм/адресов/еще-каких-нибудь-атрибутов владельцев мелких IP-сетей, которые в базе присутствуют наравне с нормальными городами. Такие объекты, по самым скромным прикидкам, занимают как минимум половину объёма всей базы.

Во-вторых, город-герой Москва присутствует в списке в следующих вариациях:
«Moscow»
«Moskau»
«Moskva»
«Moscou»
и даже — «Moska»

Санкт-Петербург:
«Saint Petersburg»
«Sankt-Peterburg»
«Sankt Petersburg»
«Leningrad»
ну и просто «Piter»

В-третьих, уже упоминавшаяся проблема с путаницей Н.Новгород — Новгород: Волгателеком с кисами АДС’ом целиком и полностью располагаются в Новгороде, Сенди, к счастью, находятся в НН, но имеют в Новгороде филиал, и т.д. и т.п. Подобная проблема актуальна для многих составных географических названий, части которых совпадают с другими географическими названиями.

Все эти проблемы, похоже, имеют один корень: база geoip автоматически составлялась на основе базы ripe, не имеющей специального поля для указания точного географического местоположения; названия городов угадывались роботом на основе данных об организации/персоне, на которых зарегистрирован блок IP-адресов, и в ряде случаев он попадал пальцем в небо, а иногда и угадывал.

Поэтому приходится искать альтернативные источники информации о географической принадлежности IP-адресов: например, вот или частично вот.

Ознакомиться можно по адресу http://www.maxmind.com/app/locate_ip, введя, например, www.nis.nnov.ru и bca.ru.