Как распознать дорогу на изображениях космической и аэрофотосъемки?
 

Народ, поделитесь, пожалуйста, идеями по сабжу. Каким образом можно реализовать алгоритм распознавания дороги? Вот у меня есть такие идеи:
1. Если видно разделительную полосу – распознавать по разделительной полосе.
2. Распознать по специфическому цвету дорожного полотна.
3. Если после сглаживания фильтром Гаусса и вычитания исходного кадра видны края – то определять по этим краям (правда, такие края дороги видны не всегда). Как правило, края дороги идут друг от друга на одинаковом расстоянии (например, в отличии от реки), в отличии, например, от реки. Таким образом, две параллельные прямые могут служить признаком дороги.
Проблема в том, что зимой эти методы работать не будут, да и летом не всегда. Может, у кого то есть какие то другие идеи или кто подскажет ссылки на методологию?

Думаю, нужно в комплексе применять все эти методы до достижения результата, а не полагаться на какой-то один.

Зимой на обочинах жолтый снег например

1-Ёроол Гуй > Ну, то что в комплексе это понятно, в одиночку каждый метод очевидно ненадежен.
2-Chichirone > ок, спасибо за идею.

А зачем это нужно? Все дороги уже есть в навигаторах и картах, новые постепенно туда вносятся.

4-бродяжник > Например, в том случае, когда по каким то причинам нельзя пользоваться GPS-оми вообще какой либо радиосвязью. Допустим, карты есть в памяти, масштабам там другой, нужно распознать на виде сверху некоторые объекты, найти их на карте в памяти и определить свое местоположения.

Ох, что-то мне кажется что ситуация немного надуманная. Попытаюсь понять. Летишь, допустим на воздушном шаре, связи нет, навигатор не работает. Но в таком случае аппаратное распознавание дорог не требуется, пилот лучше любого компьютера распознает дорогу, хотя бы по движущимся машинам.

Задача странная.
Все карты аэро- и космосъёмки имеют жёсткую координатную привязку изначально. Я не видел спутниковых снимков без такой привязки. Разве что когда космонавты из МКС сами снимают... на личные фотоаппараты.
С авиасъёмки привязка тоже есть, просто там погрешности привязки и искажений оптики больше (не сильно).
Там есть тонкости с совмещением краёв снимков, но процесс автоматизирован (у тех же Гугл, Яндекс - это давно уже рутинная работа).

6-бродяжник > Ну а если летит не пилот, а киборг. Фантастика? Но фантастика рано или поздно становиться реальностью. А почему нельзя пользоваться радиосвязью? Ну, чтобы, например, не обнаружили...

6-бродяжник >7-Velist > Автор же курсач или диплом, вроде, пишет..

[quote=megabax;40508443]Ну, чтобы, например, не обнаружили[/quote]И причём тут GPS? Это же пассивный приём.

[quote=Ёроол Гуй;40508446] 6-бродяжник >7-Velist > Автор же курсач или диплом, вроде, пишет.. [/quote]А это теперь оправдывает неестественные условия задачи? Надо же, как давно был мой диплом...

Примерно 10 лет назад, когда с навигаторами и картами к ним было намного хуже, люди занимались оцифровкой растровых карт для Garmin-ов. Не видео, конечно, но попробуй покопать в эту сторону, может какими-то идеями обогатишся.

Ещё стоит просмотреть в сторону уменьшения информационной насыщенности видео: отказ от цветности, повышение контрастности Ч/Б (точнее серого) изображения. Именно так поступают для систем распознавания образов, чтобы более заметны стали цифровые примитивы, которые потом легко скармливать аналитическим программам.

11-Velist > Например, крылатые ракеты летят именно так: в реальном времени распознают местность под собой и сравнивают её с заложенной в память картой. Естественно, это должно быть без GPS ввиду высокой вероятности ведения противником РЭБ и постановки помех.

13+ НУ я думаю, многие знают шутку, что чем бы русские учёные ни занимались, всё равно оружие получается ;)

[quote=Кот Шрёдингера;40508545] отказ от цветности[/quote]Ну, это слишком упрощённо. Цвет для аналитики не мешает, мешает неоднозначная (неформализуемая) контрастность при широком спектре. Спутниковые снимки вообще практически все делаются в спектрально расширенных диапазонах (от ИК до УФ), и предоставляются для анализа именно в таком виде ("весят" такие файлы немало).
При анализе снимок не обесцвечивают (это вообще не термин аналитики), а просто рассматривают в разных узких спектральных полосах.
Зачастую - одновременно в нескольких.
Дороги, например, хорошо различимы в диапазоне 450 до 490 нанометров (синий канал).

вот тут обзорно неплохо дано: gisa.ru/101598.html

Да, именно на gisa.ru и подобные порталы я и рекомендовал megabax-у зайти. Спасибо за поправки.

[quote=megabax;40507566] или кто подскажет ссылки на методологию?[/quote]
берётся общедоступная карта, там уже есть все дороги. Аккуратно переносятся на фото.[quote=Velist;40508733]Дороги, например, хорошо различимы в диапазоне 450 до 490 нанометров [/quote]
вот его и используй.

[quote=Ёроол Гуй;40508616]это должно быть без GPS ввиду высокой вероятности ведения противником РЭБ и постановки помех[/quote]Все эти глушилки и шумелки страшны в основном на земле, и по большей части для гражданского оборудования.
Для вражеской КР или самолёта поставить помехи - это вам не фунт героина вынюхать.
Сейчас это вполне стабильные системы, чрезвычайно устойчивые к помехам (например, WAGE).
Они ведут приём в верхней полусфере (соответственно, и источник помех должен находиться выше приёмника), плюс используют векторно-взвешенные измерения (с привязкой ко временным параметрам и картам местности, построенным по другим каналам).
[quote=Ёроол Гуй;40508616]крылатые ракеты летят именно так: в реальном времени распознают местность под собой и сравнивают её с заложенной в память картой[/quote]TERCOM - просто один из каналов. С 70-х годов. В толковых КР не менее 3-х независимых друг от друга каналов определения положения. Даже полностью выведя из строя один - вы всё равно получите КР "в подарок". Ну, не в пределах 2-х метров, а в пределах 10-и.
Впрочем, для некоторых случаев и это критически важно.

18-Velist > Ещё раз, для тех кто в танке, напомню - автор делает учебную работу. Не коммерческий проект. Ему просто нужно НАУЧИТЬСЯ реализовывать алгоритмы распознавания образов.

Всё ещё непонятно?

[quote=Ёроол Гуй;40509078]автор делает учебную работу[/quote]Но неужели для этого нужно брать столь оторванные от реальности задачи?
Распознавание образов, системы технического зрения - очень востребованная область, и реальных задач там не море, а океан целый.
Пусть сделает "простейшую" систему распознавания препятствий для бытового пылесоса, например. Вы думаете, там уже всё придумали, и рынок насыщен?
Да как же...

Другое направление, в котором стоит копать megabax-у - это предельно формализовать понятие "дорога". У дорого есть строгие ГОСТы как то: ширина, радиус поворота, обрамление, расположение указателей, примыкания, транспортных средств. Шаблонов получится не так уж много и накладывать их на формализованную входящую визуальную информацию не должно составить большого труда.

Многие алгоритмы сейчас уже внедрены в системы автоматизированного контроля ГИБДД. Они, конечно, ноу-хау, но может оказаться полезным прочитать об этих системах, например, "КРИС-С", "КРИС-П", "Стрела" и прочих.

20-Velist > Это уж не нам с тобой решать, согласись..

[quote=Ёроол Гуй;40509317] 20-Velist > Это уж не нам с тобой решать, согласись.. [/quote]Не спорю.
Но зато мне потом решать, брать такого специалиста или нет.
Моделирование на детских кубиках должно оставаться в детском саду. К старшим курсам студент должен решать уже реальные (или хотя бы виртуальные, но потенциально востребованные в ближайшем будущем) задачи.

(0) megabax
[em]...Проблема в том, что зимой эти методы работать не будут, да и летом не всегда...[/em]
.
...привязывал как-то к своему гармину растровые карты по гуглевским снимкам.
Так вот в лесной зоне некоторые дороги летом не видно из-за листвы, зато они ка-то видны на зимних снимках, когда лес голый.

[b]megabax[/b], не буду отговаривать от выбранной темы, но подскажу другое направление по твоему профилю - бытовые роботы ;)
Можно хакнуть Rumba (есть в сети очень подробная литература), Yujin Robot так вообще кроме роботов пылесосов серии iClebo продаёт открытую роботизированную платформу [url=http://iclebo.com.ru/blog/знакомство-с-kobuki]Kobuki[/url] (мечтаю купить в дополнение к своему Arte), есть и другие открытые платформы [url=http://geektimes.ru/company/tod/blog/250444/]Сервисный робот Tod. Первые шаги вместе с ROS[/url], [url=http://geektimes.ru/company/tod/blog/250446/]Что роботу стоит карту построить?[/url] (кстати, с темой рекомендую ознакомиться! ;), [url=http://roboforum.ru/forum10/topic13841.html]LUM РОБОТ-ПЛАТФОРМА[/url], ну или вот такие роботизированные игрушки [url]http://ardupilot.com/[/url]

Спасибо всем за информацию.
Задача, кстати, от реальности не оторвала. В частности, задача ориентации на основании с камеры без использования GPS, только распознавая объекты и сравнивая их с картой, которая храниться в памяти - поставил передо мной научный руководитель. Другая задача - это распознавать и отслеживать движущиеся объекты. Предполагаю создать для этого какую то универсальную схему, которая бы решала различные задачи (и перечисленные, и те, о которых писал Кот Шредингера в 25) и в которые, по мимо компьютерного зрения, входила бы система машинного обучения. Но это надо сделать через два года. А сейчас да, стоит задача именно научиться распознавать образы.

[quote=megabax;40558457]Предполагаю создать для этого какую то универсальную схему, которая бы решала различные задачи (и перечисленные, и те, о которых писал Кот Шредингера в 25) и в которые, по мимо компьютерного зрения, входила бы система машинного обучения.[/quote]Эх, где моё студенчество... красота универсальной схемы, мощь единого решения для различных задач... прелесть прямого доступа в женское общежитие напротив. :-)

[quote=megabax;40558457]Задача, кстати, от реальности не оторвала. В частности, задача ориентации на основании с камеры без использования GPS, только распознавая объекты и сравнивая их с картой, которая храниться в памяти - поставил передо мной научный руководитель.[/quote]Ну-ну.
Если бы задачи, которые ставили научные руководители не были оторваны от реальности - мы жили бы совсем в другом мире.

Возьмите любую реальную задачу технического зрения, классификатор объектов по фото, автоматический генератор тегов по изображению... тысячи реальных задач в этой области, по многим из которых - очень быстро можно получить доход, кстати.

1 сгладить мелкий шум.
2 проследить "правильные" линии: без ветвлений, разрывов
3 берём самую длинную линию, ищем на других точки, ближайшие к выбранной.
4 отслеживаем самые близкие, выделяем ту, расстояние до которой соответствует ширине дорог.
5 склеиваем полученное.

Проведите эксперимент. Возьмите сто разных спутниковых снимков и разметьте на них дороги вручную. Попросите сделать то же самое нескольких знакомых. Откройте карту и оцените качество Вашего и знакомых распознавания в процентах.

Подумайте, достаточно ли только визуальной информации для решения стоящей перед Вами задачи. Если недостаточно, подумайте, какие еще источники информации могут быть полезны. Возможно полезна идентификация карт в разное время и исследование их наложений (совмещения)

Если достаточно, опишите (своими словами) признаки, по которым Вы и знакомые идентифицировали дороги.

Список признаков упорядочите по убыванию частоты встречаемости умноженную на простоту детекции и деленную на частоту ошибок.

Работайте с алгоритмами детекции признаков по списку, постепенно улучшая алгоритм.

26 megabax - "сейчас да, стоит задача именно научиться распознавать образы"

По спектру.
Теория и методы кластеризации: [url]http://www.nrcgit.ru/aster/methods/steps1.htm[/url]

Есть бесплатная программка MultiSpec, в которой алгоритм ISODATA реализован:
[url]https://engineering.purdue.edu/~biehl/MultiSpec/[/url]
Документация: [url]https://engineering.purdue.edu/~biehl/MultiSpec/tutorials.html[/url]
Смотреть
3. Unsupervised Classification (Cluster Analysis)
4. Supervised Classification
Вот тут более подробно, с примерами:
[url]https://engineering.purdue.edu/~biehl/MultiSpec/MultiSpec_Intro_9_11.pdf[/url]

В ENVI методов кластеризации много (в том числе и с обучением), но программа дорогая.
[url]http://www.exelisvis.com/ProductsServices/ENVIProducts.aspx[/url]

Вот тут еще по MultiSpec на русском примеры:
[url]http://www.geogr.msu.ru/science/aero/acenter/int_sem2/int_sem2.htm[/url]

[quote=фил;40652365]Вот тут еще по MultiSpec [/quote]
там распознавание по спектрам.