Если адреса находятся каждый в отдельной строке, то
открываешь файл блокнотом копируешь его содержимое в буфер обмена. Затем запускаешь calc из пакета LibreOffice [url]http://www.libreoffice.org/[/url], вставляешь данные из буфера обмена, а далее делаешь как тут описано [url]http://graystone.name/496/[/url]
Вместо LibreOffice можешь использовать MS Office там на вкладке данные есть кнопка удалить дубликаты.
Если строки написаны в разном регистре, то еще нужно преобразовать все к одному регистру я бы это сделал в Notepad++ [url]http://notepad-plus-plus.org/[/url]
Если в одной строке несколько адресов, то в Notepad++ это дело можно поправить через поиск и замену. | 