@Conwangg правильно сказал. А если файл не сильно большой, то можно в онлайне это сделать вот тут http://webmasta.org/tools/norepeatlines/
http://textmechanic.com/text-tools/basic-text-tools/remove-duplicate-lines/ тут 60к строк на дубли только сегодня проверял)