Как удалить дубликаты онлайн

Работающие с текстом или списками пользователи иногда сталкиваются с задачей, когда требуется удалить повторы. Зачастую такая процедура проводится с огромным количеством данных, поэтому вручную заниматься поиском и стиранием достаточно сложно. Куда проще будет задействовать специальные онлайн-сервисы. Они позволят не только очистить список, но и ключевые слова, ссылки и прочие совпадения. Давайте детально рассмотрим два таких интернет-ресурса.

Удаляем дубликаты онлайн

Очистка любого перечня или сплошного текста от точных копий строк или слов не займет много времени, поскольку используемые сайты молниеносно справляются с такой процедурой. От юзера потребуется только вставить информацию в специально отведенное для этого поле.

Читайте также:
Поиск и удаление дубликатов в Microsoft Excel
Программы для поиска дубликатов фотографий

Способ 1: Спискин

В первую очередь хотелось бы поговорить о таком сайте как Спискин. В его функциональность включены самые разнообразные инструменты по взаимодействию со списками, строками и просто текстом. Среди них присутствует и нужный нам, а работа в нем осуществляется так:

Перейти на сайт Спискин

1. Откройте интернет-сервис Спискин, введя его название в поисковике или нажав на указанную выше ссылку. Среди списка выберите «Удаление дубликатов строк».



2. В левое поле вставьте необходимые данные, а затем кликните на «Удалить дубликаты».



3. Отметьте галочкой соответствующий пункт, если программе сервису следует учитывать регистр написанного.



4. В поле справа вы увидите результат, где также вам покажут остаток строк и сколько их было удалено. Скопировать текст можно, щелкнув на отведенную кнопку.



5. Переходите к действиям с новыми строками, предварительно очистив текущие поля.



6. Ниже на вкладке вы найдете ссылки на другие инструменты, которые также могут быть полезны во время взаимодействия с информацией.

Всего несколько простых шагов потребовалось сделать, чтобы избавиться от копий строк в тексте. Мы смело рекомендуем онлайн-сервис Спискин для работы, поскольку он отлично справляется с поставленной задачей, что вы могли видеть из приведенного выше руководства.

Способ 2: iWebTools

Сайт под названием iWebTools предоставляет функции для вебмастеров, манимейкеров, оптимизаторов и сеошников, о чем, собственно, и написано на главной странице. Среди них присутствует и удаление дубликатов.

Перейти на сайт iWebTools

1. Откройте сайт iWebTools и перейдите к необходимому вам инструменту.



2. Вставьте список или текст в отведенное поле, а затем щелкните на «Удалить дубликаты».



3. Произойдет обновление списка, где уже будут отсутствовать копии.



4. Вы можете выделить его, нажать правой кнопкой мыши и скопировать для дальнейшей работы.

Действия с iWebTools можно считать завершенными. Как видите, ничего сложного в управлении выбранным инструментом нет. Единственное его отличие от того, который мы разбирали в первом способе — отсутствие информации о количестве оставшихся и удаленных строк.

Очистка текста от дубликатов с помощью специальных онлайн-ресурсов — задача несложная и выполняется быстро, поэтому даже у начинающего пользователя не должно возникнуть с этим проблем. Представленные в этой статье инструкции помогут с выбором сайта и покажут принцип работы подобных сервисов.

Читайте также:
Изменение регистра букв онлайн
Распознавание текста на фото онлайн
Преобразование изображения JPEG в текст в MS Word

Мы рады, что смогли помочь Вам в решении проблемы.
Опишите, что у вас не получилось. Наши специалисты постараются ответить максимально быстро.

Помогла ли вам эта статья?

ДА НЕТ

7 лучших программ для поиска файлов-дубликатов

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

CCleaner

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он может не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Загрузить CCleaner →

dupeGuru

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта — она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Цена: бесплатно.

Загрузить dupeGuru →

SearchMyFiles

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Цена: бесплатно.

Загрузить SearchMyFiles →

Gemini 2

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes — мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Цена: 19,95 доллара.

Загрузить Gemini 2→

AllDup

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Цена: бесплатно.

Загрузить AllDup →

Duplicate File Finder

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Загрузить Duplicate File Finder →

Total Commander

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

Цена: 43,9 доллара.

Загрузить Total Commander →

---

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander — это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.

Как удалить повторяющиеся строки в таблице или списке

Удаление повторяющихся строк

Задача: Есть текстовый список разбитый по строкам. В списке присутствуют некоторые дубли строк. Необходимо удалить дубликаты строк из списка.

Например:

Есть	Должно получиться
строка1 строка2 строка4 строка3 строка4 строка1 строка5	строка1 строка2 строка4 строка3 строка5

Сделать операцию по удалению дублей можно несколькими способами, предварительно вставив список в программу в которой будем работать.

Удалить дубликаты в Microsoft Excel

Выделяем список (столбец) ➤ переходим во вкладку Date (Данные), нажимаем команду Remove Duplicates (Удалить дубликаты) ➤ в открывшемся диалоговом окне «Remove Duplicates» (Удалить дубликаты) снимаем флажок My data has headers (Мои данные содержат заголовки) ➤ нажимаем OK. Все повторяющиеся строки будут удалены, кроме первой (оригинала).

Фильтровать дубликаты в LibreOffice

Выделяем нужные ячейки (столбец целиком) ➤ Открываем меню Date (Данные) ➤ «Ещё фильтры» ➤ «Стандартный фильтр…» ➤ В открывшемся диалоговом окне в поле «Имя поля» выбираем необходимый столбец ➤ В поле «Условие» устанавливаем знак равно «=» ➤ В поле «Значение» указываем «Не пусто» ➤ Внизу в разделе «Параметры» обязательно отмечаем флажок «Без повторений» ➤ Жмем OK. В столбце останутся только единичные экземпляры и можно их скопировать.

Путь к стандартному фильтру в LibreOffice

Окно стандартного фильтра в Libre Office

Обратите внимание, что номера у строк в таблице отображаются прежние.

Google-Таблицы

Google Таблицы не имеют встроенных функций удаления дублей, поэтому можно использовать установить дополнение «Remove Duplicates». Установить это расширение можно бесплатно.

После установки расширения заходим в Гугл-таблицу, выделяем столбец (строки) где нужно почистить от дублей ➤ нажимаем в меню «Дополнения» ➤ Remove Duplicates (Удалить дубликаты) ➤ Find duplicates or uniques rows (Найти дубликаты или уникальные) ➤ В открывшемся окне на 1-м шаге нажимаем «Next» ➤ во 2-ом шаге выбираем «Duplicates» и далее ➤ пропускаем 3-й шаг далее ➤ и на 4-ом шаге выбираем, что делать с найденными дублями: перенести (Move), копировать (Copy) в другое место, очистить (Clear) или удалить (Delete). Выбираем «Delete rows within selection» (Удалить выделенные строки). Всё, готово.

Remove Dublicate шаг 1

Remove Dublicate шаг 4

NotePad++

Для удаления ненужных дублей строк в NotePad++ необходимо установить плагин TextFX если не установлен.

Удаление дублей строк плагином TextFX в NotePad++

Удаление повторяющихся строк: Переходим в документ со списком и выделяем (Ctrl+A) ➤ нажимаем в меню TextFX ➤ TextFX Tools ➤ проверяем отмечена ли функция Sort outputs only UNIQUE lines (Сортировать вывод только по УНИКАЛЬНЫМ строкам), ➤ если да, то сразу выбираем Sort lines case insensitive (Сортировка строк без учета регистра).

Удаление дублей онлайн

Для удаления повторяющихся строк (например, это может быть список ключевых слов из KeyCollector, Excel, NotePad и пр.) можно воспользоваться онлайн инструментом удаления дубликатов «Сервис удаления дублей строк».

Удаление дублей строк вместе с оригиналами

Дубликаты с оригиналом в Microsoft Excel

Данная задача выполняется чуть сложнее чем в случае выше. Суть заключается в том, что нужно выделить дубли строк другим цветом, а потом отсортировать по цвету и удалить одинаковые строки.

1. Выделяем диапазон строк (столбец) ➤ Условное форматирование ➤ Правила выделения ячеек ➤ Повторяющиеся значение ➤ в диалоговом окне нажимаем OK.
2. Выделяем диапазон строк (или столбец) ➤ Сортировка и фильтр ➤ Фильтр. В первой строке появится квадратик контекстного меню.
3. Нажимаем ЛКМ на появившийся квадратик в первой строке ➤ Фильтр по цвету ➤ фильтруем по цвету ячейки.
4. В таблице остались только одинаковые строки, выделяем все строки ➤ правой кнопкой мыши вызываем контекстное меню в области над номерами строк ➤ Удалить строку.

Изображение ниже поможет сориентироваться в действиях.

Инструкция удаления строк-дублей вместе с оригиналом в Excel

Программа удаления строк-дублей bvsDupDelet

Программу bvsDupDelet нашел на форуме forum.antichat.ru. Она быстро удаляет дубли строк. В настройках нужно выбрать Unique, чтобы удалить повторяющиеся строки вместе с их оригиналом. В Input необходимо выбрать txt файл редактируемого списка, а в Output — папку куда будет сохранен новый документ. Скачать программу.

Настройки программы bvsDupDelet

Удалить дубли строк вместе с их оригиналом онлайн можно в том же инструменте этого сайта.

3 способа быстрого решения проблемы – Двухголовый интернет-маркетинг

В своей повседневной деятельности очень часто сталкиваюсь с необходимостью быстро удалить дубли из каких-либо списков. Особенно актуальна данная процедура при работе с огромными массивами данных. Кто сталкивался с подобным, знает, что при работе со списками на несколько сот мегабайт, а то и несколько гигабайт, на первый план выходит быстродействие, ибо даже открыть такой файл на среднестатистическом компьютере (ноутбуке) бывает весьма проблематично. А посему сразу отпадают всевозможные и многочисленные онлайн сервисы, т.к. при их использовании накладываются огромные ограничения как каналом связи, так и возможностями браузера. При этом последний превращается в прожорливого до памяти монстра! Но как вы уже поняли из заголовка, выход есть и даже не единственный. Итак, поехали.

1. Удаление дублей при помощи Excel

Для того, чтобы воспользоваться данным способом, проделайте следующий ряд манипуляций:

1. Перейдите по вкладку «Данные».
2. Нажмите «Удалить дубликаты».
3. На запрос выбора столбцов для удаления убедитесь, что выделены все. Если это не так, то нажмите «Выделите все»
4. Нажмите «ОК».

Теперь осталось лишь дождаться процесса завершения работы программы и сохранить полученный результат.

Вывод: данный способ прост до безумия, однако величина списка ограничена максимальным количеством строк на листе редактора — 1 048 576 (версии 2007, 2010, 2013). Что касается скорости работы, то она очень даже высокая. Если ваш список укладывается в данный объём, то смело используйте его. Но что делать, если список больше?

2. Удаление дублей при помощи бесплатной программы Text Duplicate Killer

Для начала скачайте и установите утилиту. Скачать её можно здесь. Сразу после установки запустите её и сделайте следующее:

1. Укажите ссылку на файл со списком
2. Укажите выходной файл, нажав на волшебную палочку (файл сохранится в той же папке, что и основной список).
3. Нажмите кнопку «Старт»

Дождитесь завершения работы программы и наслаждайтесь результатом.

Вывод: способ очень хорош тем, что не имеет ограничений по объёму списка, весьма стабилен, не требователен к памяти, а также тем, что позволяет работать с файлами без их предварительного открытия, что избавляет от дополнительного ожидания в самом начале в отличии от первого способа с Excel. Однако по причине того, что программа разбивает список на множество мелких подсписков, работает она со средней скоростью, которую иногда хотелось бы подувеличить 🙂

3. Удаление дублей при помощи бесплатной программы Notepad++

Чтобы воспользоваться данным способом, необходимо скачать редактор с официального сайта. Кстати, после установки выкиньте блокнот и переходите на эту программулину. Затем необходимо сделать следующее (подготовительный этап):

1. Откройте меню «Плагины».
2. Перейдите в подменю «Plugin Manager».
3. Выберите пункт «Show Plugin Manager».
4. В первой вкладке под названием «Avaliable» найдите и отметьте плагин под названием «TextFX Characters».
5. Нажмите на кнопку «Install».

После завершения установки необходимо обязательно перезапустить программу. После этого в верхнем меню у вас отобразится новый пункт «TextFX» — это и есть тот инструмент, которым мы будем наводить марафет внутри нашего списка.

Теперь дело осталось за малым. Выделяем необходимый кусок текста, а т.к. речь идёт о списке целиком, то жмем заветную комбинацию Ctrl+A и выполняем следующую последовательность действий:

1. Идем в меню «TextFX».
2. Идём в подменю «TextFX Tools».
3. Обязательно смотрим, чтобы была активна галка «+Sort outputs only UNIQUE (at column) lines».
4. Жмем «Sort lines case sensitive (at column)».

Вот и все. Ждем окончания процесса.

Вывод: несмотря на долгий с первого взгляда ритуал подготовки к удалению, данный способ прежде всего хорош тем, что делает свою работу неимоверно быстро. Алгоритм работы программы устроен таким образом, что даже открытие файлов по несколько сот мегабайт не занимает много времени. Так, например, удаление дублей из списка объёмом 707 мегабайт у меня заняло всего лишь порядка 40 секунд (CPU i5 2.4; 4GB RAM). Это несомненный лидер из данного списка по скорости работы.

В заключении хочется отметить, что наверняка это не все варианты удаления дубликатов, однако, предложенной тройки мне в своей деятельности хватает с головой. Надеюсь и вам они составят добрую службу. А, если вы знаете способы ещё круче, велком в комментарии, обсудим.

2 способа Как удалить дубликаты строк в тексте

Привет всем! Некоторые сейчас меня поймут, а некоторые нет (кто не так часто работает с текстом). Вообщем, я часто работаю с документами и у меня все-время возникает вопрос, как удалить дубликаты строк…

Дубли бывают везде, например для поиска одинаковых файлов, очень много программ. А, для того чтобы удалить одинаковые текстовые строки, программ мало. Да вообще их нет! Сколько не искал сейчас покажу 2 программы, через которые можно это делать. И то одна похоже самописная, от автора, у которого тоже походу кончилось терпение их искать)))

1 способ. Как в Эксель удалить дубликаты строк

Этот способ будет первый, т.к. эта программа установлена у большинства пользователей. Она входит в пакет Майкрософта Офиса. Запускаем Эксель и вставляем туда текст, который нужно отсортировать.

Далее переходим во вкладку данные.

Теперь ваш столбец с текстом должен быть выделен. Когда вы его выделите, нажимаем удалить дубликаты.

Появится окно, в котором выбираем нужный столбец. И нажимаем ОК.

Появится окошко с сообщением об удалении дубликатов.

Все, видим что дубли были удалены.

 

2 способ удаление дубликатов строк

На помощь придет программа, которую я увидел чисто случайно. В неё кстати реализован не только этот функционал. Возможно ей кто-то будет пользоваться и по другому назначению. Скачиваем…

Я специально, написал несколько одинаковых и дублирующихся строк.

Запускаем программу. Выбираем удалить дубликаты и кнопку выбрать и удалить дубли. Выбираем ваш файл.

Программа выдаст сообщение о том, сколько дублей получилось удалить.

После завершения, программа создаст отдельный файл с именем Dupdel

Откроем его и увидим что все дубли были удалены.

На этом все. Вот таким способом можно избавится от дублей строк.

Поиск и удаление повторений — Excel

В некоторых случаях повторяющиеся данные могут быть полезны, но иногда они усложняют понимание данных. Используйте условное форматирование для поиска и выделения повторяющихся данных. Это позволит вам просматривать повторения и удалять их по мере необходимости.

1. Выберите ячейки, которые нужно проверить на наличие повторений.

   Примечание: В Excel не поддерживается выделение повторяющихся значений в области «Значения» отчета сводной таблицы.

2. На вкладке Главная выберите Условное форматирование > Правила выделения ячеек > Повторяющиеся значения.

   

3. В поле рядом с оператором значения с выберите форматирование для применения к повторяющимся значениям и нажмите кнопку ОК.

   

Удаление повторяющихся значений

При использовании функции Удаление дубликатов повторяющиеся данные удаляются безвозвратно. Чтобы случайно не потерять необходимые сведения, перед удалением повторяющихся данных рекомендуется скопировать исходные данные на другой лист.

1. Выделите диапазон ячеек с повторяющимися значениями, который нужно удалить.

2. На вкладке Данные нажмите кнопку Удалить дубликаты и в разделе Столбцы установите или снимите флажки, соответствующие столбцам, в которых нужно удалить повторения.

   

   Например, на данном листе в столбце «Январь» содержатся сведения о ценах, которые нужно сохранить.

   

   Поэтому флажок Январь в поле Удаление дубликатов нужно снять.

   

3. Нажмите кнопку ОК.

Удалить дубликаты без смещения строк

Когда удалить дубли в столбце нужно без удаления строк, которые их содержат, стандартный инструмент удаления дубликатов в Excel не подходит:

• Если выделить один столбец — он удаляет ячейки, смещая ячейки вверх, и целостность структуры табличных данных будет утеряна.
• Если просто выделить все столбцы — он удалит только полностью дублирующиеся строки, причем удалит их совсем
• Можно выделить все столбцы и указать, по каким столбцам проверять дубликаты, но вторая проблема — полное удаление строк — не будет решена

Можно ли удалить повторяющиеся значения в столбце без смещения и удаления строк, чтобы данные не «перепутались»?

Именно эту задачу решает надстройка !SEMTools. Она позволяет удалить дубли из столбца, просто очищая содержимое ячеек.

Ниже пример использования.
Здесь мы хотим узнать, какое действие каждый из посетителей совершил в последнем визите. Для этого:
1. Сортируем таблицу по номеру визита по убыванию
2. Удаляем все дубли имени пользователя, кроме первого (это будет последний визит пользователя), получим нужные нам строки для фильтрации.

Пример — как удалить дублирующиеся значения в столбце без смещения строк с !SEMTools

У приведенного примера есть обратная операция — заполнение пустых ячеек значениями выше (или ниже). Чтобы она не понадобилась, рекомендуется производить операцию не на исходных столбцах, а скопировать исходный столбец и производить удаление уже в нем.

А можно ли удалить дубли и одновременно посчитать уникальные значения в Excel?

Да, такая возможность есть, ее предоставляет стандартный функционал сводных таблиц и упрощенная и ускоренная процедура создания сводных таблиц в !SEMTools. Подробнее: как свести таблицу и удалить дубли.

Можно ли найти дубликаты в столбце, не удаляя их?

Да, есть несколько способов решения этой задачи, подробнее: найти дубликаты