Что такое уникальность текста и как ее проверить?

Понедельник, 16 Мая 2011 г. 01:18 + в цитатник

Галина Аксенова

Вы наверняка уже не раз слышали, что поисковые системы особенно ценят уникальные тексты, и потому, создавая свой сайт или какой-либо интернет-проект, искренне намерены наполнять его только оригинальными произведениями мастеров пера.

Интуитивно вы уже понимаете, что уникальный текст – это текст, написанный с нуля и непохожий на другие, то есть он такой один. Без копий, без повторений. Когда вы пишете текст сами, вы уверены, что ваш текст уникален. Однако каково же бывает удивление, когда вдруг обнаруживается, что текст, который вы сами сочинили, отнюдь не уникален с точки зрения поисковых систем.

Простой пример. Вы придумали название статьи, забиваете его в поисковик и вдруг видите, что его до вас уже придумали…

На практике уникальность текстов проверяется с помощью специальных онлайн-сервисов или устанавливаемых на компьютере программ, которые работают по принципу поисковых систем. Ими пользуются и редактора сайтов, и студии интернет-сайтов, и сами авторы.

Однако оказывается, что ничего непогрешимого нет, и идеальных приложений по оценке уникальности текстов тоже. Так, взяв одну давно опубликованную на проекте статью (а следовательно, уже имеющую немало дубликатов), я решила проверить, насколько сходными окажутся результаты. Так, сервис copyscape.ru показал 9 копий, miratools.ru обнаружил 39 дубликатов, istio.com – 23, программа DСF – более 50. Я заинтересовалась, почему же результаты столь различны.
Если объяснять простыми словами, то, с точки зрения роботов, уникальным будет тот текст, в котором порядок слов не совпадает ни с одним из имеющихся в арсенале вариантов. Именно поэтому одним из самых простых и быстрых способов сделать текст оригинальным является перестановка предложений или замена некоторых слов синонимами. И там, где человек заметит явный плагиат, робот, возможно, одобрительно пройдет мимо.

Уникальность текста проверяется поисковыми системами на основе сложных алгоритмов, смысл работы которых заключается в том, чтобы проанализировать разбитые на кусочки цепочки слов проверяемых текстов и сравнить полученные результаты. Чем короче отрезки текста, тем точнее выходит результат.

Текст разбивается на отрезки из пяти-шести слов, которые преобразуются в двоичный код. Во время проверки каждому участку текста присваивается некое уникальное число, и результат вычисляется по заданному алгоритму в виде контрольной суммы. У разных текстов контрольные числа не могут совпадать. Причем в процессе подобного «сканирования» текста конечное слово одного отрезка является первым для нового отрезка, и, следовательно, ни одно слово не теряется. Этот метод называют методом шинглов. Чем короче будут проверяемые отрезки текста, тем точнее результат. Обнаружатся не только точные копии вашего текста, но и его «легкие» переделки.

Метод пассажей предполагает разбивку текста на более крупные участки: проверка идет уже не на уровне словосочетаний, а на уровне предложений. Например, если из десяти слов одного предложения пять слов совпадут с составом другого предложения, его уникальность будет оценена в 50 процентов.

В основе большинства приложений, созданных для проверки уникальности текста, лежит метод шинглов. Однако, наряду с высокой эффективностью поиска дубликатов, у метода есть свой минус.

Надо быть очень осторожным с подобными приложениями, если вы, например, используете цитаты: тексты в кавычках могут значительно уменьшить показатель уникальности текста. То же касается и различных распространенных выражений: поговорки, пословицы, фразеологические обороты, придавая тексту оригинальность, могут существенно поубавить его уникальность.

Поэтому не стоит удивляться, если ваш собственноручно написанный оригинальный текст вдруг забракует программа: ей не до изысков стиля, все дело – в математике.

Рубрики:

общество

Метки: интернет

Процитировано 2 раз
Понравилось: 6 пользователям

<a href="http://arnusha.ru/post166459595/">Р§С‚Рѕ С‚Р°РєРѕРµ СѓРЅРёРєР°Р»СЊРЅРѕСЃС‚СЊ С‚РµРєСЃС‚Р° Рё РєР°Рє РµРµ РїСЂРѕРІРµСЂРёС‚СЊ?</a><br/>Р“Р°Р»РёРЅР° РђРєСЃРµРЅРѕРІР°
Р’С‹ РЅР°РІРµСЂРЅСЏРєР° СѓР¶Рµ РЅРµ СЂР°Р· СЃР»С‹С€Р°Р»Рё, С‡С‚Рѕ РїРѕРёСЃРєРѕРІС‹Рµ СЃРёСЃС‚РµРјС‹ РѕСЃРѕР±РµРЅРЅРѕ С†РµРЅСЏС‚ СѓРЅРёРєР°Р»СЊРЅС‹Рµ С‚РµРєСЃС‚С‹, Рё РїРѕС‚РѕРјСѓ, СЃРѕР·РґР°РІР°СЏ СЃРІРѕР№ СЃР°Р№С‚ РёР»Рё РєР°РєРѕР№-Р»РёР±Рѕ РёРЅС‚РµСЂРЅРµС‚-РїСЂРѕРµРєС‚, РёСЃРєСЂРµРЅРЅРµ РЅР°РјРµСЂРµРЅС‹ РЅР°РїРѕР»РЅСЏС‚СЊ РµРіРѕ С‚РѕР»СЊРєРѕ РѕСЂРёРіРёРЅР°Р»СЊРЅС‹РјРё РїСЂРѕРёР·РІРµРґРµРЅРёСЏРјРё РјР°СЃС‚РµСЂРѕРІ РїРµСЂР°.

РРЅС‚СѓРёС‚РёРІРЅРѕ РІС‹ СѓР¶Рµ РїРѕРЅРёРјР°РµС‚Рµ, С‡С‚Рѕ СѓРЅРёРєР°Р»СЊРЅС‹Р№ С‚РµРєСЃС‚ вЂ“ СЌС‚Рѕ С‚РµРєСЃС‚, РЅР°РїРёСЃР°РЅРЅС‹Р№ СЃ РЅСѓР»СЏ Рё РЅРµРїРѕС…РѕР¶РёР№ РЅР° РґСЂСѓРіРёРµ, С‚Рѕ РµСЃС‚СЊ РѕРЅ С‚Р°РєРѕР№ РѕРґРёРЅ. Р‘РµР· РєРѕРїРёР№, Р±РµР· РїРѕРІС‚РѕСЂРµРЅРёР№. РљРѕРіРґР° РІС‹ РїРёС€РµС‚Рµ С‚РµРєСЃС‚ СЃР°РјРё, РІС‹ СѓРІРµСЂРµРЅС‹, С‡С‚Рѕ РІР°С€ С‚РµРєСЃС‚ СѓРЅРёРєР°Р»РµРЅ. РћРґРЅР°РєРѕ РєР°РєРѕРІРѕ Р¶Рµ Р±С‹РІР°РµС‚ СѓРґРёРІР»РµРЅРёРµ, РєРѕРіРґР° РІРґСЂСѓРі РѕР±РЅР°СЂСѓР¶РёРІР°РµС‚СЃСЏ, С‡С‚Рѕ С‚РµРєСЃС‚, РєРѕС‚РѕСЂС‹Р№ РІС‹ СЃР°РјРё СЃРѕС‡РёРЅРёР»Рё, РѕС‚РЅСЋРґСЊ РЅРµ СѓРЅРёРєР°Р»РµРЅ СЃ С‚РѕС‡РєРё Р·СЂ... <a href="http://arnusha.ru/post166459595/">Р§РёС‚Р°С‚СЊ РґР°Р»РµРµ...</a>

Комментировать

« Пред. запись — К дневнику — След. запись »

Страницы: [1] [Новые]

kIrena_Snake обратиться по имени Понедельник, 16 Мая 2011 г. 01:40 (ссылка)

Ответить С цитатой В цитатник

Четверг, 19 Мая 2011 г. 00:34ссылка

Arnusha

kIrena_Snake,

Ответить С цитатой В цитатник Обратиться по имени

Le-ly-a обратиться по имени Понедельник, 16 Мая 2011 г. 01:42 (ссылка)

Да, знаю, программка Антиплагиат работает тоже по принципу шинглов, длину их задаешь сам, вылавливает даже устоявшиеся выражения...

Ответить С цитатой В цитатник

Четверг, 19 Мая 2011 г. 00:34ссылка

Arnusha

Le-ly-a,

Ответить С цитатой В цитатник Обратиться по имени

Le-ly-a обратиться по имени Понедельник, 16 Мая 2011 г. 01:44 (ссылка)

Подскажите, кто знает, хорошие сайты - копирайтеры или синонимайзеры, мне вот ничего приличного не встретилось, а надо же как-то отвечать на происки "Антиплагиата"!

Ответить С цитатой В цитатник

Четверг, 19 Мая 2011 г. 00:36ссылка

Arnusha

Le-ly-a, Написала бы ост,как отвечать на происки,думаю что всем было бы интересно почитать,и мне в том числе..

Ответить С цитатой В цитатник Обратиться по имени