Что такое заполнение индекса поиска
Заполнение полнотекстовых индексов
Создание и обслуживание полнотекстового индекса включает процесс заполнения индекса (которое также называется сканированием).
Types of population
Полнотекстовый индекс поддерживает следующие типы заполнения:
Полное заполнение
Во время полного заполнения индексные записи строятся для всех строк таблицы или индексированного представления. Во время полного заполнения полнотекстового индекса индексные записи строятся для всех строк базовой таблицы или индексированного представления.
По умолчанию SQL Server полностью заполняет новый полнотекстовый индекс сразу после его создания.
Пример создания полнотекстового индекса без выполнения полного заполнения
Пример выполнения полного заполнения в таблице
Заполнение на основе отслеживания изменений
Можно также использовать отслеживание изменений для обслуживания полнотекстового индекса после его первоначального полного заполнения. Это вызывает небольшую нагрузку, связанную с отслеживанием изменений, поскольку SQL Server поддерживает таблицу, в которой выполняется отслеживание изменений в базовой таблице со времени последнего заполнения. При использовании отслеживания изменений SQL Server поддерживает запись строк базовой таблицы или индексированного представления, измененного операциями обновления, удаления или вставки. Изменения данных, внесенные с помощью инструкций WRITETEXT и UPDATETEXT, не отражаются в полнотекстовом индексе и не отмечаются при отслеживании изменений.
Для таблиц, содержащих столбец timestamp, вместо отслеживания изменений можно использовать добавочное заполнение.
При включении отслеживания изменений во время создания индекса SQL Server полностью заполняет новый полнотекстовый индекс сразу же после его создания. Таким образом, изменения отслеживаются и распространяются в полнотекстовый индекс.
Включить отслеживание изменений
Отслеживания изменений выполняется двумя способами:
Способ заполнения полнотекстового индекса определяется типом отслеживания изменений.
Автоматическое заполнение
По умолчанию (либо если задан параметр CHANGE_TRACKING AUTO ) средство полнотекстового поиска использует автоматическое заполнение полнотекстового индекса. После завершения первоначального полного заполнения изменения отслеживаются по мере изменений данных в базовой таблице, а зарегистрированные изменения распространяются автоматически. Полнотекстовый индекс обновляется в режиме вне сети, однако изменения, распространяемые таким образом, могут не отражаться в индексе сразу.
Запуск отслеживания изменений с автоматическим заполнением
Пример переключения полнотекстового индекса на автоматическое отслеживание изменений
В следующем примере полнотекстовый индекс таблицы HumanResources.JobCandidate образца базы данных AdventureWorks переключается на отслеживание изменений с автоматическим заполнением.
Заполнение вручную
Запуск отслеживания изменений с заполнением вручную
Включение отслеживания изменений
Добавочное заполнение с использованием отметок времени
Добавочное заполнение является альтернативным механизмом по отношению к заполнению полнотекстового индекса вручную. Если выполняется большое количество операций вставки в таблицу, то использование добавочного заполнения может быть более эффективным, чем использование заполнения вручную.
Можно запустить добавочное заполнение для полнотекстового индекса, у которого параметру CHANGE_TRACKING присвоено значение MANUAL или OFF.
В некоторых случаях попытка выполнить добавочное заполнение приведет к полному заполнению.
Запуск добавочного заполнения
Создание или изменение расписания для добавочных заполнений
В обозревателе объектов среды Management Studio разверните сервер.
Разверните узел Базы данных, а затем базу данных, которая содержит полнотекстовый индекс.
Раскройте узел Таблицы.
Если базовая таблица или представление не содержат столбец типа данных timestamp, то выполнить добавочное заполнение невозможно.
На панели Выбор страницы выберите пункт Расписания.
Эта страница используется для создания расписания задания агента SQL Server, которое запускает добавочное заполнение базовой таблицы или индексированного представления полнотекстового индекса, а также для управления таким расписанием.
Существуют следующие варианты выбора.
Чтобы создать новое расписание, щелкните Создать.
Чтобы изменить существующее расписание, выберите существующее расписание и щелкните Изменить.
Сведения об изменении задания агента SQL Server см. в этой статье.
Чтобы удалить существующее расписание, выберите существующее расписание и щелкните Удалить.
Нажмите кнопку ОК.
Устранение ошибок в заполнении средства полнотекстового поиска (сканирование)
Имена файлов журналов сканирования имеют следующий формат.
Ниже перечислены переменные части в именах файла журнала сканирования.
Например, SQLFT0000500008.2 является файлом журнала сканирования для базы данных с идентификатором базы данных 5 и идентификатором полнотекстового каталога 8. Двойка в конце имени файла показывает, что этой паре базы данных и каталога соответствуют два файла журналов сканирования.
Что такое поисковый индекс
28 ноября 2017 Опубликовано в разделах: Азбука терминов. 9936
Индекс того или иного ресурса напрямую зависит от текстового контента сайта, его ссылок (внешних и внутренних), графики и так далее. Когда пользователь отправляет запрос в поисковик, он обращается к индексу. Далее на основании данных из поискового индекса выполняется ранжирование результатов поиска, сайтов по степени убывания релевантности.
Чтобы понять, что такое поисковый индекс, разберем простую аналогию. Вспомните общественную библиотеку. Каждая книга здесь имеет свой шифр, индекс. Данные шифры объединяются по темам, направлениям и так далее. Когда читатель просит ту или иную книгу, то есть делает запрос, библиотекарь просматривает все книги, относящиеся к определенному разделу и ищет ту, которая больше всего подходит. Аналогичным образом работает и поисковик: пользователь делает запрос, система просматривает все имеющиеся страницы и выдает ту, которая больше всего подходит.
Что значит индексация
Это процесс, в ходе которого роботы включают имеющиеся данные в единую базу. Далее они обрабатываются. Сбор данных, формирование индекса может происходить автоматически или вручную. В первом случае робот ищет сайты, для этого он сканирует файл формата sitemap.xml или переходит по внешним ссылкам с других сайтов. Во втором варианте владелец сайта сам добавляет URL сайта в специализированные формы-заявки систем Гугл, Яндекс и так далее.
Впервые индексация появилась более 25 лет назад. Тогда база проиндексированных страниц была построена по принципу предметного указателя с ключевыми словами (поиском ключевых слов занимались роботы). На сегодняшний день механизм существенно усложнился, стал более эффективным. На современном этапе, чтобы данные попали в индекс, они сначала обрабатываются специализированными вычислительными алгоритмами, при этом обязательно используется искусственный интеллект.
Для чего нужен индекс поисковой системы
Индексация страниц интернет-ресурса является обязательным элементом работы поисковиков. В ее результате создается база данных, с помощью которой формируются результаты выдачи. Таким образом, любой сайт должен быть проиндексирован поисковой системой, чтобы выходить в результатах выдачи по запросам пользователей.
Индексирование делают роботы, которые бывают двух типов:
Есть и другие роботы, которые различаются по предмету индексации: специальные механизмы для работы с изображениями, RSS-лентами и прочими материалами.
Чем быстрее сайт добавляется в индекс, тем скорее вы увидите первых посетителей. Индексация Гуглом занимает несколько дней, а индексация Яндексом — несколько недель.
Проверить индексацию в системах Гугл и Яндекс
Чтобы проверить, проиндексирован ли ваш ресурс, можно использовать несколько способов:
Ускорение индексации
Скорость индексации зависит от факторов:
Если вы желаете увеличить скорость индексации и быстрее войти в поисковую систему, сделайте следующее:
С момента занесения сайта в индекс начинается отсчет возраста сайта.
Полнотекстовый поиск в 1С. №2 Самое основное для разработчика
Продолжаем
Продолжаем развивать тему штатного полнотекстового поиска платформы 1С. До этого был представлен инструмент для обслуживания полнотекстового индекса «Мастер полнотекстового поиска» c расширенными возможностями и подробно рассмотрены нюансы работы поиска в динамических списках в публикации «Полнотекстовый поиск в 1С. №1 Грабли в динамических списках».
Сегодня мы как раз и рассмотрим вопросы и проблемы, связанные с разработкой и использованием полнотекстового индекса, а также некоторые нюансы его работы. Начнем с настроек метаданных объектов конфигурации.
Индексировать все
Эта настройка позволяет включить / исключить объект из полнотекстового индекса. При создании объектов по умолчанию поиск включен для всех объектных типов, а для регистров выключен. Настройка доступна почти для всех объектов метаданных.
Также доступно свойство «Полнотекстовый поиск» для отдельных полей (реквизитов, ресурсов, измерений) вне зависимости (почти) от их типа (кроме ссылок на внешние источники данных разве что). Да, полнотекстовый индекс можно использовать даже для регистров, но используется это редко. Какой смысл искать данные через индекс ППД в регистре накопления? Наверное, для регистров сведений еще это как-то можно применить, и то в особых случаях. Например в 1С:Документооборот что-то подобное применялось.
Кроме этого, есть еще настройки поиска данных при вводе по строке. В разделе настроек «Поле ввода» объектных типов можно найти настройку «Полнотекстовый поиск» для ввода по строке. Эта настройка имеет описание на ИТС.
Позволяет выполнять поиск не средствами СУБД, как это делается обычно, а с помощью индекса ППД. Также управлять использованием ППД при вводе можно в событии «ОбработкаПолученияДанныхВыбора» модуля менеджера объекта.
Для событий ввода по строке в технологический журнал даже были добавлены события «INPUTBYSTRING» для анализа его работы. Подробнее есть информация здесь.
Пожалуй, это практически все настройки полнотекстового поиска, которые может использовать разработчик для определения состава данных, которые платформа 1С добавила в индекс ППД, а также некоторых действий при поиске.
Первая проблема и обслуживание
Основные настройки мы рассмотрели, но появилась и первая проблема. Если в конфигурации множество объектов, а на стороне базы в этих объектах большое количество записей, то сразу возникает вопрос: а что, если полнотекстовый поиск мне нужно использовать только для одного справочника?
На небольших и средних базах такой вопрос может вообще не возникнуть, но если база «весит» сотни гигабайт или терабайты, то просто так взять и проиндексировать ее штатными средствами платформы 1С практически невозможно. Или же это займет несколько дней, неделю (делайте ставки). Для любознательных: краткое описание процесса поддержки полнотекстового индекса.
В общих чертах, сам процесс поддержки индекса ППД выглядит следующим образом:
1. Пользователь изменяет данные, для которых включено использование индекса ППД. Платформа регистрирует эти данные для последующего помещения в индекс, добавляя записи вида «числовой идентификатор типа + уникальный идентификатор» (для регистров вместо гуида комбинация значений ключевых полей) в служебный файл.
Файлы со списком изменений находятся в каталоге полнотекстового индекса 1Cv8FTxt. Для файловой базы находится рядом с базой, а клиент-серверный режим сохраняет каталог полнотекстового индекса в специальном каталоге сервера:
. \srvinfo\ \1Cv8FTxt
Подробнее о числовом идентификаторе и идентификаторе ссылки можно узнать здесь, а также попробовать инструмент для поиска значения по ссылке. Вот так выглядит информация об этом значении:
Примерно тот же принцип используется для формирования списка объектов к индексированию в инструменте «Мастер полнотекстового поиска».
2. Далее в базе работают два регламентных задания: обновление инд
екса ППД, которое в течении дня с некоторой периодичностью (обычно 1 минута) обрабатывает список измененных данных и актуализирует частичный индекс ППД. После обновления, конечно же, список изменений очищается. Также обычно присутствует второй задание «Слияние индекса ППД», которое объединяет частичный и основной индекс для эффективной работы поиска.
Именно на этапе обновления или слияния индекса платформа 1С может значительно «подвиснуть», если данных к индексированию в базе очень много. Не спасет даже многопоточное обновление индекса несколькими фоновыми заданиями, которое появилось в платформе. Именно поэтому в таких случаях нужно выбрать конкретные объекты метаданных, для которых будет использоваться полнотекстовый поиск, а для каких нет.
Но сделать последнее не так просто, ведь групповой обработки изменения свойства «Полнотекстовый поиск» нет, а «прокликивать» каждый объект это та еще задача (хотя определенным образом ее можно решить с помощью EDT, но. ). Плюс за всеми изменениями не уследишь. В итоге самым простым способом является отключение полнотекстового поиска для всех объектов через выгрузку конфигурации в файлы и последующее его включение только для нужных объектов и свойств:
На всякий случай это можно сделать на отдельной конфигурации. А позже применить изменения на основную конфигурацию через сравнение / объединение с проверками.
Теперь проблема индексирования всех объектов базы будет решена. Мы оставим в полнотекстовом индексе только те данные, те объекты, которые нам действительно нужны. К сожалению, через расширения изменять настройку использования полнотекстового поиска пока нет возможности, поэтому придется изменять все в самой конфигурации. Но, возможно, это временное ограничение. Идеальным решением была бы возможность настраивать индексирование объектов в режиме 1С:Предприятие, но пока такой возможности также не предоставляется.
Добавлю, что в будущем необходимо следить, чтобы для новых объектов конфигурации устанавливались корректные настройки использования полнотекстового поиска. Как говорилось ранее, для новых объектов метаданных ссылочных типов полнотекстовый поиск включен по умолчанию. Это может быть нежелательным поведением, не зря же мы все отключали до этого. Поэтому можно написать пару unit-тестов и отслеживать корректность настроек индекса ППД с божьей их помощью.
Программный поиск
Мы рассмотрели основные настройки состава индекса ППД и проблему для больших баз данных, немного погрузились во внутренности механизма обслуживания и привели некоторые полезные ссылки. Это то, что точно следует знать разработчику о полнотекстовом поиске для эффективной работы. Теперь рассмотрим примеры программного использования индекса ППД и ключевые возможности функционала.
Внимание. Все данные из примеров вымышленные. Любое сходство с реальными людьми случайно 🙂 Для примера было сгенерировано порядка 1 млн. записей в справочнике «Физические лица», который есть во многих типовых конфигурациях.
Самый простой пример
Выполнять операции поиска данных через индекс ППД можно через объект «СписокПолнотекстовогоПоиска», который создается следующим образом:
В этот момент список не содержит каких-либо результатов поиска. Это лишь служебных объект с установленной строкой поиска и размером порции получаемых данных. Далее можно установить дополнительные настройки, которые не являются обязательными.
С их помощью мы можем установить фильтры на объекты метаданных, по которым выполняется поиск, а также указать использование представления объектов в поиске.
Опции «ПолучитьОписание» и «ПолучатьПредставление» позволяет к результату поиска добавить контекстные данные и представления объектов, но это может снизить производительность. Следует использовать при необходимости. Если установить обе опции в «Ложь», то иногда можно заметно ускорить поиск.
Когда все параметры заданы, мы можем получить первую порцию результатов. Есть несколько вариантов:
Это может быть получение либо первой порции данных, либо новой порции от предыдущего результат поиска (следующую или предыдущую). Также можно использовать метод «Получить» для получения конкретного элемента результата поиска, который был получен в текущей порции. Фактически эти методы позволяют обходить результаты запроса постранично. Никто, кстати, не мешает обойти результаты текущей порции простым циклом.
Когда порция получена, мы можем извлечь дополнительную информацию о результате поиска:
По этим параметрам можно судить сколько данных найдено, сколько вообще порций данных нужно обработать, начало текущей порции и точность результата.
Для получения результата поиска в виде HTML или XML платформа 1С предоставляет метод «ПолучитьОтображение».
Именно этим способом в типовых конфигурациях реализуется отображение результата поиска в обработке «ПолнотекстовыйПоискДанных» из БСП. Вот так выглядит эта обработка.
Это практически все средства для программной работы, которые имеет платформа 1С из коробки. Мы не рассматриваем процедуры обслуживания и настройки индекса ППД. Это Вы можете посмотреть в других публикациях, ссылки на которые были пару раз упомянуты выше. Теперь мы рассмотрим еще примеры работы со строкой поиска, чтобы увидеть всю мощь работы полнотекстового поиска.
Магия строки поиска
Строка поиска позволяет указывать как именно этот самый поиск должен выполняться. При этом есть возможность делать как четкий поиск, так и более гибкий с разными допущениями и условиями. Все примеры далее будем делать с использованием стандартной обработки поиска из БСП, которую Вы также можете использовать для изучения работы механизма.
Логические операторы
Самоотверженный Валун Кубрикович
то фактически используются операторы И между словами:
Самоотверженный И Валун И Кубрикович
Это стандартное поведение. В результат попадут все объекты, в тексте которых присутствуют все три слова. При этом если поменять местами искомые слова, то результат будет тот же.
Самоотверженный И Кубрикович И Валун
Таким же образом мы можем использовать оператор ИЛИ:
Самоотверженный ИЛИ Валун ИЛИ Кубрикович
Порядок слов в условиях также не имеет значения. В результат попадут все объекты, в текстовых данных которых есть хотя бы одно из искомых слов.
И, конечно же, для поиска можно использовать оператор НЕ, чтобы исключать из результатов те объекты, в текстовых данных которых содержится определенное слово. Например, такой запрос:
Самоотверженный Лемович НЕ Меридиан
найдет все объекты, в которых содержатся слова «Самоотверженный» и «Лемович», но при этом нет слова «Меридиан».
Есть один нюанс: эти операторы не используются как унарные в начале строки поиска. То есть нельзя сделать вот такой запрос:
НЕ Меридиан
Таким образом, с помощью операторов можно выполнять поиск вхождения слов по текстовому содержимому объектов. Вот так выглядят все примеры выше.
Теперь мы можем перейти к следующему оператору.
Рядом
Гордый РЯДОМ/2 Фарадеевич
при этом этот запрос будет эквивалентен:
Фарадеевич РЯДОМ/2 Гордый 2005
Мы найдем все объекты, где после слова «Гордый» через одно слово идет «Фарадеевич». При этом поиск выполняется как в левую, так и в правую сторону. Можно комбинировать поиск с другими операторами. Например, так мы найдем тех же физ. лиц, но с годом рождения 2005.
Гордый РЯДОМ/2 Фарадеевич 2005
Также этот оператор позволяет указывать направление поиска слов. Для это перед параметром n нужно указать знак + (для поиска после первого слова) или — (для поиска до первого слова). Изменим предыдущее выражение:
Гордый РЯДОМ/+2 Фарадеевич
Если же поставить знак —, то результат поиска будет пустым, т.к. нет подходящих записей.
Гордый РЯДОМ/-2 Фарадеевич
Оператор может быть полезен для более точного поиска данных.
Теперь мы можем перейти к другим операторам.
Точный поиск
В случаях, когда нужно найти текст по конкретной фразе, то можно указать это через двойные кавычки. Например, поиск по:
найдет все значения, в которых есть эта фраза целиком. Если же сделать поиск по:
то результат поиска будет пустым, т.к. нигде такой фразы не встречается.
Таким образом, если нужен поиск конкретной фразы, то этот оператор в помощь.
Группировка слов
Отдельно стоит упомянуть возможность группировки слов с неограниченным уровнем вложенности с помощью скобок: ( и ). Например, выражение:
(Самоотверженный И Валун) ИЛИ (Яростный И Эрудит)
найдет все объекты, в текстовом содержимом которых есть вместе слова «Самоотверженный» и «Валун» или «Яростный» и «Эрудит». Очень полезно для сложных условий поиска.
Идем дальше.
Групповой символ
Групповой символ * используется для поиска по началу строки. Например, есть физ. лицо с ИНН 739780874266. Его можно найти явно, указав ИНН, или с помощью выражений:
7397808742*
7397808*
739780*
Чем меньше значащих символов в начале строки, тем больше подобный поиск может найти данных. А вот такое выражение, как Вы уже поняли, вообще ничего не найдет:
*39780874266
Поиск по началу строки часто может быть очень эффективным инструментом поиска данных.
При использовании этого оператора может быть найдено огромное количество слов, поэтому в платформе 1С реализовано ограничение: максимальное количество слов для группового поиска равно 300.
Еще кое-что
— нечеткий поиск слов с указанным количеством отличий (по умолчанию равен 1).
Здесь приведу пример из синтаксис-помощника. Например, запрос «
Система» найдет «систама», «сивтема», а запрос «Система
2″ найдет «ситтама», «сеттема».
При использовании этого оператора может быть найдено огромное количество слов, поэтому в платформе 1С реализовано ограничение: максимальное количество слов для группового поиска равно 300.
Еще добавлю, что в корне конфигурации можно настраивать дополнительные словари полнотекстового поиска. Но все это уже другая история.
Кстати, в платформе 8.3.16 добавился поиск с помощью индекса ППД по хештегам (строки вида #Слово, от символа # до первого пробела). Еще не приходилось использовать на практике.
Все это достаточно специфические возможности и на моей практике их приходилось использовать очень редко. Если вообще приходилось.
Подводные камни
Вот так, от вопросов обслуживания и настройки полнотекстового индекса, проблем его использования в самом распространенном кейсе и до вопросов разработки и особенностей работы мы прошли небольшой путь. Так были затронуты почти все вопросы, связанные со штатным механизмом полнотекстового поиска платформы 1С. Но это еще не все!
При работе с ним можно встретиться с некоторыми подводными камнями, о которых стоит знать заранее:
В общем, полнотекстовый поиск полезен, но нужно быть готовым к решению проблем.
Вместо заключения
Это вторая публикация в серии статей про полнотекстовый поиск, в которой был сделан упор на вопросы разработки и использования индекса ППД и связанные нюансы его работы. Немного поговорили и о сопровождении. Подведем итог и соберем основные плюсы и минусы штатного механизма полнотекстового поиска.
А что Вы думаете о штатном полнотекстовом поиске?
В следующих статьях мы подробней поговорим о производительности полнотекстового индекса и практические примеры его использования в рамках оптимизации производительности. Рассмотрим несколько кейсов его применения в рамках highload (да, такое возможно).
Другие ссылки
Авторские разработки (все разработки на одной странице)
Диагностика контекста выполнения (внешняя компонента) — небольшая экспериментальная внешняя компонента для получения дополнительной информации о контексте выполнения.