Дамиан-линсон-поиск

Материал из Дамиан Линсон Вики

Поисковая система «Дамиан Линсон Поиск» основана на открытом движке Dataparksearch.

Список сервисов (услуг) предоставляемых нашей компанией:

  • Поисковая система - ищет информацию по сети Интернет (проект запущен)
  • Арула - социальная сеть для творчества и саморазвития (проект в стадии запуска)
  • Конференция - видео и аудио связь с возможностью преподавания онлайн (проект в стадии запуска)
  • Почта - почтовый интерфейс для чтения и отправки писем (проект в стадии запуска)
  • Облако - файловое хранилище с возможностью шифрования (проект запущен)
  • Файлы - хранение статичных данных различной тематики (проект запущен)
  • Сервис - ремонт техники (проект в стадии запуска)
  • Студия - разработка дизайна (проект в стадии запуска)
  • Магазин - продажа аксессуаров и сопутствующих товаров (проект в стадии запуска)
  • Юрист - бесплатная правовая поддержка и консультация (проект в стадии запуска)

На этой странице будут описаны все существующие возможности поиска. Следить за новостями можно с помощью наших аккаунтов в социальных сетях, либо на страницах официального блога компании.

Список версий (именуются относительно названий планет солнечной системы) «Дамиан Линсон Поиск» версия 1.0 (солнце)

Содержание 1. Введение

   1.1. Возможности «Дамиан Линсон Поиск»
   1.2. Где взять «Дамиан Линсон Поиск»
   1.3. Отказ от ответственности и гарантий
   1.4. Авторы
       1.4.1. Помощники

2. Установка

   2.1. Требования к SQL базе даных
   2.2. Поддерживаемые операционные системы
   2.3. Инструментарий, необходимый для установки
   2.4. Инсталяция «Дамиан Линсон Поиск»
   2.5. Возможные проблемы установки
   2.6. Создание дистрибутивов исполняемых модулей
   2.7. Простая рутина использования

3. Индексирование

   3.1. Общая информация об индексировании
       3.1.1. Конфигурирование
       3.1.2. Запуск indexer
       3.1.3. Создание SQL-таблиц
       3.1.4. Удаление SQL-таблиц
       3.1.5. Управление подсекциями
       3.1.6. Как очистить базу данных
       3.1.7. Статистика базы данных
       3.1.8. Проверка ссылок
       3.1.9. Параллельное индексирование 
   3.2. Реакция на коды HTTP-ответа
   3.3. Поддержка Content-Encoding
   3.4. Стопслова
       3.4.1. Команда StopwordFile
       3.4.2. Формат файла стопслов
       3.4.3. Команда FillDictionary.
       3.4.4. Команда StopwordsLoose.
   3.5. Клоны документов
       3.5.1. Команда DetectClones
   3.6. Указание веб-пространства для индексирования
       3.6.1. Команда Server
       3.6.2. Команда Realm
       3.6.3. Команда Subnet
       3.6.4. Использование различным параметров для сервера и его подсекций
       3.6.5. Использование indexer -f <filename>
       3.6.6. Команда URL
       3.6.7. Команды ServerDB, RealmDB, SubnetDB и URLDB
       3.6.8. Команды ServerFile, RealmFile, SubnetFile и URLFile
       3.6.9. Стандарт исключений для роботов
   3.7. Алиасы
       3.7.1. Команда Alias (из indexer.conf)
       3.7.2. Алиасы для различных частей сервера
       3.7.3. использование алиасов в команде Server
       3.7.4. Использование алиасов в команде Realm
       3.7.5. Команда AliasProg
       3.7.6. Команда ReverseAlias
       3.7.7. Команда ReverseAliasProg
       3.7.8. Алиасы в search.htm 
   3.8. ServerTable
       3.8.1. Загрузка таблицы серверов
       3.8.2. Структура таблицы серверов
       3.8.3. Команда FlushServerTable 
   3.9. Внешние парсеры
       3.9.1. Поддерживаемые типы парсеров
       3.9.2. Установка парсеров
       3.9.3. Воизбежание зависания парсера при выполнении
       3.9.4. Конвееры в командных строках парсеров
       3.9.5. Кодировки и парсеры
       3.9.6. Переменная окружения DPS_URL
       3.9.7. Некоторые внешние парсеры
       3.9.8. Библиотека libextractor
   3.10. Остальные команды, используемые в indexer.conf
       3.10.1. Команда Include
       3.10.2. Команда DBAddr
       3.10.3. Команда VarDir
       3.10.4. Команда NewsExtensions
       3.10.5. Команда SyslogFacility
       3.10.6. Команды указания длины слова
       3.10.7. Команда MaxDocSize
       3.10.8. Команда MinDocSize
       3.10.9. Команда IndexDocSizeLimit
       3.10.10. Команда URLSelectCacheSize
       3.10.11. Команда URLDumpCacheSize
       3.10.12. Команда UseCRC32URLId
       3.10.13. Команда HTTPHeader
       3.10.14. Команда Allow
       3.10.15. Команда Disallow
       3.10.16. Команда CheckOnly
       3.10.17. Команда HrefOnly
       3.10.18. Команда CheckMp3
       3.10.19. Команда CheckMp3Only
       3.10.20. Команда IndexIf
       3.10.21. Команда NoIndexIf
       3.10.22. Команда AllowIf
       3.10.23. Команда DisallowIf
       3.10.24. Команда HoldBadHrefs
       3.10.25. Команда DeleteOlder
       3.10.26. Команда UseRemoteContentType
       3.10.27. Команда AddType
       3.10.28. Команда Period
       3.10.29. Команда PeriodByHops
       3.10.30. Команда ExpireAt
       3.10.31. Команда UseDateHeader
       3.10.32. Команда LMDSection
       3.10.33. Команда MaxHops
       3.10.34. Команда TrackHops
       3.10.35. Команда MaxDepth
       3.10.36. Команда MaxDocsPerServer
       3.10.37. Команда MaxHrefsPerServer
       3.10.38. Команда MaxNetErrors
       3.10.39. Команда ReadTimeOut
       3.10.40. Команда DocTimeOut
       3.10.41. Команда NetErrorDelayTime
       3.10.42. Команда Cookies
       3.10.43. Команда Section
       3.10.44. Команда HrefSection
       3.10.45. Команда FastHrefCheck
       3.10.46. Команда Index
       3.10.47. Команда ProxyAuthBasic
       3.10.48. Команда Proxy
       3.10.49. Команда AuthBasic
       3.10.50. Команда ServerWeight
       3.10.51. Команда OptimizeAtUpdate
       3.10.52. Команда SkipUnreferred
       3.10.53. Команда Bind
       3.10.54. Команда ProvideReferer
       3.10.55. Команда LongestTextItems
       3.10.56. Команда MakePrefixes
   3.11. Расширенные возможности индексирования
       3.11.1. Расширенные возможности индексирования новостей
       3.11.2. Индексирование таблиц SQL баз данных (виртуальная URL схема htdb:)
       3.11.3. Индексирование вывода программ (виртуальные схемы URL exec: и cgi:)
       3.11.4. Зеркалирование
       3.11.5. Сбор данных
   3.12. Использование syslog
   3.13. Хранение сжатых копий документов
       3.13.1. Конфигурирование stored
       3.13.2. Как работает stored
       3.13.3. Использование stored при поиске
       3.13.4. Цитаты документов

4. HTML-парсер в «Дамиан Линсон Поиск»

   4.1. Tag-парсер
   4.2. Специальные символы
   4.3. META-тэги
   4.4. Ссылки
   4.5. Комментарии
   4.6. Шаблоны для индексирования
   4.7. Sub-documents

5. Хранение данных

   5.1. SQL режимы хранения
       5.1.1. Общая инфоромация о хранении
       5.1.2. Разнообразные способы хранения слов
       5.1.3. Способ хранения single
       5.1.4. Способ хранения multi
       5.1.5. Способ хранения crc
       5.1.6. Способ хранения crc-multi
       5.1.7. Замечание о стуктуре таблиц для SQL серверов
       5.1.8. Дополнительные возможности не-CRC режимов хранения
   5.2. Способ хранения Cache
       5.2.1. Введение
       5.2.2. Структура индексов слов при способе хранения Cache
       5.2.3. Утилиты для способа хранения Cache
       5.2.4. Запуск способа хранения cache
       5.2.5. Использование нескольких splitter одновременно
       5.2.6. Использование скрипта run-splitter
       5.2.7. Поиск
       5.2.8. Использование лимитов при поиске
   5.3. К вопросу производительности «Дамиан Линсон Поиск»
       5.3.1. Рекомендация использовать searchd
       5.3.2. Кэширование результатов поиска
       5.3.3. Рекомендация использовать файловую систему в памяти (mfs)
       5.3.4. Команда URLInfoSQL
       5.3.5. Команда SRVInfoSQL
       5.3.6. Команда MarkForIndex
       5.3.7. Команда CheckInsertSQL
       5.3.8. Производительность MySQL
       5.3.9. Библиотека асинхронного резолвера
   5.4. Поддержка SearchD
       5.4.1. Для чего использовать searchd
       5.4.2. Запуск searchd
   5.5. Oracle notes
       5.5.1. Introduction
       5.5.2. Compilation, Installation and Configuration

6. Подсекции

   6.1. Тэги
       6.1.1. Команда Tag
       6.1.2. Команда TagIf
       6.1.3. Тэги в SQL версии
   6.2. Категории
       6.2.1. Команда Category
       6.2.2. Команда CategoryIf
       6.2.3. Загрузка таблицы категорий
       6.2.4. Команда FlushCategoryTable 

7. Поддержка языков

   7.1. Кодировки
       7.1.1. Поддерживаемые кодировки
       7.1.2. Разные названия кодировок
       7.1.3. Перекодировка во время индексации
       7.1.4. Выбор LocalCharset
       7.1.5. Определение кодировки документа
       7.1.6. Автоматическое распознавание кодировки
       7.1.7. Кодировка документов по-умолчанию
       7.1.8. Язык документов по-умолчанию
       7.1.9. Перекодировка во время поиска
       7.1.10. Команда LocalCharset
       7.1.11. Команда RemoteCharset
       7.1.12. Команда URLCharset
       7.1.13. Команда CharsToEscape
   7.2. Создание многоязычных страниц поиска
       7.2.1. Как это работает ?
       7.2.2. Возможные сложности
   7.3. Сегментеры фраз японского, тайского, корейского и китайского языков
       7.3.1. Сегментер фраз японского языка
       7.3.2. Сегментер фраз китайского языка
       7.3.3. Сегментер фраз тайского языка
       7.3.4. Сегментер фраз корейского языка 
   7.4. Поддержка мультиязычных веб серверов

8. Поиск документов

   8.1. Использование поисковых фронт-эндов
       8.1.1. Осуществление поиска
       8.1.2. Параметры поиска
       8.1.3. Изменение весов различных частей документов во время поиска
       8.1.4. Использование фронт-энда на страницах с SSI
       8.1.5. Использование нескольких шаблонов
       8.1.6. Операторы происка
       8.1.7. Булев поиск
       8.1.8. Язык запросов Verity Query Language, VQL
       8.1.9. Как используются при поиске устаревшие документы
   8.2. Модуль mod_dpsearch для Apache httpd
       8.2.1. Для чего использовать mod_dpsearch
       8.2.2. Конфигурирование mod_dpsearch
   8.3. Как создавать шаблоны результатов поиска
       8.3.1. Секции шаблона
       8.3.2. Секция Variables
       8.3.3. Включения в шаблонах
       8.3.4. Условные операторы в шаблонах
       8.3.5. О безопасности
   8.4. Дизайн search.html
       8.4.1. Как создаётся страница результатов
       8.4.2. Ваш HTML-шаблон
       8.4.3. О формах
       8.4.4. Относительные ссылки в search.htm
       8.4.5. Добавление формы поиска на другие страницы
   8.5. Релевантность
       8.5.1. Упорядочивание документов
       8.5.2. Расчёт релевантности
       8.5.3. Рейтинг популярности
       8.5.4. Булевы запросы
       8.5.5. Crosswords
       8.5.6. Алгоритм Построения Рефератов (SEA)
   8.6. Регистрация поисковых запросов
   8.7. Кэш результатов поиска
   8.8. Нечёткий поиск
       8.8.1. Ispell
       8.8.2. Aspell
       8.8.3. Синонимы
       8.8.4. Поиск без учёта акцентов над буквами
       8.8.5. Акронимы и аббревиатуры 

9. Разное

   9.1. Сообщение о багах
       9.1.1. Известные ошибки и баги
       9.1.2. Посмертные дампы
   9.2. Использование библиотеки libdpsearch
       9.2.1. Скрипт dps-config
       9.2.2. DataparkSearch API
   9.3. Структура таблиц базы данных

A. Помощь проекту Индекс подборки

Список таблиц 3-1. Соответствие между типами keyword библиотеки libextractor и именами секций «Дамиан Линсон Поиск» 3-2. уровни подробности сообщений indexer'а 5-1. Типы предопределенных лимитов способа хранения Cache 5-2. Типы SQL-лимитов способа хранения Cache 7-1. Кодировки и их языковые группы 7-2. Синонимы наименований кодировок 8-1. Параметры поиска 8-2. Операторы VQL, поддерживаемые «Дамиан Линсон Поиск» 8-3. Параметры расчёта релевантности, задаваемые при компиляции (ключи для configure) 9-1. Структура таблицы server 9-2. Значения некоторых параметров серверов в таблице srvinfo