PostgreSQL BM25 全文搜尋：透過這些技巧加速效能
➤ 破解效能慢的迷思，提升 PostgreSQL 全文搜尋的真實速度
✤ https://blog.vectorchord.ai/postgresql-full-text-search-fast-when-done-right-debunking-the-slow-myth
這篇文章探討了 PostgreSQL 內建全文搜尋（FTS）的效能問題，並針對 Neon 公司先前分析中使用的基準測試設定提出修正。文章指出，Neon 的基準測試可能未採用最佳化設定，導致標準 FTS 效能顯著落後於使用 Rust 語言的 Tantivy 函式庫所建構的 pg_search 擴充功能。透過預先計算並儲存 `tsvector`，以及關閉 GIN 索引的 `fastupdate` 選項，標準 FTS 的效能可提升約 50 倍。此外，文章也探討了排序效能（`ts_rank`）的限制，並推薦使用 VectorChord-BM25 擴充功能以獲得更快速、更具相關性的搜尋結果。
+
#PostgreSQL #全文搜尋 #BM25 #效能優化

Wow, #PostgreSQL just got a shiny new toy to play well with others! Apparently, adding #BM25 ranking makes it 3x faster than Elasticsearch—because, you know, exaggerated #performance boasts never get old. So, strap on folks, because your slightly quicker searches in databases are the next big thing!
https://blog.vectorchord.ai/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch #Elasticsearch #database #search #speed #HackerNews #ngated

BM25 in PostgreSQL – 3x Faster Than Elasticsearch — https://blog.vectorchord.ai/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch
#HackerNews #BM25 #PostgreSQL #Elasticsearch #FastSearch #DatabaseOptimization

Transforming PostgreSQL Search: Meet VectorChord-BM25, the 3x Faster Alternative to ElasticSearch

VectorChord-BM25 is set to redefine full-text search in PostgreSQL, integrating advanced BM25 ranking for smarter and faster results. This new extension promises to enhance the search experience, achi...

https://news.lavx.hu/article/transforming-postgresql-search-meet-vectorchord-bm25-the-3x-faster-alternative-to-elasticsearch

Do lots of metadata really help in semantic search?
https://old.reddit.com/r/MachineLearning/comments/1h6f39a/d_do_lots_of_metadata_really_help_in_semantic

Comment: new thread on utility of metadata, BM25, LLM, search, semantics ...

[Перевод] Разбираем алгоритм полнотекстового поиска BM25

BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска. Среди прочего, он по умолчанию применяется в Lucene/Elasticsearch и SQLite. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. Мне захотелось понять, как работает полнотекстовый поиск и в частности BM25, поэтому в этой статье я постараюсь разобраться в этом.

https://habr.com/ru/articles/860830/

After a few weeks of being unable to work on it, I've just published a new version of housaku, my personal search engine powered by SQLite's FTS5!

This update includes:

- Simplified Web UI.
- Enhanced TUI.
- New command to reset the database.
- Theming support.

I also updated the README, which was a bit outdated.

https://github.com/dnlzrgz/housaku

Разбираемся с Vespa. Часть 2

Из этой статьи вы узнаете: 1) Что такое Document и Query Processing. 2) Как обрабатывается текст Vespa. Что такое токенизация и стемминг. 3) Какой из обработчиков текста лучше подходит для русского языка. 4) Как выполнить текстовый поиск. 5) Как происходит ранжирование результата.

https://habr.com/ru/companies/sportmaster_lab/articles/848992/

[Перевод] Новая методика существенно повышает эффективность систем RAG в поиске необходимых документов

В новой работе исследователи из Корнеллского университета представляют «контекстные эмбеддинги документов» — технику, повышающую эффективность моделей эмбеддингов путем учета контекста, в котором извлекаются документы.

https://habr.com/ru/articles/850076/

These past days, I've been working on and having lots of fun with Housaku (豊作), a personal search engine built on SQLite's FTS5. Currently it has:

- Support for file formats like .txt, .md, .pdf, .epub, and .docx
- Basic web scraping functionality
- BM25 for search results, thanks to SQLite's FTS5

And files are processed in parallel, making indexing faster than I expected!

If you're interested, check it out at:

https://github.com/dnlzrgz/housaku

Как найти иголку в стоге сена? Или обозор Retrieval Algorithms

Появление трансформеров, а впоследствии LLM (Large Language Models) привело к активному распространению чат-ботов и различных ассистентов помогающих в получении информации или генерации контента. Но несмотря на то что LLM способны по запросу генерировать человекоподобные тексты, они подвержены галлюцинациям . Естественным кажется желание уменьшить количество не достоверных ответов. Для этого мы можем либо дообучить LLM на наших данных, либо использовать Retrieval Augmented Generation (RAG) . RAG - это способ генерации текстов на новых данных без дообучения модели, с помощью добавления релевантных документов в промпт модели. Документы для генерации ищутся с помощью retrieval системы, после чего объединяются в один промпт и подаются в LLM для последующей обработки. В этой статье я решил собрать информацию о всех наиболее известных и применяемых алгоритмах поиска, с описаниями и материалами для более глубокого изучения.

https://habr.com/ru/articles/840268/

Postgres as a search engine
https://anyblockers.com/posts/postgres-as-a-search-engine
https://news.ycombinator.com/item?id=41343814

Build a retrieval system with semantic, full-text, & fuzzy search in Postgres to be used as a backbone in RAG pipelines.

We’ll combine 3 techniques:

* full-text search with tsvector
* semantic search with pgvector
* fuzzy matching with pg_trgm

* bonus: BM25

https://en.wikipedia.org/wiki/Okapi_BM25
https://blog.paradedb.com/pages/elasticsearch_vs_postgres
https://news.ycombinator.com/item?id=41173288

Он победил LLM RAG: реализуем BM25+ с самых азов

Привет, меня зовут Борис. Я автор телеграм канала Борис опять . Периодически мне на глаза попадается что-то интересное и я глубоко в этом закапываюсь. В данном случае это алгоритм поиска BM25+ , который победил продвинутые методы векторного поиска на LLM. Разберемся, что это за зверь и почему он так хорошо работает. В этой статье мы реализуем его на Python с нуля. Начнем с самого простого поиска, перейдем к TF-IDF, а затем выведем из него BM25+. Статья подойдет тем, кто вообще ничего не знает о поиске, а более опытные ребята могут пролистать до реализации алгоритма. Код доступен в Google Collab .

https://habr.com/ru/articles/823568/

Qdrant 1.7.0
https://qdrant.tech/articles/qdrant-1.7.x/
#ycombinator #vector_search #new_features #sparse_vectors #discovery #exploration #custom_sharding #snapshot_based_shard_transfer #hybrid_search #bm25 #tfidf #splade #qdrant

On a roll: Qdrant brings sparse vectors, discovery search and custom sharding
https://qdrant.tech/articles/qdrant-1.7.x/
#ycombinator #vector_search #new_features #sparse_vectors #discovery #exploration #custom_sharding #snapshot_based_shard_transfer #hybrid_search #bm25 #tfidf #splade #qdrant