Habr<p>RAG: борьба с низким качеством ответов в условия экономии памяти на GPU</p><p>Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять. В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.</p><p><a href="https://habr.com/ru/companies/pgk/articles/897658/" rel="nofollow noopener noreferrer" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/pgk/arti</span><span class="invisible">cles/897658/</span></a></p><p><a href="https://zhub.link/tags/rag" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>rag</span></a> <a href="https://zhub.link/tags/natural_language_processing" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>natural_language_processing</span></a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>искусственный_интеллект</span></a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>машинное_обучение</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%B8%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%BD%D0%B8%D0%BA" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>иипомощник</span></a> <a href="https://zhub.link/tags/%D1%87%D0%B0%D0%BD%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>чанки</span></a> <a href="https://zhub.link/tags/baseline" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>baseline</span></a></p>