Как правильно готовить LLM API в продакшене? Делимся костылями и лучшими практиками
 

Привет, Dev! Сейчас каждый второй проект пытается прикрутить ChatGPT или Клод под капот для автоматизации рутины. Но в реальности все быстро упирается в конский ценник за токены, долгий респонс тайм и жесткие лимиты по API. Как вы решаете проблему контекстного окна, когда нужно скормить нейросети большой массив локальных данных? Юзаете RAG (векторные базы типа Chroma/Pinecone) или тупо файнтьюните опенсорсные модельки вроде Llama под свои задачи? Поделитесь своими архитектурными паттернами и костылями. Интересует именно практический опыт: как минимизировать галлюцинации ИИ и не слить весь бюджет на API-запросы за пару дней.

Ну, я просто режу текст на кусочки и гоняю через поиск по векторам, а потом вменяемо склеиваю — как конструктор «Лего», но иногда всё равно выходит «Эй, а кто я вообще?» и цены сразу капают. Файнтьюнить пытался, но проще сразу зафигачить крутую базу знаний, чем мучиться с тренировками, которые съедят силы и бюджет.