Анонсы, встал вопрос. Есть задача - создать инструмент, который, используя ai будет выдавать ответы
Аноним
14/02/24 Срд 12:29:41
№
1
Самое лучшее что смог придумать - отвалить денег OpenAI с их assistant и, используя chagpt4 с retrival tool (позволяет загружать файлы, чтобы модель могла использовать их для построения ответа) - через апи просто пересылать вопросы и получать ответы.
Файлов достаточно много (почти все пдф - мануалы), кроме нескольких, которые являются примерами типа "вопрос-ответ" (они json)
Плюсы такого подхода:
1)Удобность - просто закинул файлы и готово
2)Ответ быстро генерируется (10сек-1мин)
Минусы:
1)Платно (не парит)
2) Даже используя казалось бы не самую плохую модель - не всегда получается получить релевантный ответ
Собственно из-за второго минуса я и написал сюда. Есть ли ещё какие-либо способы решения моей задачи?
Как я понимаю, в идеале - найти бы модель, которую можно запускать локально/сервер и у которой есть возможность "скармливания" материала, чтобы я мог все свои пдф-мануалы и примеры-json скормить ей, чтобы она могла выдавать релевантные ответы именно по этим материалам.
И да, время генерации ответа критично - хочется, чтобы на это уходило не больше минуты.
>не всегда получается получить релевантный ответ
Почему? Криво работает чтоли? Вангую, вся проблема в том, что он забивает хуй на твои материалы. Вообще, такая фича это не свойство модели, это отдельное хранилище знаний рядом с нейронкой, можешь найти себе кодера, который сделает, но это будет дорого. Самое простое - распарси свои файлы в адекватный датасет и натренируй на нём свою сетку. Плюсы - будут более релевантные ответы. Минусы - не на сто процентов. И новые знания будет докидывать сложно - только тем же путём.
>не всегда получается получить релевантный ответ
Все пое.ком и прочие используют промпт-улучшайзер по верх пользовательских говновопросов составленных сракой.
Он спрашивает не про это.
>распарси свои файлы в адекватный датасет и натренируй на нём свою сетку. Плюсы - будут более релевантные ответы. Минусы - не на сто процентов.
И уж точно ни вкаком из возможных случаев ему не нужен твой шизоответ.
Ты долбоёб, я ему ответил по поводу его вопроса про "скармливание". И дал возможные пути обхода.
Либо используешь лламу, либо покупаешь суперкудактер и раскатываешь на нем GPT4. Если тебя интересует именно локальный вариант.