Собираем суперкомпьютеры на Rapberry Pi и Google Coral Edge TPU.
> Собираем суперкомпьютеры на Rapberry Pi и Google Coral Edge TPU.
И шо, этот Корал имеет какой-то смысл при диффундировании или использовании творений OpenAI? Я отчего-то сомневаюсь.
> Корал имеет какой-то смысл при диффундировании
Имеет. Вернее имел бы, если разраб каломатика вместо доты закрывал бы issues на гитхабе.
На самом деле для ML тебе нужны не видюха как таковая, а только её тензорные ядра и ОЗУ.
Покупая видеокарту для ML ты сильно переплачиваешь (оче сильно, даже без учета перекупщиков).
Еще есть проблема в том, что Tensorflow поддерживает TPU из коробки, а Keras нет.
NVIDIA ориентируется на гей-меров. Но было бы неплохо увидитеть от них тензорный сопроцессор.
Да хуле тут обсуждать, если совсем нищета, то 3060, ниже уже нахуй. Если бохатый, то что-то уровня 4080. Но лучше подождать 5 поколение, возможно оно будет под нейронки заточено.
Ну 3060 вообще в сущности единственный варик с 12 гб, чуть больше 30 рублей. Следующие варианты с таким количеством памяти я смотрел - это уже 80-90. На 8 гб лору может быть некомфортно обучать. А переплачивать 50к только с той мотивацией, что мокрые письки генерируются не 12 секунд, а 3 - это надо быть богатеем. Учитывая время на продумывание и вбивание промпта и сравнение вариантов - 3 секунды вместо 12 даже не дают прирост производительности в 4 раза. Про полноценные модели даже не думаю, это уровень 4090.
Опять же, если текстовые буду щупать, то 12 гб лучше.
Сейчас посмотрел сборочки под i7-12700KF и видюшку 3090 и охуел от того какие там заморочки с охлаждением. Эта херня греется нормально вообще, нужно не мало денег еще отдать чтобы все это охладить.
Суть. В ближайшие пару месяцев буду пека собирать. Бюджет будет небольшой. Собираюсь, насколько это железо позволит, нейронками всякими обмазыватьтся.
По видюхам два варианта: 3060 12Gb из магазина, 3070 с алика. Склоняюсь к первому варианту, всё-таки брать отмайненного китайцами кота в мешке ну прям совсем не хочется. Я сильно сосну в сравнение с 3070? Смотрю тот же график бенчмарков диффузии на томас хардвер и понимаю, что вроде как сосну, но не критично.
По процу и озу всё интереснее. Тут либо какая-то пятая рязань с магазина + 16 или 32 гига памяти, либо дохуяядерный (возможно даже двухсокетный) зион с алика + 64 или 128 памяти. И если в случае видюх у меня какое-то предпочтение есть, то в случае проца - вообще хуй знает. Просто краем глаза на ламу поглядываю и звучит это очень интересно, запускать модельку на проце в смысле. Но её вообще до чего-то вменяемого допилят? И что-то кроме неё на проц перенести вообще возможно? Насколько это трендом может стать, если возможно?
Где-то я здесь на борде видел пикчу, что разницы между 2070s и 3060 12gb в SD почти не было.
>>219577
Как пользователь RTX 3070 скажу, что 8гб VRAM нормально так ограничивают доступное разрешение картинок в SD, особенно с hiresfix.
Если выберешь 3060 то соснешь совсем немного в скорости. Если ждать на полминуты больше для тебя не проблема, то лучше выбирать 3060.
Так можно вечно ждать. Хотя интересно, конечно, что будет в 4060 и 4090ti в плане памяти (скорее всего ничего хорошего)
тут рядом тредик ламы
там аноны выяснили следующее:
- видюхи работают плохо: они должны работать быстрее процессоров в тысячи раз, а работают либо также, либо быстрее раза в три, а стоят при этом раз в 6 дороже. Починят ли это вообще и когда - никто не знает. И я хз в чем тут дело, но тот же дифьюжн для картинок на видюхах работает раз в 10-30 быстрее, значит потенциал для языковых сеток в теории тут есть.
- при вычислениях каждый токен требует считывания полного объема модели. Следствие: если модель целиком помещается в память, все работает сносно, если хоть чуть-чуть не посещается, скорость просаживается в 10 раз и более, начинается постоянная подкачка данных
- у видюх бытового класса очень мало памяти: сейчас предел 20-24гб, в то время как на пека можно установить до 128гб и крутить более серьезные модельки
- скорость работы модельки почти линейно зависит от ее обьема. Это значит что большие модельки в любом случае будут работать медленно: разница между "медленно" когда у тебя мощное железо и "оче медленно" когда по каким-то параметрам железо модельку не тянет. Так что большинство даже не рискуют крутить тяжелые модельки, чисто из-за скорости
- значение имеет и формат модельки: некоторые форматы оптимизированы и работают намного быстрее чем другие. Под видюхи есть свои форматы, под процессоры свои - они по-разному нарезаны на слои, которые будут загружаться и обсчитываться
- разработка в активной фазе, так что имеет смысл присмотреть себе наиболее свежий движок. Дело в том что некоторые движки обновляются каждый день, а другие движки - их форки, которые почти не поддерживаются, или сильно отстают от оригинала.
Так что смотри сам.
Если ориентируешься на маленькие и быстрые модельки, то тут большой разницы нет: такие модельки будут быстро работать везде. В чатиках аноны используют именно их: 13b максимум, они тупенькие, но для ролеплея хватает.
Если ориентируешься на большие модельки - видюху под них просто не найдешь, придется ограничиться процессором и тонной памяти. Но имей ввиду что нормально такие модельки крутить не получится - они тормозят везде, потому что большие.
>Но лучше подождать 5 поколение, возможно оно будет под нейронки заточено.
Тоже на это надеюсь, ну или хотя бы на то что в этот раз Хуанг всё таки насыпет памяти и даже на 70х моделях будет по 16 гб, не сможет же он в очередной раз скормить людям огрызки! Сможет конечно, но я надеюсь на лучшее.
Пока сам на 3060 сижу.
На кого тогда ориентируется амуда? У них что в 3д, что в нейронках всё еще хуже.
На геймеров. Я бы не сказал что у них там хуже.
А с нейронками они лоханулись изначально, ковыряясь в носу пока Хуанг чемоданами заносил куда надо
Ну им объективно нет смысла делать решения специально под ИИ. Те кому нужна карта под ИИ и так за редким исключениям покупают Nvidia. Вариантов лучше то все равно нет. Так что зачем лишний раз напрягаться. Вот если бы была реальная конкуренция...
>Я бы не сказал что у них там хуже.
Ретрейсинг?
>>224517
>Ну им объективно нет смысла делать решения специально под ИИ.
С одной стороны да. С другой, сейчас есть спрос на промежуточные решения между геймерсокой картонкой и проф решениями на 100500 тыщ. Банально выпустить титан с х2 памяти на чипе от 4090, и его с руками оторвут нахуй.
>>224623
>Ну им объективно нет смысла
Объективно они пидарасы которые доят свою монополию. Так-то конечно, нет смысла, нахуя делать хороший продукт если этот господин уплатит за все.
Смысл не в том что то что они делают нелогично, смысл в том что они конченные уебки.
И я опять плюну в сторону АМД за то что они такие безвольные дебилы которые уже в который раз не видят дальше своего носа и упускают важнейшие решения.
Пиздец нахуй бомбит от этой хуйни блять уже. Китайцы ещё копаться будут года четыре перед тем как нормальный ускоритель выкатят, так что вариться нам с этими уебками ещё долго.
>Объективно они пидарасы которые доят свою монополию.
Да. И ты бы доил.
>>224740
>Китайцы
Надежды нет, они безмозглые и без технологий теперь, выкатят максимум пресс релиз.
Ну, техпроцесс у них был уже лучше чем у амд и нвидии, так что я бы не был так уверен. Но пока не выкатят/обосрутся не узнаем, а ковыряться они ещё долго будут.
>>224623
>>224517
Вот вы сретесь, а видевокарты вообще не про ИИ. Вы спрашиваете с корпораций то, что вообще не входило в их цели изначально.
То что NVIDIA использует тензорные ядра - они не для вас делалились, а для геймеров, которым нужно качественное сглаживание без мыла.
Если и смотреть в сторону корпов, которые ориентируются на ИИ, то смотрите на чипы от Google.
>Ну, техпроцесс у них был уже лучше
Нет.
>>225013
Мы про домашнее применение. TPU и прочее конечно хорошо, но стоит милиларды.
А нам бы домашнюю картонку с увеличенным объёмом памяти.
> TPU и прочее конечно хорошо, но стоит милиларды.
Конечно тот же NVIDIA A100, который и создавался для дата-центров стоит дохуя вечнозеленых.
Но есть и дешевые.
> А нам бы домашнюю картонку с увеличенным объёмом памяти.
По части памяти тут вообще жидоство то еще. Память дешевая вещь.
А вот разница между видевокартой 16Гб и такой же, но 32Гб колосальная.
Вот только ты говоришь про VRAM. Я напомню, что производители видевокарт в этой области монополисты.
Себестоимость памяти дешевая. Те же TPU от гугла использут DDR3 и HBM.
>То что NVIDIA использует тензорные ядра - они не для вас делалились, а для геймеров, которым нужно качественное сглаживание без мыла.
Это утверждение ошибочно CUDA и нвидия с ног сбилась везде её пропихивая, этот набор инструкций как раз для вычислений, и то что изначально все нейронки собирались под неё сыграло свою роль.
>>225013
>то смотрите на чипы от Google
Гугл не хочет продавать свои чипы, он хочет продавать апи к своему облаку и дополнительные мелкоускорители как штучка из ОП-поста.
Так-то смотреть нужно все равно на нвидиу, а100 лучший вариант на мой взгляд, h100 судя по всему имеет ценник настолько конский что не уверен что даже датацентры захотят его использовать.
>Я напомню, что производители видевокарт в этой области монополисты.
Чего? Я вообще не уверен что они производят память даже для своих карт, а уж производители самих видеокарт типа асуса, мси, палита и т.д. точно покупают память у вендеров вроде хюникса или самсунга
>Себестоимость памяти дешевая.
Не совсем.
>DDR3
Дорожает, ибо перестали делать.
>HBM
Охуенно дорогая в пересчёте на мегабайт.
И да, проблема памяти тут в пропускной способности, и дыры 3 не хватит ни на что. Моя видимокарта имеет почти 1ТБ/с, и это далеко не рекорд.
>>225534
Именно. Хуникс, микрон да сосунг, притом гддр6 делает кажись только один из них (не помню кто, но не сосунг).
3090 - 24гб памяти
4080 - быстрее
Жаба душит отдавать еще почти 100к на все другие запчати.
Такая сборка сейчас:
AMD Ryzen 5 1600
GIGABYTE AB350-Gaming 3-CF
RAM Crucial Technology 16 ГБайт Скорость памяти: 1200.0 MHz (DDR4-2400 / PC4-19200) - есть 2 планки
жесткие диски HDD (да, я тот человек, который не перешел еще на SSD в 2023 году)
Есть вот такие тесты:
>на основе теста 6 игр, AMD Ryzen 5 1600 ограничивает RTX 3090 при настройках 1080p - high 32.1% в среднем .
https://www.cpuagent.com/ru-rub/cpu/amd-ryzen-5-1600/bottleneck/nvidia-geforce-rtx-3090?res=1&quality=high
но, тут тестят в играх, я так понимаю для игр нужен и процессор и видеокарта. Для моих задач это не так актуально вроде как.
Работать-то будет, но по собственному опыту — после перехода с i7 6 поколения на i5 12 поколения скорость генерации выросла почти в два раза.
И под SD лучше взять хоть какой-нибудь SSD (желательно nvme, конечно) гигов так на 512, иначе будешь ждать по несколько минут запуск webui/смену чекпоинта. Для llama, в принципе, тоже актуально, так как там модели весят гораздо больше.
Для примера на гусмасе 980 Pro запуск webui 7 секунд, смена чекпоинта 0.7-1.2 сек.
>AMD Ryzen 5 1600
Ну у тебя совсем всё дновое. Придётся пересобраться на актуальном поколении. Для запуска лламы даже на видяхе нужна оператива.
Так что советую последний амуде (если есть деньги, то с большим кешем), пару плашек по 32 гига, материнку с потанцевалом на 4 канала (не просто 4 слота, а с правильной топологией разводки, чтобы не пукнуть жидко, когда добавишь ещё пару планок).
Ну и SSD, чем больше, тем лучше. 512 это минимум, как уже написали. Но у меня только модели уже 500 гиг заняли, так что лучше сразу 2ТБ бери.
Да, жаба, зато потом комфортно будет, без слёз от того, что что-то не вместилось, тормозит или не запускается.
Стоит ли брать две карты RTX 3060 12Gb вместо одной RTX 3090? Будет ли у меня в целом 24 гб памяти на таком конфиге или я что-то упускаю?
У тебя будет два отдельных независимых устройства cuda0 и cuda1. Ты сможешь запустить два экземпляра webui, каждый со своей моделью. Но каждый экземпляр будет ограничен своим объемом памяти в 12 Гб.
Тоже самое касается и llama и всего что использует cuda для вычислений.
Запараллелить теоретически возможно, но там лютейший низкоуровневый перодолинг, поэтому этого еще никто не сделал.
>поэтому этого еще никто не сделал
В кобольде можно раскидывать слои по разным GPU прямо в гуе. А так да, пердолинга намного больше.
> или я что-то упускаю?
PCI lanes, например. И энергоёмкость. Какой у тебя должен быть PSU в таком случае, как считаешь?
Ну а вообще правильно объяснили, кластера из локальных карт не получится, увы.
> Вернее имел бы
То есть, если подключить эту штуку вот сегодня, то всякие Автоматики начнут генерировать быстрее? Или нет? И если да, то насколько? Постарайся уместить ответ в 100 токенов.
Его нет на 3000 серии, кроме 3090, а на 4000 выпилили вообще. Гои должны платить за проф карточки.
И да, с софтом там тоже не так просто.
Никогда не позволял. Нужно модель на шарды бить и раскидывать по картам, чтобы каждый видеопроцессор сканировал свой шард.
А для чего он тогда был предназначен, если не позволял пул памяти? Раскидывать модель можно вообще без всяких технологий.
В какой 13B? Ты про конкретную модель? Я про многие модели. Мне 3080Ti не хватает для некоторых вещей. То, что можно играть на минималках и с хуёвой картой - мы знаем. Речь о том, чтобы не пердолить конфиги и не идти на компромиссы.
Синхронизация карт прежде всего, это ж изначально для повышения фепсов делалос. Правда, по факту никто это говно не поддерживал и в результате 40% - мировой рекорд нагрузки второй карты. А по поводу пула врам, даже если оно есть, оно тебя не спасет т.к. обращение к пулу памяти второй карты производится через PCIe шину, а она даже в х4 ревизии сосет у двухканальной системной памяти по скоростям.
Впрочем ладно, я напиздел - нвлинк нынче тоже хорошую скорость имеет, но это всё равно 1/10 от скорости врам и простым подключением карт через нвлинк память не объединится.
>>239253
Печаль... Хоть амдшный сервер с двенадцатиканальной памятью бери... Но вроде говорят что на проце все равно не оче.
>амдшный сервер с двенадцатиканальной памятью
В пике примерно половина PSP от сраной 3080Ti. Лучше пачку обычных А100.
>Лучше пачку обычных А100
а100 десять тыщ стоит, тут этот ебанный сервер с 384ГБ ддр5 памяти дешевле выйдет если не на топовом проце.
>Лучше пачку обычных А100
Я чего-то не понимаю или ты сейчас серьезно предложил купить пачку карт по 700 000 деревянных каждая?
Тут у вас тред миллионеров что ли
https://www.avito.ru/moskva/tovary_dlya_kompyutera/professionalnaya_videokarta_nvidia_tesla_a100_80g_2244843215
Производители мат. плат уже начали добавлять в BIOS поддержку модулей высокой плотности.
Также можно попробовать использовать разделители линий pci-e с Bifurcation для слота pci-e 16x -> 8x + 8x (мат. плата должна поддерживать bifurcation)
Да, но даже на ксеонах и эпиках скорость работы судя по репортам так себе. Нужны видеокарты все равно, а с ними судя по всему все плохо. зеленые жадничают с памятью на потребительских картах, а100 до сих пор 10к вечнозеленых, h100 ещё дороже, амд в жопе, интел в тестах хорош но насколько я понял на продажу свои карты для нейронок не выставляет)
(Следующие эпики, кстати, должны быть с чиплетом для нейронок, но он скорее всего будет работать просто как ускоритель для систем с кучей а100 в датацентрах. Хотя кто знает.)
Тогда по идее и уровень потребления VRAM уменьшится и можно будет программно между дополнительными серверами результат каждой части гонять для доработки.
Примерно как сейчас объединяют слои языковой и визуальной сети вместе(miniGPT-4).
>pci-e с Bifurcation для слота pci-e 16x -> 8x + 8x
У меня на плате 16+16+8 псины есть правда третьей версии.
>>262185
>нужно разделить их на слои по функциональности
Просто по слоям поерзать можно, кобольд старший так умеет.
3090 - стоит в районе сотки, докинуть 40-50к и можно взять 4090 которая гораздо быстрее и актуальней.
4080 - слишком мало памяти для ее цены.
Все остальное - никакой прибавки по памяти над 3060.
Всё больше прихожу к выводу, что есть только 2 рациональных решения:
1. Обновляться на 4090 не смотря на ебанутую дыру в моем бюджете, которая останется после ее покупки.
2. Сидеть дальше на 3060, не тратить деньги и ждать 50xx серии и/или лучшей поддержки Intel/AMD карт.
>стоит в районе сотки, докинуть 40-50к
Ты 50% накинуть предлагаешь, это слишком много.
Может 4060 сначала дождешься или 4090ti? Может сделают хорошо.
Ну да, но там производительность более чем на 50% выше и ту же 4090 можно прямо в магазине на три буквы купить, а 3090 еще нужно искать чтобы была новая и не рефаб. Из под чмойнера может и тысяч за 60 купить можно, но это риск плюс уметь нужно.
>>278418
>Может 4060 сначала дождешься
Ну и нахуй нужен 8 гиговый огрызок? Для игр то может и норм с DLSS3 - но я в игры играю не так много, я могу и на средних на своей 3060 поиграть, мне норм. А вот для нейронок это даже хуже 3060 двенадцатигиговой будет.
>4090ti
Будет дороже 4090 и выйдет за год или полгода до выхода 5090 наверное, которая его 100% отыквит - ну и нахуй оно надо?
Если говорить о том, на что я надеюсь - так это на супер версии 40ых карточек, с увеличенным объемом памяти. Но конечно нет никаких гарантий что Хуанг расщедрится. Но всё же шансы есть, вроде продажи у Ады так себе. Какую-нибудь 4070 super на 16 гигов было бы очень вкусно купить. Но это так, влажные мечты.
>8 гиговый огрызок
Так они ж вроде не объявили спеки пока, может опять 12 будет.
>до выхода 5090 наверное, которая его 100% отыквит
Опять же возможно в ней будет больше памяти, но тут да, если ждать ti, то лучше сразу пятой ждать и выбирать тогда уже.
И то и другое б/у
В игровых тестах 1080ti вроде даже чуть мощнее.
>Имеет смысл переплатить за 3060 в сравнении с 1080ti?
Конечно. У Паскалей нет тензорных ядер, они говно в нейронках.
Сравнения с 1080ti и 3060 я не нашел, всё таки 1080ti совсем древняя, но вот как 1660 super перформит в сравнении с 2060 можешь сам на графике увидеть.
Видеокарты без тензорных ядер это очень хуевый варик для нейронок, какие бы они там результаты в игрушках не показывали.
Да даже для игр 3060 лучше, ибо dlss поддерживает и просто новее, а значит меньше прожарена. Хотя для игр уже важно насколько дороже ее продают.
Желательно чтобы модель умела в аниме.
Колаб не хочу.
Вот он и попробует, ведь он десятилетиями доказывал превосходство амудей, уверен, какие-то жалкие тензоры с кудами не пошатнут его принципов.
is_rtx_3060_with_12_gb_vram_enough?
So, I did buy that system and for those of you who asked here are the results. Questions in the post.
Have not tried FP32 yet
Was able to train an textual inversion embedding for 512x512 wir 4GB VRAM to spare
Have not been able to train an DreamArtist one shot embedding : Technical Issue
Have not tried Dreambooth Yet
Without any optimization, can get upto 1536x2304. That's 3x upscale from 512x768.
Will update with more information after experiments
Update 1 and 2 ::
One thing, I wan to tell you is that with this card, specifically for SD, you are sacrificing processing power for extra VRAM. So, make sure you use it and have reason to use it.
As per everything else, Gaming + Graphics Applications, this card is great. I am playing forza horizon 5 on max settings for 1080p, almost never dipped below 100 FPS.
Only when it comes to SD inference or more so training when one might worry about speed.
Okay, here we go, part by part.
Keep in mind, I am using stable-diffusion-webui from automatic1111 with the only argument passed being enabling xformers. FP16 is allowed by default. Loaded model is protogenV2.2 pruned.
Inference
FP32 works ofcourse, it consumes twice as much VRAM as the FP16 and is noticably slower. I do not think it is worth it.
I can generate 2048x2048 images without running out of memory, nvidia-smi reports 8037MiB used by the process. That means about 3 GB to spare and also, with optimization you could do this on 8 GB cards. For this, Eular A, 50 Steps, I get 9.15 sec/it, almost 8 mins for one inference.
But, you are better off using highres fix to upscale.
I ran the extension for webui :: VRAM Estimator
I can do almost anything upto 2048x2048 with bath size of one. Txt2image, img2img, Highresfix img2img.
For timings and speed :::
Textual Inversion
512x512 : 2.17 it/s : ~12 HR @ 100000 steps
512x768 : 1.21 it/s : ~23 HR @ 100000 steps
512x1024 : OOM torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 11.77 GiB total capacity; 9.03 GiB already allocated; 1.01 GiB free; 9.20 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
768x768 : OOM torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.53 GiB (GPU 0; 11.77 GiB total capacity; 7.88 GiB already allocated; 53.31 MiB free; 10.15 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
1024x1024 : OOM torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 4.00 GiB (GPU 0; 11.77 GiB total capacity; 7.77 GiB already allocated; 2.15 GiB free; 8.07 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
Inference ( The straightforward text to image )
3072x2048 : OOM At the LAST Denoising Step
768x512 + HighRes(4x) : 9477MiB : Eular A : 50+50 Steps : 4.97 it/s + 20.49 s/it : 00:10 + 17:04 = 17:14 Unsuccessful torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 3.00 GiB (GPU 0; 11.77 GiB total capacity; 7.40 GiB already allocated; 1.87 GiB free; 8.32 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
2048x2048 :
8037 MiB : Eular A : 50 Steps : 9.15 s/it : 07:33 Time
1024x1024 + HighRes(2x) : 8037MiB : Eular A : 50+50 Steps : 1.33 it/s + 9.38 s/it : 00:37 + 07:42 = 08:39
768x768 : 4311MiB : Eular A : 50 Steps : 3.54 it/s : 00:14
This is going to be a long post, more coming up.
Господа нейромансеры, тут кто-то может сборочку пекарни сделать с 3060 12гб в районе 100к для работы с SD?
Вообще не шарю за железо. Какой проц брать, память и мать?
Huanan X79 + Xeon E5 2690 + 64 Gb (16x4) DDR4 3200MHz G.SKILL Trident
Спс, но это уже далеко за 100к, мне ещё ссд, блок и корпус и кулер брать.
Такой проц дорогой действительно нужен?
И зачем столько памяти, 2-х планок не хватит?
>>285447
Проц 13400 — 18К
или Ryzen 7600X — 22К
Мать MSI PRO B760M для штеуд — 15К
или MSI PRO B650-P для амуде — 18К
Память Kingston FURY Beast Black 32Гб DDR5-5600 — 12К
3060 12Гб— 35К
Итого: штеуд сборка 80К, амуде 87К
Остальное на корпус, бп, кулер, SSD. В 100к хуй знает уложишься или нет, но 110-120К должен.
Можно немного сэкономить (5-10К), если взять мать, память DDR4 и штеуд 12 поколения.
>Huanan X79
>DDR4
Хуйню написал, тролль.
>>285473
>2-х планок не хватит?
Если брать четырёхканал, то надо брать 4 плашки. Впрочем, выше была тролль сборка. Но на хуананах можно собраться вообще за 50к.
>>285587
>память DDR4
Если брать новое, то только DDR5, пропускная способность при запуске на проце роляет.
EPYC с Ebay берем, и обмазываемся оперативкой, хоть 256, хоть 512, хоть терабайт (если конечно кошелек позволит, поскольку это все чудо по цене за штуку баксов перевалит, зато будет многаядерный камень с восьмиканалом, и куча памяти....
майнер детектед...
смысла нет колхозить мульти ГПУ, СД во первых не умеет нормально распределяться, с ламами - сомнительно, вроде должны уметь, но как это будет работать на 4 картах (плохо, потому что шины не хватит), лучше обновить...
>EPYC с Ebay берем
И каким образом? В текущей ситуации это напряжно. Я и раньше только с олишки брал, но сейчас это мейлач хуже двача, ей Богу.
ну я ж не знаю какие у вас в странеспособы обхода санкций, есть же наверняка дропы какие-нибудь....
(правда доверять дропу комплект за 1500$ я бы наверное не стал бы... вообще конечно без тестов сложно сказать что лучше будет работать что хуже, но если нужно больше 128 памяти, то тут однозначно серверные платформы, двухканальный десктоп мимо...
Что-то нужно подпихнуть в имеющийся конфиг с i7-8700, 80Гб@2666:
1. 3060 12g, 30к
2. китайское a770 16g, 30к
3. 4060ti 16g, 50к
50к - чёт дохуявато, как по мне, особенно с учётом того, что играть буду 2 часа в месяц. Да и в целом, я к таким ценам на карты не привык. Но потяну.
Из остальных двух, 770 ширше и мощнее, чем 3060 даже чем 4060ти, скорее всего, но надо ебаться с софтом на всех уровнях, начиная с биоса материнки, с рисками пососа на каждом уровне. В случае уверенного пососа можно будет уверенно повесить её на стенку в рамку, т.к. продавец - китаез с Озон Глобала.
3060 - уже чёт не очень свежее по ттх.
Что думаете, аноны? Может, я пропустил что-то?
почему не хочешь удаленно считать. арендовать там ранпод? я хожу с маком считаю все на удаленке. и не привязан и получаешь результат и комп не дымиться
Не изучал вопрос, но, обычно, при частом юзе
>арендовать
не выгодно.
Плюс, облако - это всегда зависимость от желаний левых пяток. Можно месяц попользоваться, а потом тебе скажут "извините, вы бэд рашн", или ещё что.
Десктоп не задымится, подключиться к нему удалённо я вполне смогу.
>2. китайское a770 16g, 30к
Чел, там люди с намного более распространёнными радевонями (амудой) прожигают стулья под собой на два этажа вниз, а ты хочешь на интуле что-то там пускать.
>>496885
>50к - чёт дохуявато, как по мне
Я 150к за 3080Tiотдал, вот это дохуя.
Так что бери ччто не жалко.
>амудой
Им там врама не докладывают, хули бы не прожигать.
>ты хочешь на интуле что-то там пускать
Хуй знает, я загуглил СД и ЛЛАМу, для обоих нашлись свежие приблуды для работы с Интелём.
Но да, завтра выйдет какая-нить ускорялка ЛЛАМы на Куде, и я пролечу.
По сути, мой вопрос можно свести к "а как там сосётся с Интулем?", т.к. с Нвидлой всё понятно
>бери ччто не жалко.
А на этот вопрос мне здесь не ответят, т.к. ответ могут знать только пользователи Интуля (остальные пересказывают городские легенды), а их тут нет. И вообще их 3.5 человека на Реддите.
>Я 150к за 3080Tiотдал
Зажиточно.
Жаба сведёт меня в могилу, если я так поступлю.
>Им там врама не докладывают
Какой блядь врам? У них просто или не работает, или жрёт в 5 раз больше этого врама.
>Хуй знает, я загуглил СД и ЛЛАМу, для обоих нашлись свежие приблуды для работы с Интелём.
Для амуди тоже есть. Только под люнупсой, только под новый картон, только... Короче пиздец это, а не приблуды. Под интулом, уверен, всё ещё хуже.
>И вообще их 3.5 человека на Реддите.
Именно. Потому что всё плохо. А всё плохо потому что пользователей 3,5.
Короче не шатай мозг людям, бери 3060 12g, оптимально по соотношению ебля/цена/производительность.
> 3. 4060ti 16g, 50к
Комфортно прилично, с дифуззией на ближайшее время все дороги открыты, с текстовыми можешь комфортно юзать 13б с большим контекстом.
> 1. 3060 12g, 30к
Платина, для сд норм, под ллм совсем впритык.
2 даже смотреть не стоит, только если ты убежденный пердолик и с этого кайфанешь. Альтернативой вместо интела тогда рассмотри 3090 с рук, перфоманса и памяти сильно больше чем у перечисленных, но риски.
>>497558
> И вообще их 3.5 человека на Реддите
Типа того, и все кто остались - адепты пердолинга. Тут с хуангом есть чем заняться чтобы все хорошо работало, а там до результата рискуешь не дойти.
> какая-нить ускорялка ЛЛАМы на Куде
Уже
Идея такова.
Взять 128-512ГБ ДыДЫР4 2400, 2 проца по 20 ядер с 2 потоками на ядро(и того 80 потоков, память в 4-8 каналов.
И видюху или вообще не ставить и подключаться по сети, или затычку чисто.
По памяти зарулим видюхи из мегапродукшон сегмента.
Хватит даже на топовые доступные можели(265+ Гб если брать)
А чо про скорости?
О обучении все еще можно забыть или есть шансы?
> 128-512ГБ ДыДЫР4 2400
Будет пиздец, как медленно, частота памяти же решает.
Покупай.
https://www.reddit.com/r/LocalLLaMA/comments/16ner8x/parallel_decoding_in_llamacpp_32_streams_m2_ultra/
https://www.dns-shop.ru/product/92e705ed050eed20/korpus-deepcool-ch560-r-ch560-bkape4-g-1-cernyj/
https://www.dns-shop.ru/product/2a1ebc123f0aed20/korpus-zalman-z10-plus-z10-plus-cernyj/
На какой сесть?
Смущает что у одного из них нет перезагрузки кнопки, и дверка на магнитах(это хорошо или плохо ваще?).
https://www.ozon.ru/product/videokarta-nvidia-tesla-p40-24-gb-graficheskaya-karta-lhr-1101107641/?asb=Ny5TzeMxzPGQ2%252FUA7iOQvPUJOzjWUZguAkgwumoa91E%253D&asb2=Kra7uVlCt-PpJTzRuIHyj26duUiAwow5rdFri8CWzeKlE9bVVyRh0OW1D5JVtOWH&avtc=1&avte=2&avts=1700151710&keywords=nvidia+tesla+p40
Б\У видюха это такое себе.
Если дрочили нейросети- еще хз.
А вот майнеры-ддебилы и ли игрались если сутками, еще и разогнав - оно очень может быть что едва живо.
А еще там под сервак охлаждение, в ПеКарне обычной сгорит скорее всего.
>и того 80 потоков
А работать будет от силы 8, лол, КПД 10%, охуенная идея.
>>545505
>Стекло
>Подсветка
>Фольга
Комбо долбоёба.
>>545808
Всё так.
>>545810
Амуде видяхи не делает.
1. Учитывая цену, карта заезженная.
2. Под неё нужно отдельно городить продув
3. узкоспециализированная, без видеовыхода, то есть актуальна только если ты профессионально хочешь заниматься нейронками и если обычная видяха у тебя есть, но в неё не лезет нейронка.
Гляди, вот плата, тама два М2 разъема. (и 1 еще М2 вай-вай зачемто).
Так вот, какого хера один короткий?
Как мне брать две штуки М2 накопителя и не обосраться?
> Амуде видяхи не делает.
А вот те которые Радеон? Они же все еще есть.
>Стекло
Учитывая, что серверный корпус без серверных же вертушек - говно без задач(а с ними я там не выживу рядом) - это отпадает как и радиаторы под такие корпуса("пассивные" ибо обдув и так лютый), и того что это пожалуй самый достпный 3 по 140мм ветрух - похуй на стекло. Ну а вертушку в стенке чото не найти нынче. Мало стало.
>Подсветка
Решается обрезанием проводков, это я предусмотрел, многоходовочка.
>Фольга
Ну ёб, это нищесборка а не боярский\панский агрегат.
Критерием было "чтоб дуло пиздато и не шибко шумело".
Иначе бы там было больше чем всего 2(!) места под 3.5 харды.
>А работать будет от силы 8,
Кстати а как так то?
Вроде матричные операции параллелиться должны прекрасно.
Твои вопросы не специфичны для /ai/, так что пиздуй в https://2ch.hk/hw/res/2136669.html
>>547154
Да просто всё упирается в скорость памяти. Даже на моей видеокарте с пропускной в 950ГБ/с видеочип простаивает половину времени, а на материнке на тухлом DDR4 2400 скорости будут в районе 50ГБ/с, если не меньше. И учти, что 2 проца там ничего не дадут, софт такого не вывозит.
>Да просто всё упирается в скорость памяти.
В смысле матрицы столь большие что большую часть времени читают значения?
С технической точки зрения выглядит как ебучий костыль.
Хочу на Прологе или символьное на уровне LLAMA.
>В смысле матрицы столь большие
Размер файла нейронки на 70B около 45 гиг. Хули ты хотел?
>>547453
>за пару десятков тыщ рупиев
Рупия не конвертируемая валюта, и 20 килорупий это хуйня в баксах.
>Это же буквально не паханное поле для производителе
Таблетки оформи. Производители (NVidia) прекрасно на этом зарабатывают, продавая H100 за десятки тысяч баксов.
>Таблетки оформи. Производители (NVidia) прекрасно на этом зарабатывают, продавая H100 за десятки тысяч баксов.
В этих картах кучу не нужной лишней хуйни. Нужны платы именно для ии. С майнингом похожая хуйня была, пока челы буквально на коленках платы стали собирать, которые потом асиками стали называться.
Бычка нужно кушать по частям. 1 впарить корпорациям за огромные деньги железо, что может запускать имея достаточный объем памяти и перфоманс. 2 когда этот рынок поднасытится - выпускать более простые модели для более мелких разработчиков. 3 выход на обычных пользователей где уже будет конкуренция и меньше профита, в девайсы обязательно заложить ограничения чтобы не конкурировали с предыдущими.
Вы находитесь между 1-2.
>>547530
Понимаешь, это немножко посложнее чем делать 1.5 простые операции. Уже анонсированы аи ускорители от китайцев и прочие производители суетяться, но это дохуя сложная сфера. Упрощать же, делая слишком узконаправленную вундервафлю не то что рискованно а просто невозможно, с нынешним темпом развития она устареет и станет неактуальной еще до окончания разработки.
Это откуда? Просто обычно в таких гайдах обучение и использование идут отдельными пунктами.
>EPYC с Ebay берем
Ссылочку будь добр покажи на вменяемый на твой взгляд прайс
>а с правильной топологией разводки, чтобы не пукнуть жидко, когда добавишь ещё пару планок).
Какие варианты предложишь?
>3090 с 24Гб
За 180 тысяч рублей?
https://megamarket.ru/catalog/details/videokarta-gigabyte-geforce-rtx-3090-gaming-oc-gv-n3090gaming-oc-24gd-100027687727_41432/
Мне ад плохо стало от цены. Может все таки взять не новую а с майнинга?
Лол, фига ты вспомнил. Асрок х470 таичи, она имеет Т-топологию и должна хорошо работать с 4 планками. На DDR5 вообще никто с 4 планками работать не может, лол.
Это использование, а значит об обучении можно и не думать.
Поэтому самая середнячковая DDR5 по ПСП не уступает топовой DDR4, а обычно и превосходит.
Если вы крутите модельки на процах, ваш выбор - это DDR5 и материнки с кучей линий, чтобы подключать видяхи и накопители.
Нет. Она быстрее ровно на ту частоту, на которую быстрее. От псевдомногоанальности никакой прибавки нет.
Чекай бенчмарки. ПСП вдвое больше.
И в тех задачах, где ПСП роляет, прирост также двойной.
>Чекай бенчмарки. ПСП вдвое больше.
->
>ровно на ту частоту, на которую быстрее
Ебать открытие. У меня она на 6200 работает, и представь себе, в 2 раза быстрее, чем DDR4 на 3000.
Рисовальный ИИ не нужен.
обучат, суки, очередного Гитлера(тот тоже художник был, доебал всех своим перформансом)
>скрытый четырехканальный доступ
В чем прикол брать это говно-оверпрайс, если можно 4хканальную дыдыр-4 взять?
Погоди, а ХУЛИ ТАК ДЁШЕВО?
Линейки Tesla и P40 же ПИЗДЕЦ какие дорогие, под 100к. Почему 17к?
Ну и да, собирать нужно для этого уже не просто пк, а сервак. Обдув специальный ставить, все дела.
То есть берём специальный корпус: с мощным продувом и слотами под SSD.
Там накатываем дебиан и SSH. Накатываем драйвера.
Организовываем файловый сервер.
Накатываем каломатик.
Покупаем у провайдера белый айпи.
И получаем личный сервер, который можно использовать как облачное хранилище, сервер каломатика, а ещё для ведения личного блога.
Но это путь сложный и тернистый, на самом деле. И в любом случае не дешёвый. Кому надо, тому надо.
> Господа нейромансеры, тут кто-то может сборочку пекарни сделать с 3060 12гб в районе 100к для работы с SD?
Я взял Arodor Gaming за 60к.
RTX 3050 8Gb, Intel Core i5, SSD 1Tb.
Как по мне покупка себя оправдала. И в игры играю, и картиночки генерирую.
>говно-оверпрайс
Ты из 2021 капчуешь? Сейчас это не оверпрайс.
А твои 4 канала будут сосать бибу у 2-х канала дыры 5.
>Сейчас это не оверпрайс
Но дыдыра4 пебе уже практически за пару тыщ килограм наваливают.
64gb копейки, но и 512gb вполне приемлемые деньги.
А вот дыдыра5 попробуй возьми так чтоб прям охуеть - ДОРАХА.
>у 2-х канала дыры 5.
Я же написал выше, что у ДДР5 реальных ЧЕТЫРЕ КАНАЛА.
А на меня набросились, будто я капитанствую.
>если можно 4хканальную дыдыр-4 взять?
Канальность зависит от контроллера памяти.
>64gb копейки
Соглы. И проц копейки. А вот материнку с 4-мя каналами нужно ещё поискать, и это будет китаекал с кучей проблем.
>но и 512gb вполне приемлемые деньги.
Только кауда их применить. Оно на 64 гигах сливает и не может быстро их переварить, а уж от 500 гиг толку вообще не будет.
>>580167
>А вот дыдыра5 попробуй возьми
21к отдал за 64 гига 6400, а что?
>>580560
Там ебатория с распиленым каналом, если раньше два канала это 2х64 бита, что даёт в сумме 128 бит, то сейчас это 2х2х32, те же 128 бит, только в профиль. То есть ширина шины у обычных плат и процев не изменилась, и в обоих случаях составляет 128 бит, так что весь прирост идёт за счёт частоты, за счёт разбиения к анальности прироста почти нет, он для другого типа нагрузок.
Так что рекомендую перестать пердеть про 4 канала у DDR5.
>21к отдал за 64 гига 6400, а что?
>
13к за проц(не топ, чисто посмотреть чо придет)+МП+ОЗУ(64гб)
(МП заявлено что 4 канала)
Вот это прям охуенно по цене(если аптайм не важен, ибо мало ли). тока МП не регулирует обороты вентиляторов, мои 3*140мм гудят как Ту-95, яебал, взял новый ТИХИЙ корпус в место БУ серверного, ага
>Только кауда их применить. Оно на 64 гигах сливает и не может быстро их переварить, а уж от 500 гиг толку вообще не будет.
Да ладно, плодишь конетйнеры, ВМ обмазываешься несвежими, и "ой, а где всё?".
Опять же если 2 проца по 22(44) ядра, это 5 с лихом ГБ на поток, не то что бы дико много.
Какова перспективность использования FPGA для нейросетевого железа? Реально ли сейчас ручками собрать что-то эдакое?
> Реально ли сейчас ручками собрать что-то эдакое?
Да (нет). Если у тебя есть скиллы для подобного то найдутся и деньги для покупки видеокарты ради развлечений.
Собирать что-то конкурентное высокопроизводительным ускорителям типа A100/H100 бюджетно не получится.
Так что только ради развлечения и в малых масштабах.
Он сказал, что в принципе да.
Но ты нищий криворукий дебил а значт НЕ ДЛЯ ТЕБЯ.
>Так что только ради развлечения и в малых масштабах.
Это-то понятно, а может есть какие-то примеры, как кто-то запиливал что-нибудь в домашних условиях? Или может сам экспериментировал?
Знания по теме слишком устарели, поверхностны и времени нет чтобы заняться, особенно в одиночку. На реддите в /fgpa было несколько веток и даже примитивные узлы собирали, там поищи.
>На реддите в /fgpa было несколько веток и даже примитивные узлы собирали, там поищи.
Спасибо. Через время сам закуплю, может тут где-то тред создам, либо в /ra.