Как сделать кластер из двух компьютеров
Как сделать кластер из двух компьютеров
В общем, друзья, подумал я тут намедни: а что это у меня старый системник стоит, пыль собирает? А не задействовать ли его ресуры во благо великих свершений и не объединить ли его с ноутбуком в один чудесный, прекрасный. кластер?!
Идея странная, но по-своему завораживающая: это ж если научиться вот так спокойно (или относительно спокойно) соединять несколько компов, да не простой сетью локальной, а превращая их в гибриды, превосходящие по производительности каждый из отдельно взятых компонентов системы, можно добиться превосходной эффективности, запуская “тяжеленные” программы и выполняя обширнейшие вычисления.
Конечно, подобные вещи давно практикуются в различных институтах и лабораториях, но идея иметь аналогичную технику дома кажется безумно притягательной. На этом основании вопрос – есть ли среди форумчан люди, могущие подсказать или желающие принять некоторое участие в этой затее? Составленную в результате эксперимента инструкцию можно будет прилепить на сайт, и тогда любой киберпанк исполнит свое домашнее компьютерное извращение.
Кстати сказать, отыскались первые, так сказать, источники (если кому-то будет интересно):
Дело в том, что по первой из прилепленных выше ссылок довольно сильно обнадежили:
” Сразу скажу, что кластер Beowulf – гетерогенная структура. В него могут входить самые разнообазные по параметрам компьютеры, построенные на различных аппаратных платформах, например Intel Pentium различных версий, Alpha, RISC-процессоры, Transmeta, 32-х и 64-х битовые процессоры. Более того, на компьютерах в кластере могут быть установлены самые различные системы: Linux, Windows, OS/2 WARP. Нашей целью будет построение кластера с минимальными усилиями. Поэтому, если вы хотите заниматься делом (сиречь научной работой), а не повышать свой профессионализм в области информационных технологий, о возможной гетерогенности кластера я предлагаю забыть. Будем считать, что аппаратная платформа комьютеров нашего будущего кластера однообразна.
Что касается различия в параметрах (быстродействие, память, . ) у компьютеров, входящих в кластер, то это допустимо. Но в этом случае, вам придется учитывать эти различия при написании параллельных программ, распределяя объем счета в зависимости от возможности каждого отдельного компьютера. В противном случае кластер будет работать как система, состоящая из машин с минимальными рабочими параметрами”.
Но замечание насчет железа кажется мне очень разумным – я надеюсь, что авторы того сайта еще вернутся к этому вопросу.
Render по сети на нескольких ПК возможен?
Олег Истомин
Активный участник
Есть сеть из энного количества одно и двух ядерных ПК. Может кто практикует такое?
Подскажите пожалуйста:
1.Возможно ли их использовать при рендере одного и того же слоя (layer)?
2. Сколько ПК одновременно можно задействовать?
3. Есть ли на эту тему литература, помощь, ссылки ?
PS. раскидать слои по разным ПК и на одном все собрать – это понятно. а именно один единственный (не делимый)
Milanets * RUS * Миланец
Пользователь сайта
1. Да !
2. От одного до без-конечности, с плавным убыванием и добавлением компов налету, РС и MAC в одной упряжке.
3. Да. Ссылки ниже по тексту.
PS: Да ! В каком угодно виде.
____________
Да ! Конечно ! но при этом компьютеры должны быть объединены в ” Кластер ” – после чего они будут представлять из себя ( как бы это по проще сказать – во-общем ) единое целое !
У нас на работе каждый кто уходит домой, перед уходом перезагружает свой рабочий компьютер и входит на второй Boot загрузочный сектор RAID массива своего компьютера – с него автоматически и грузится опирационка для ” Кластера ” после чего комп запрашивает пароль на добавление себя в уже созданный “Кластер ” и автоматически входит в общий ” Кластер “. Таким образом ночью все наиболее мощные компьютеры становятся частью и без-того мощного ” Кластера ” . Хотя честно говоря он и так быстро всё считает . Будь моя воля из-за 7, максимум 17 процентов прироста мощности, я бы аниматоров не гонял и ночные смены отменил. Слышь Шеф !
Продолжаем ! – Не скрою не все компы способны без зависания дожить до утра и поэтому ночью приходиться посменно оставаться ( чаще в вдвоём с админом ) и нудно ждать утра, периодически проверяя всю систему на “работоспособность”. Что б не уснуть играем.
Как ни странно чаще всего зависает именно ” СОФТ ” ! И приходиться рендер заново “заводить” – вот так.
Утром же просто подходим к своим рабочем компьютерам и жмём резко ” Перезагрузку ” ( Для Кластера выпадение каждого из компьютеров в кластере не критично относительно коечного результата расчётов ) далее до загрузки входим в RAID массив дынц. дынц. и выбираю свой прежний загрузочный сектор RAID массива своего компьютера и грузится моя добрая система и . и ” анимирую ” весь день.
____________
Что касается организации самого сервака , то самый простой способ для обычного Неведующего в ” UNIX ” и параллельных технологиях “Windows” “юнита” это ” Кластер ” на основе ” Linux “:
Что касается : Создание кластера на базе ” Linux ” :
____________
Хотя я сам ЖУТКО недолюбливаю ЭТОГО ПИНГВИНА ! И считаю его СУРАГАТОМ ! И оторвал бы ему “его хозяйство” ниже пои.. !
Если Вы считаете, что готовы потрудиться побольше и сразу получить ” Конфетку ” то Вам Суда :
Основы создания безотказных кластеров на базе Windows 2000/2003 :
____________
Понимаю информация там старовата на сегодняшний день, но я думаю кто ищет тот всегда найдёт больше.
Создание кластера на базе Windows
Кстати мой рабочий ” Mac Pro ” на базе процессоров Quad-Core Intel Xeon без-проблем работают в Кластере с обычными PС что лишний раз доказывает скептикам что они внутри обычные но очень мощные PC ! Кроме этого я установил на него WindowsXP и без-проблем легко перезагружаюсь из MAC OS в Windows и обратно. Работая то там то там ! и это снова доказывает что ” Mac ” это ” PС “.
И дома на обычный свой PC ( Quad-Core ) я тоже поставил и ” Windows 64 ” и ” MAC OS “, драва видюхи идут в комплекте – что очень мило со стороны MAC OC !
Так что ” UNIX ” теперь доступен каждому ! – Без какого либо геморроя ! Дружно все всё на всё ставим и Наслаждаемся ! Время ПРИШЛО ! Да здравствует РЕВОЛЮЦИЯ !
____________
PS : Блин, спать охота, а смена ещё нескоро. ( Когда спать охота – игра не в радость. )
Странно – Мой старинный Аватар здесь невиден почему-то ?
Вложения
Олег Истомин
Активный участник
shidoxx
Знаток
Олег Истомин
Активный участник
shidoxx
Знаток
Олег Истомин
Активный участник
Milanets * RUS * Миланец
Пользователь сайта
Проблема не в зависании операционной системы ( типа Винде или UXIX ) установленной на кластере и даже не в железе ( Память во всех машинах в большинстве разнотипная и от разных производителей ( Это конечно если не считать машины ОСНОВНОГО КЛАСТЕРА : 16 Машин по 4xOPTERON + 64 GB RAM – Там все машины одинаковы. ( Кстати дополнительные 8 машин купили менее полугода назад ))), а в самом ” render-e ” – Зависает как правило именно он ! Поэтому каждые полчаса час состояние его проверять приходиться ! А в остальное время играем – что б не уснуть ! Так что ночная смена в три раза короче кажется, а платят за неё в два раза больше ! Вот так !
Да Вы что !? Совсем необязательно !
Любой даже самый задрипанный винт поддерживает минимум 3 загрузочных сектора и тем более RAID массив !
Таким образом переключаясь между загрузочными секторами Вы без-проблем можете загружать то WindowsXP то MAC OS ( UNIX ) или войти на сектор “Кластерной системы” !
Да вообще по-фиг какая система – главное это свободный загрузочный сектор на винте или RAID массиве – ставь что хош и работай, и переключайся когда надо ! Вот так !
Олег Истомин
Активный участник
gentoorion
Пользователь сайта
Олег Истомин
Активный участник
gentoorion
Пользователь сайта
Обычно кластером называют систему из гомогенных узлов, повязанную быстрой сетью и под единым управлением.
Гомогенность как железная так и программная. Так гораздо проще управлять.
Гридом называют сеть кластеров (кластер может быть из одного компьютера), под управлением различных владельцев,
но с единым пулом ресурсов, выделяемых единой политикой. Ресурсы в пул предоставляют владельцы кластеров исходя
из своих соображений.
Вообще не сложно представить кластер, постороенный на узлах с различными ОС. Скажем если программы все равно
работают на Java, то вопрос только сделать идентичные ОС-зависимые нахлобучки на жава машины, чтобы узлы на
уровне жав выглядели идентично. Но я, лично, не готов утверждать, что что-то подобное есть в природе сегодня.
Гомогеность узлов дает существенное преимущество в планировании заданий. Программа просто делится на равные
части, а не подстраивается. А если узлы различные, то все их множество, выделенное для решения задачи, будет
работать как самый медленный.
На сегодня – да, все ПК одного кластера – Linux, при этом одинаковый. (UNICOS/MacOS/AIX/HP-UX/. Windows).
Ответы на оригинальные вопросы:
>Есть сеть из энного количества одно и двух ядерных ПК. Может кто практикует такое?
>Подскажите пожалуйста:
>1.Возможно ли их использовать при рендере одного и того же слоя (layer)?
в теории – да. На практике нет. Проблема в планировщике задания, который должен уметь
делить задание на кусочки, пропорциональные мощности. Наверно руками можно картинку “порезать”
на такие части, но промышлено .
Есть одно решение – резать единую картинку на много очень мелких кусочков, и скармливать
узлам “по готовности”. Но тогда возникает
1. проблема сбора картинки в единое целое.
2. проблема “выравнивания границы” (+/- пиксел, не все рендер движки корректны)
3. резко растет загруженность сети кластера служебной информацией
Так, собственно делают всякие SETI@Home и т.п.
Второе решение касается ситуаций с последовательностями слайдов – каждый слайд на свою машину.
Ну и терпеть, в надежде, что самая медленная все не испортит.
Но вобщем, в гетерогенной сети нужен умный, адаптивный планировщик, каких нет, ибо все кому
всерьез надо иметь большие мощности – строят гомогенные кластеры. На круг выходит дешевле.
>2. Сколько ПК одновременно можно задействовать?
www.top500.org ПК – узлы. Тысячи. В случае рендеринга лимитироваться все будет отношением времени
закачки результатата ко времени рендеринга.
>3. Есть ли на эту тему литература, помощь, ссылки ?
Да, вагон. вам уже выдали ссылок по кластерам.
Персональный совет – для мелких задач задействуйте 2-3-4 одинаковых по конфигурации и железу
машинки. Для крупных – либо ищите где арендовать готовый кластер, либо стройте свой.
Первый этап сборки кластера для ИИ
Как и обещал, начинаю рассказ про сборку/установку кластера на основе видеокарт NVIDIA Tesla. Данный кластер будет состоять из 31 вычислительной ноды и вспомогательных серверов.
В каждой вычислительной ноде 8 видеокарт, которые заточены именно под вычисления. Плюс 2ТБ NVMe PCI-e SSD (расположен прямо на шине PCI), и 100 Гб/с сетевой адаптер. Вот такой узел на фото ниже:
Красным – сетевой адаптер, зеленый – SSD.
Вспомогательные сервера – шлюзы для файловой системы GPFS, и другие ноды. У каждого шлюза – 4 порта по 16Гб/с FC, и 4 по 100 Гб/с сетевых. Фото не делал, ибо сил и времени уже не было.
на выходных всё это будет монтироваться в стойки.
Если получится, то итог тоже постараюсь выложить.
Давайте я угадаю. Этот ИИ называется “майнинг этериума”))).
именно так добываются “доги”? 🙂
Не угадал. Теслы — это худший вариант из всех возможных в соотношении “цена-производительность”.
хер там плавал, из за есс они единственные кому вообе можно вычисления доверить, ну или блять считать по 3 раза одно и тоже
Никогда не сталкивался с значимыми флуктуациями на GDDR5. На коллайдере работаете?
запустите вычисления на недельку потом повторите результат, а то вдруг ошибочка вышла а вы и не в курсе
v100 дает 14 TFlops в одинарной точности и 7 в двойной.
ИМХО, исключительное ИМХО, но видяхи теслы – это пафосный попил бабла. Просто майнеры считают свои копеечки, а компании, чьи директора выступают на конференциях с высокопарными фразами типа “бигдата, мэшинглёгнинг и т.д.”, должны покупать пафосное говно.
Это действительно так. Нвидиа зарубила проект Титан именно по этой причине: кеплеры были почти не отличимы по характеристикам от тесл, а стоили минимум втрое дешевле.
причем за государственные деньги, под видом хуйни какой-то для ВУЗов.
вот вот, залили в уши диру что ИИ, обучим анализу финансового рынка
Зачем собираете свой супер компьютер?
для этого выгоднее арендовать сервисы амазон. ах даааааааа. точнааа. отроскомнадзорили
это простые вычисления, данные не хранятся там. матчасть не трудно найти по этому делу, ты можешь свой код оставить у себя на сервере а на вычисления отправить на амазон
Офигеть, одного только железа под 100 млн. без работ, аренды и обслуживания
РПЦ, денег у них хоть жопой жуй, покруче ваших Росатомов и Яндексов будет)
А что они считают? Свечки?
Имея большие ресурсы и каплю фантазии. Мощный ИИ, который составит всемирную базу человечков, разберет все их поступки, выстроит в зависимости от собственного понимания добра и зла в топ. Самым добрым по 10кк $, самым злым ФИО и адрес добряков, получивших бабосы. Посмотрим, как добрые ребята останутся и добрыми, и живыми)
“Свяжите его! Он опасен!”
Вычисляют где посылка.
этот кластер будет актуальным года 4, железо быстро устареет
Что значит “устареет”?
Через 4 года это железо будет выполнять эту же задачу за такое же время, как и завтра.
Человек – какой-то олдскул-геймер; даже железо для игр за последние Х лет не особо-то устарело 0_о
очень удобно написать Х, да?) или это римская 10? в таком случае устарело невероятно сильно
Я автоматически “десять” прочитал, даже не заметил.
Да что вы пон-те в лен
Кластер тем и хорош, что его нагорячую апгрейдить можно.
Если на поиграться, то может и стоит того, но те кто делает это профессионально, те покупают свои Карты.
В какой-то момент, спустя 2 дня можно осознать, что обучение идёт крайне долго, и нужно менять модель.
Я российский ВУЗ, дайте мне часть, хотя-бы на недельку-две 😉
Мой вариант сейчас работает на 10xp104-100 и 8xGTX1080. От кластера отказался в силу различных причин. Сейчас тестирую вариант вычислительной станции с 24хP102-100, ибо в каждой 3200 cuda core. Есть вопросы к стабильности при долгосрочной пиковой нагрузке, но думаю решения будут найдены.
Майнеры стали умней, шифруются:)
Сурово. А инфраструктура для этого есть?
Это же целый маленький датацентр считай.
Видюха ватт 250*8=2 киловатта + 100-150вт сам комп. Итого 2кВт на ноду.
Типовые блоки розеток и кабели питания с разъёмами C13/C14 всего 10-Амперные, как раз хватит на одну ноду, хорошо если не китайские 🙂
В стойке пусть займётся 32 юнита из 42, одна нода судя по фото 4-юнитовая. Итого 8 нод на стойку, это 10кВт, кабель квадратов в 10 надо подводить к каждой стойке.
31нода*2100Вт=65.1киловатт + вспомогательного на 1-2 киловатта.
Итого потребуется под 70кВт мощности по электричеству и полтора-два раза по столько-же охлаждения.
я думаю вам вопрос питания стоит отдельно провентилировать. Я в этом не особо шарю, слышал что многие подводят всего 5-8кВт на стойку. Ну и тепловыделение ждут соответствующее. Крайне неприятная ситуация может выйти когда провода потекут и “ебанёт”. В том числе и для самого цода. Никто не отменял типичное распиздяйство, когда в ЦОДе манагер продал и “не подумали”, монтажники смонтировали воткнув две ноды в один 10А пилот и не посмотрели и т.д.
У нас же распределение нагрузки на трифазы! А потом хуяк, на одной фазе выбивает автомат, у сервака вырубается половина питания и вся нагрузка переходи на второй бп и другую фазу. На второй фазе автомат тоже не дурак, на двойную нагрузку не рассчитан, вырубается и вот уже стойки полностью обесточены ))
ок, часики тикают. И мне к примеру было бы интересно знать в какой компании такой агрегат ставят
да в той же роснефти/газпроме для обсчёта данных георазведки
А зачем используете дешевые шасси супермикро? не лучше взять хотя бы dell ну на худой конец Asus? чем обусловлен выбор? у дела давно есть шасси на 4 юнита для вычяслительного кластера.
ТС, быть может видосец какой запилите?
круто! подписался, жду подробностей. особенно на тему “что за ОС будет и как это планируется использовать под каким софтом чтобы ЭТО железяка реально работала и приносила прибыль в итоге.
я правильно понимаю что это сдаётся как “виртуалка” для арендуемых мощностей?
Присоединяюсь к вопросу.
а нафига тогда оптоволокно?
к этому ж наверняка есть еще такой же коммутатор, который тоже конвергентный а значит и HBA должен полететь. да и iSCSI ни кто не отменял.
Мы ещё и в интеловский омнипаф могем:-)
а что на счет fortigate? extream networks)? интересно кто еще юзает
extream networks используем в лабной части сети, но в гробу я его консоль видал ((
FC == fiberchannel == оптика.
СХД не умеет в iSCSI? или по меланоксам HBA не летит? FC16 оно даже с учетом накладных медленнее iSCSI по этой сети раз в пять.
Ну это я так, любопытства ради. Понятно что когда ставят сетевушки с такой ценой, стоимость FC фабрики в этом всем растворяется как капля спирта в бочке воды. Но все же я лично свел бы все на один коммутатор. Удобно управлять и мониторить. Минус один таб с вебмордой 🙂
Абаждите, я вот тут не понял, вы сэкономили на 100Гб адаптере для СХД? Он ведь стоит как раз как 4-5 FC16. И что такого сложного в iSCSI? сейчас даже кофеварки его умеют.
Вот честно. не понимаю.
Нет, ну директ-аттачи всяко проще чем на коммутаторе или фабрике разрешения напилить. хотя о чем это я, зачем разрешения внутри одной фермы?
А значит оно все сразу прозрачно будет.
Директ-аттачи. с каждой ноды. в СХД. мама дорогая. шош там за СХД то? Саша Грей что ли?
Для HPC используют обычно люстру, ибо соло СХД хрен когда тебе даст такой перфоманс, разве что пару моделей от EMC, но они будут стоить дороже этого кластера))
Обычно берут часть портом IB для для сети, часть для стораджа под люстру и норм.
я даже пытаться не буду представлять сколько будет стоить infiniband на сравнимые скорости
У нас на ноду 2 порта, каждый порт на свой комутатор, комутаторы соедены Все-со-Всеми, то есть на каждом порядко 8 портов занято на соеденение с соседями. В итоге остается 16 потов на стойку и всего 8 серверов в отказоустойчевом режиме, когда сбалансировано работают 2 порта по 100(108)Гбитсек с писец какой маленькой задержкой))
Бывает так что взять что то с памяти соседнего сервера выходит быстрее, чем запросить данные у свотого проца на этой же платформе (каждый проц отвечаек за свой NAMU домен памяти. +_+
Зато перфоманс сетистораджа по 100Гбитс достигает
з.ы. на платформах еще 2 порта по 10Гбс на обычной меди, она со включеннм RDMA отвечает за подтягивание новых данных на кластер.
да тут вопросы больше риторические.
всегда удивляет, когда люди вваливают бабла охулиард, но при этом архитектура наколеночная.
и тут, собственно, понятно почему так происходит.
айтишники заказчика не имеют полного представления о ожидаемой системе (я имею ввиду на 146%). нанимать подрядчиков – лотерея та еще, а посчитать и реализовать надо еще вчера. по тому обращаются к “пресейлу” каких-нито Рогов&Копыт, те лупят конфу исходя из собственных представлений и что бы дорохобохато, тоже слабо вникая в суть вопроса.
на выходе имеем то что имеем.
Например как я тут видел: Аполло-сервер в качестве СХД, там где должна быть СХД типа MSA.
То есть пресейл не понял задачи и продал слабый сервер с максимальным набором дисков. Теперь на нем ESXi крутятся и одна из них по iSCSI остатки дисков раздает.
И оно всюду так. Я в айти четверть века уже. действительно, полностью грамотных решений видел – по пальцам одной руки фрезеровщика пересчитать.
Или вот еще.. Бюджет 2.5 мульта зеленых. Большая ферма блейдов, СХД 3пар на половину петабайта.. К ним в комплект продана ленточная библиотека на 408 картриджей LTO-5. 5 лет простояла, по тому что пресейл не учел бекапный софт при продаже. Люди 5 лет бакулу мучали как могли. А уж про то, что там половина линков FC8, а другая половина FC16, при этом модулей в фабрику продано с запасом, а лицензий на порты нет. вот как то так.
Источники:
https://cyberclock.cc/forum/showthread.php?t=1714
https://render.ru/xen/threads/render-po-seti-na-neskolkix-pk-vozmozhen.113298/
https://pikabu.ru/story/pervyiy_yetap_sborki_klastera_dlya_ii_5900138
