[Kaufberatung] Kaufkorrektur ECC Homeserver/NAS mit Proxmox & TrueNAS

[DerBeginner]

Hallo liebe hardwareLUXXerinnen und -LUXXer,

vor ein paar Monaten habe ich angefangen, mich mit dem Thema Homeserver/NAS auseinanderzusetzen. Nach intensiver Recherche und auf Empfehlung eines Bekannten hin bin ich bei folgendem Setup gelandet:

• Mainboard: Supermicro A2SDi-4C-HLN4F
• CPU: Intel Atom Processor C3558 (embedded)
• RAM: 2x 16GB Micron 2133 RDIMM ECC
• PSU: Corsair RM750x
• Case: Fractal Node 304
• 2x Micron 5100 Pro 240GB SSD
• 2x Intel Optane 16GB
• 2x Seagate Exos X18 16TB (refurbished)

Mein ursprünglicher Plan:
Die beiden SSDs sollten im RAID 1 als Bootlaufwerke für Proxmox und gleichzeitig auch als Speicherort für VMs etc. dienen.
Die HDDs und Optanes wollte ich per Passthrough direkt an eine TrueNAS-VM weiterreichen, um sie dort als Speicher bzw. SLOG (beides Raid 1) einzubinden.

Das Problem:
Nach einem einwöchigen Burn-In der HDDs wollte ich das Setup fertig konfigurieren und da ist mir leider ein Denkfehler aufgefallen.
Eigentlich wird empfohlen, den gesamten HDD-Controller per PCIe-Passthrough an TrueNAS durchzureichen – nicht nur einzelne Laufwerke. Da das (wie bei mir auch) mit den onboard SATA Ports idR nicht möglich ist wird typischerweise eine separate HBA empfohlen, die dann der VM zugewiesen wird. Da das Board aber nur einen PCIe Slot hat, den ich für die Installation der zweiten NVMe genutzt habe, lässt sich keine HBA mehr installieren und es kommt mir mittlerweile alles sehr suboptimal vor.

Tja hinterher ist man immer schlauer...

Ich habe die letzten Tage viel recherchiert, bin über unzählige Empfehlungen gestolpert und das hat mich eher wieder unsicherer gemacht als dass es mich einer Lösung näher gebracht hätte. Von „alles verkaufen und auf mATX umsteigen“ bis „Optanes raus, HBA rein, kein SLOG“ war alles dabei. Deshalb hoffe ich, dass ihr mir weiterhelfen könnt.
Wie würdet ihr weitermachen bzw. was ist eurer Meinung nach überhaupt ein sinnvolles Setup in meinem Fall?
Mir wäre wichtig, dass das Setup langfristig sinnvoll und stabil läuft, auch wenn ich dann nochmal ein paar Komponenten austauschen müsste.

Ich bin z. B. auch über die Kombo Ryzen 5 Pro 5650G + MC12-LE0 gestolpert, die ja hier im Forum öfter empfohlen wurde. Leider ist das Board aktuell wieder recht teuer, bietet aber wie mein Supermicro IPMI, was ich sehr zu schätzen gelernt habe, auch wenn das ein paar Watt mehr bedeutet.
Da der Server auch als Datengrab für persönliche Daten dienen soll, ist mir ECC-RAM wichtig.
Und da es mein erster Build ist (und das Budget da ich nichts hatte auf dem ich aufbauen konnte schon höher ist als ich erwartet hatte), wäre es schön, wenn das Ganze nicht komplett aus dem Ruder läuft, was die Kosten angeht. Auch beim Stromverbrauch.

Danke euch schon mal fürs Lesen und im Voraus für eure Hilfe!
DerBeginner

 

[gea]

Die 16GB Optane sind nicht so prickelnd was Performance und Langlebigkeit angeht. Bei einem HD Pool auf dem man sync benötigt, wären sie dennoch sinnvoll. Wenn die VMs jedoch auf die SSD sollen, braucht man da kein Slog, einfach auf dem SSD Pool sync aktivieren. Sync auf dem HD Pool aus lassen.

Man könnte alternativ auch Proxmox selber als NAS nehmen, einfach SAMBA aktivieren. Man spart dann die 8-16GB für die TN VM. Proxmox als NAS ist damit deutlich schneller (man hat mehr RAM für VMs oder als Schreib/Lesecache). Man könnte statt SAMBA eventuell auch das schnellere ksmbd nehmen.

 

[Supaman]

Ich vermisse den UseCase , sprich die Zielsetzungen die Du abbilden willst.

Dein Setup erzeugt bei mir deutliches Kopfkratzen: es wird ein sehr teures Server Board verwendet, die CPU ist zwar nur mit 16w angegeben, ein paar Laufwerke, und da ein 750w(!) NT dran geklatscht. Falls Energieeffizienz eines der Ziele ist, wäre das der falsche weg und Rechenpower sucht man auch vergeblich.

Ich sehe da mehrere Varianten in Unterschiedlichen Leistungsklassen:

Ugreen NAS DXP2800 oder DXP4800
Stromsparend, leise und kann m2 als auch 3,5" Massenspeicher

Xeon MiniPC mit externer Backplane

[Guide] - Mein neuer Home-Server / NAS im kleinsten Server-PC der Welt [Mini-PC mit Xeon und ECC RAM]

Ich habe schon längere Zeit nichts gepostet, nachdem der Sommer in meiner Arbeit immer die Hölle ist und ich daher versuche meine Projekte auf den Winter zu verschieben. Vor zwei Monaten habe ich mir einen neuen Home-Server gebastelt und nachdem ich noch immer mehr als happy damit bin und...

www.hardwareluxx.de

deutlich mehr wumms, aber etwas bastelei

... oder selbstbau, dann aber mit anderen Kompneneten, wie z.B. eins von den 50 Euro Gigabyte Server Boards o.ä.

 

[pwnbert]

kein SLOG

This. Wenn das dein HBA Problem lösen kann (per ASM1166 oder so), dann mach das so.
SLOG daheim ist imho für die Würste.

Bin mir nicht sicher, wie du das alles aufgebaut hast, aber die 2 Optane kannst dir imho schenken.

Ich bin z. B. auch über die Kombo Ryzen 5 Pro 5650G + MC12-LE0 gestolpert, die ja hier im Forum öfter empfohlen wurde. Leider ist das Board aktuell wieder recht teuer, bietet aber wie mein Supermicro IPMI, was ich sehr zu schätzen gelernt habe, auch wenn das ein paar Watt mehr bedeutet.

Kannst genao so nen NanoKVM dran stoppeln und ein beliebiges B550 Consumer-Brett nehmen (mit dem 5650G), läuft imho besser als das gruselige BMC vom MC12 (hab beides hier)... ob das IPMI vom Supermicro besser ist kann ich nicht sagen, wahrscheinlich.
Das MC12 läuft dank AST2500 auch mit CPUs ohne iGPU, also 5600, 5700x und so (nicht unbedingt sparsamer, eher anders rum).
Zudem braucht AM4 UDIMM und nicht RDIMM.


Kannst evtl. den Mini-SAS Port per Passthrough verwenden?

Man könnte alternativ auch Proxmox selber als NAS nehmen, einfach SAMBA aktivieren. Man spart dann die 8-16GB für die TN VM. Proxmox als NAS ist damit deutlich schneller (man hat mehr RAM für VMs oder als Schreib/Lesecache). Man könnte statt SAMBA eventuell auch das schnellere ksmbd nehmen.

Auch das ginge, ist aber als Anfänger vllt. ne Sache, wo man sich nicht so recht traut.

 

[DerBeginner]

Danke euch für die Antworten! Ich habe versucht auf alle Punkte einzugehen und hoffe, dass wir damit einem besser geeigneten Setup näher kommen! Und sorry schon mal für die Wall of Text

Man könnte alternativ auch Proxmox selber als NAS nehmen, einfach SAMBA aktivieren. Man spart dann die 8-16GB für die TN VM. Proxmox als NAS ist damit deutlich schneller (man hat mehr RAM für VMs oder als Schreib/Lesecache). Man könnte statt SAMBA eventuell auch das schnellere ksmbd nehmen.

Ich fand es eigentlich ganz charmant, dass Proxmox nur als Hypervisor dient und TrueNAS dann die NAS Funktionalität übernimmt um das beides von einander zu trennen. Erzeugt natürlich mehr Overhead, aber als ich mich damals für das Setup entschieden hatte wirkte es irgendwie sinnvoll, ich bin aber grundsätzlich offen. Taugt Proxmox als Hypervisor und NAS? Wie sieht es mit den Vor/-Nachteilen von diesem vs. dem Proxmox und TrueNAS als VM Setup aus? Vielleicht kannst du dazu ja nochmal paar Sätze schreiben, weil ich mich damit noch gar nicht auseinandergesetzt habe.
@pwnbert bringt es gut auf den Punkt

Ich vermisse den UseCase , sprich die Zielsetzungen die Du abbilden willst.

Mein initiales Ziel war es endlich mal ein ordentliches Setup für die Datensicherung, sprich NAS + Backup von Geräten zu haben. Ursprünglich hatte ich über eine einfache Synology oder sowas nachgedachte, bin dann über meinen bekannten auf die Idee mit dem Homeserver gekommen. Da ich sowieso schon Homeassistant laufen hatte und auch gerne mal den ein oder anderen Dienst (TrueNAS, nextcloud, immich, paperless-ngx) ausprobieren wollte habe ich mich dann für einen Homeserver entschieden, der alles bündelt und nicht ein RasPi hier, eine Synology da. Außerdem hat mein bekannter immer von ZFS und ECC geredet und dann dachte ich mir mache ich es lieber ordentlich.
Lange Rede kurzer Sinn: Ziel war ein kompaktes, stromsparendes, lange nutzbares System, das nicht nur für Speicher taugt sondern auch für anderes genutzt werden kann und das ganze dann mit ECC um Datensicherheit zu gewährleisten. Da ich von Heimservern keine Ahnung hatte ist es dann durch wildes Recherchieren in etwas geendet, was nicht mehr so richtig zum initialen Ziel passt.

Wie gesagt, wenn wir bei einem Vorschlag ankommen, der genau das erreicht wäre ich sehr sehr happy und bereit die aktuellen Komponenten auch wieder zu veräußern. Das MB fand ich mit 275€ inkl. RAM, SSDs und Optanes teuer, dachte aber für das was es bietet (ECC, IPMI, sparsame CPU, Server-Hardware) wäre das eine gute Investition.

Mit dem Usecase was wäre denn deine/eure Empfehlung?

, und da ein 750w(!) NT dran geklatscht.

Tja, da bin ich mit meiner Unwissenheit am Ende vielleicht auch bei was geladet, was nicht so richtig zu dem passt was ich eigentlich brauche. Ich hatte mich bei der Auswahl des NT an dem Spreadsheet zur Idle Effizienz von PSUs von Wolgang orientiert. Hatte damals zwar öfter was von PicoPSUs gelesen, aber das wirkte für mich als Einsteiger eher unsicher, wenn man nicht genau weiß was man tut, weshalb ich mich dann einfach an dem Spreadsheet orientiert hatte:
PSU Idle Efficiency Spreadsheet

Ugreen NAS DXP2800 oder DXP4800
Stromsparend, leise und kann m2 als auch 3,5" Massenspeicher

Die hatte ich auch gesehen, hatte mich wegen ZFS und ECC dann aber doch für den Selbstbau entschieden.

Xeon MiniPC mit externer Backplane

Der sieht spannend aus, aber ich glaube für den WAF (Wife acceptance factor) ist ein einigermaßen ansehnliches Gehäuse in dem alles versteckt ist besser. Außerdem liegt der Preis für den MiniPC ohne RAM mittlerweile bei 370€ statt den damaligen knapp 200€. Da müsste man mit selberbauen mehr Möglichkeiten haben, oder? Offen dafür wäre ich aber, auch wenn ich spontan eher zu einem Selbstbau tendieren würde.

SLOG daheim ist imho für die Würste.

Bin mir nicht sicher, wie du das alles aufgebaut hast, aber die 2 Optane kannst dir imho schenken.

Spannend, ich dachte, dass das für die writes doch nen ordentlichen Unterschied machen würde vor allem beim initialen Beschreiben der Platten. Weiß aber tbh nicht, wie regelmäßig überhaupt synchrone writes passieren, oder ob der Großteil im Normalfall eh asynchron wäre.
Eine Optane ist direkt im M.2 Slot auf dem MB und die zweite hängt über so eine PCIe Riser/Adapter (?) Karte am PCIe Slot. Wenn ich die raus schmeiße würden also PCIe und M.2 Slot frei werden.

Kannst evtl. den Mini-SAS Port per Passthrough verwenden?

Hatte ich auch überlegt, aber so wie es aussieht geht das nicht, zumindest haben mir die CLI Befehle die ich eingegeben habe gesagt, dass der vom selben Chip kontrolliert wird wie die onboard SATA Ports. Und Passthrough vom Controller bräuchte da ja nen separaten Chip, oder? Zumindest war das wie ich es durch Recherche und LLM verstanden hatte.

läuft imho besser als das gruselige BMC vom MC12

Danke für den Tipp, dann kann ich mir das zumindest ersparen! Das IPMI von Supermicro funktioniert super bisher. Wie sieht denn der Stromverbrauch mit Consumerboard + 5650G aus? Mein aktuelles Setup zieht nämlich auch nicht gerade sparsame +-50W im Idle.

 

[pwnbert]

Proxmox als Hypervisor und NAS? Wie sieht es mit den Vor/-Nachteilen von diesem vs. dem Proxmox und TrueNAS als VM Setup aus?

Proxmox ist Debian mit ZFS, TrueNAS ist Debian mit ZFS.
Die GUI und die (vor-)installierten Pakete sind halt anders und für nen anderen Zweck, ganz einfach gesagt.
Du kannst GEAs Napp-It ja mal probieren am Proxmox, er hat irgendwo ne Anleitung gepostet.

, und da ein 750w(!) NT dran geklatscht

Ist jetzt aber nicht so das Problem, die guten Modelle brauchen auch in der Leistungsklasse bei+/- 20W schon so wenig strom, dass es eigentlich egal ist. Wie viele besser so ein Pico-PSU wirklich ist...
Außerdem kann man das ja immer noch ändern.
Ich seh da kein Drama.

Weiß aber tbh nicht, wie regelmäßig überhaupt synchrone writes passieren, oder ob der Großteil im Normalfall eh asynchron wäre.

Hudri Wudri, das ist die geheime Zauberei, ich kanns dir auch nicht sagen.
Imho kannst du aber unter TrueNAS und auch unter Proxmox zu Sync/Async forcen (neben dem Default, wo ich keinen Plan hab, was da dann wirklich läuft).
Ich wollt mich mit dem Kram schon mal spielen, hab aber nicht die Zeit und Muße dafür. Müsste man per Benchmark und "Überwachung" vom SLOG VDEV eigentlich "rausmessen" können...

Eine Optane ist direkt im M.2 Slot auf dem MB und die zweite hängt über so eine PCIe Riser/Adapter (?) Karte am PCIe Slot. Wenn ich die raus schmeiße würden also PCIe und M.2 Slot frei werden.

Raus damit, meine ich.

zumindest haben mir die CLI Befehle die ich eingegeben habe gesagt, dass der vom selben Chip kontrolliert wird wie die onboard SATA Ports. Und Passthrough vom Controller bräuchte da ja nen separaten Chip, oder? Zumindest war das wie ich es durch Recherche und LLM verstanden hatte.

Hmja, was fürn Output gibt dir "lspci"? Imho kann man anhand dessen die IMMOU Gruppen erkennen... wenn ich nicht ganz daneben liege.

Wie sieht denn der Stromverbrauch mit Consumerboard + 5650G aus?

Haja, 20-25W "nackt" (also mit irgend ner SATA SSD in nem Linux-OS) und nem mittelguten BeQuiet Netzteil (350W TFX Gold, Pure M12 550W, Straight 11 650W 3W mehr).



Nachdem du die HW jetzt schon hier hast, und diese auch nicht so falsch ist, würd ich mal damit arbeiten.

 

[DerBeginner]

Proxmox ist Debian mit ZFS, TrueNAS ist Debian mit ZFS.
Die GUI und die (vor-)installierten Pakete sind halt anders und für nen anderen Zweck, ganz einfach gesagt.
Du kannst GEAs Napp-It ja mal probieren am Proxmox, er hat irgendwo ne Anleitung gepostet.

Danke für den Hinweis, suche ich mir nachher mal raus.

Imho kannst du aber unter TrueNAS und auch unter Proxmox zu Sync/Async forcen

Raus damit, meine ich.

Vorausgesetzt es gibt sowas könnte ich alternativ auch einen M.2 to SATA Adapter einbauen, der an die TrueNAS VM durchgereicht würde und noch einen PCIe auf 2x M.2 Slots für die Optanes als SLOG. Dann würde ich alles auf dem Board unterbekommen.
Um einen HBA oder M.2 auf SATA komme ich ja sowieso nicht rum mit der TrueNAS VM.
Lohnt es sich wegen Datensicherheit Sync für alles zu forcieren? Nutzt jemand von euch das? Dann würde sich ein SLOG ja lohnen. Sonst könnte ich es mir vermutlich wirklich sparen.

Hmja, was fürn Output gibt dir "lspci"?

Spoiler: lspci Output

00:00.0 Host bridge: Intel Corporation Atom Processor C3000 Series System Agent (rev 11)
00:04.0 Host bridge: Intel Corporation Atom Processor C3000 Series Error Registers (rev 11)
00:05.0 Generic system peripheral [0807]: Intel Corporation Atom Processor C3000 Series Root Complex Event Collector (rev 11)
00:06.0 PCI bridge: Intel Corporation Atom Processor C3000 Series Integrated QAT Root Port (rev 11)
00:0a.0 PCI bridge: Intel Corporation Atom Processor C3000 Series PCI Express Root Port #1 (rev 11)
00:10.0 PCI bridge: Intel Corporation Atom Processor C3000 Series PCI Express Root Port #6 (rev 11)
00:11.0 PCI bridge: Intel Corporation Atom Processor C3000 Series PCI Express Root Port #7 (rev 11)
00:12.0 System peripheral: Intel Corporation Atom Processor C3000 Series SMBus Contoller - Host (rev 11)
00:13.0 SATA controller: Intel Corporation Atom Processor C3000 Series SATA Controller 0 (rev 11)
00:14.0 SATA controller: Intel Corporation Atom Processor C3000 Series SATA Controller 1 (rev 11)
00:15.0 USB controller: Intel Corporation Atom Processor C3000 Series USB 3.0 xHCI Controller (rev 11)
00:16.0 PCI bridge: Intel Corporation Atom Processor C3000 Series Integrated LAN Root Port #0 (rev 11)
00:17.0 PCI bridge: Intel Corporation Atom Processor C3000 Series Integrated LAN Root Port #1 (rev 11)
00:18.0 Communication controller: Intel Corporation Atom Processor C3000 Series ME HECI 1 (rev 11)
00:1f.0 ISA bridge: Intel Corporation Atom Processor C3000 Series LPC or eSPI (rev 11)
00:1f.2 Memory controller: Intel Corporation Atom Processor C3000 Series Power Management Controller (rev 11)
00:1f.4 SMBus: Intel Corporation Atom Processor C3000 Series SMBus controller (rev 11)
00:1f.5 Serial bus controller: Intel Corporation Atom Processor C3000 Series SPI Controller (rev 11)
01:00.0 Co-processor: Intel Corporation Atom Processor C3000 Series QuickAssist Technology (rev 11)
02:00.0 Non-Volatile memory controller: Intel Corporation NVMe Optane Memory Series
03:00.0 Non-Volatile memory controller: Intel Corporation NVMe Optane Memory Series
04:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 03)
05:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 30)
06:00.0 Ethernet controller: Intel Corporation Ethernet Connection X553 1GbE (rev 11)
06:00.1 Ethernet controller: Intel Corporation Ethernet Connection X553 1GbE (rev 11)
07:00.0 Ethernet controller: Intel Corporation Ethernet Connection X553 1GbE (rev 11)
07:00.1 Ethernet controller: Intel Corporation Ethernet Connection X553 1GbE (rev 11)

Siehst du da ne Chance für Passthrough?

Haja, 20-25W "nackt" (also mit irgend ner SATA SSD in nem Linux-OS)

Danke, meins zieht in dem Setup so 30-35W und ist schwächer von der Leistung her.

Nachdem du die HW jetzt schon hier hast, und diese auch nicht so falsch ist, würd ich mal damit arbeiten.

Mich würde trotzdem mal interessieren, was eine aktuelle Empfehlung von euch für meinen Usecase wäre, also an MB + CPU Kombi. Wenn man jetzt ganz neu am Zeichenbrett anfangen würde. Wäre das noch der 5650G + B550 Consumer/Server Board oder was sind gute Optionen? Ich fand die N100 NUCs wegen ihrer Effizienz ja auch super spannend, aber leider halt ohne ECC...

 

[pwnbert]

und noch einen PCIe auf 2x M.2 Slots für die Optanes als SLOG.

Ne, das sind doch nur 4 Lanes, oder? 4 Lanes in einem "Bündel", die kannst du nicht auf 2x aufteilen (außer mit so ne QNAP Karte etc. die nen PCIe Switch drauf hat).

Vergiss diese kack 16gb Optanes einfach. Die waren vor 10 Jahren nice. Wenns sein muss verwend einfach 1 davon ohne Mirror, mir ist das SLOG VDEV mal degradet (das erinnert mich dran, die SSD liegt noch rum, ich sollte mich da um Garantie kümmern...), außer nem Eintrag in den TrueNAS Reports war nichts weiter.
Imho wird ohne dem einfach "normal" weiter gemacht.

Ich würds einfach weg lassen, vor allem wenn die VMs eh auf PLP SSDs liegen (sync cheat Hudri Wudri).

Lohnt es sich wegen Datensicherheit Sync für alles zu forcieren? Nutzt jemand von euch das? Dann würde sich ein SLOG ja lohnen. Sonst könnte ich es mir vermutlich wirklich sparen.

Imho würd ich die Dinge einfach auf Default lassen, Proxmox wie auch TrueNAS kommen out of the box brauchbar konfiguriert daher... wenn man da nicht wirklich vom Fach ist verschlimmbessert man da mit irgendwelchen "tweaks" "aus dem Internet" eher...

Siehst du da ne Chance für Passthrough?

Meine bescheidene Amateur-Meinung ist folgendes, ich lass mich aber gern verbessern:
Beispiel:
01:00.0 Co-processor: Intel Corporation Atom Processor C3000 Series QuickAssist Technology (rev 11)
Der erste Block hier lässt sich "durchreichen", also z.B. das angeführte (im Übrigen recht interessante) Gerät, also alles, was auf 01:__.__ hängt.
SATA:
00:13.0 SATA controller: Intel Corporation Atom Processor C3000 Series SATA Controller 0 (rev 11)
00:14.0 SATA controller: Intel Corporation Atom Processor C3000 Series SATA Controller 1 (rev 11)
Imho kann man das 00:13._ nicht allein durchreichen, sondern nur mit all seinen "Kollegen" in der 00:xx.x Gruppe, was freilich nicht möglich ist, weil der Kram ja vom OS benötigt wird.

Ich bin mir nicht 100% Sicher, ob ich Mist erzähle, aber probiers einfach. Imho müsste das so sein.

Danke, meins zieht in dem Setup so 30-35W und ist schwächer von der Leistung her.

Schon das ganze Bios durchgeackert bezügl. Energiespareinstellungen sowie auch diverse "optimierungen" in Proxmox bzw. TrueNAS gemacht?
apt install powertop
powertop --auto-tune
Schau mal genau hin, imho geht da noch was.

... und stoppel mal die 2 HDDs ab, ne laufende HDD braucht auch schnell ihre 7W.

Wäre das noch der 5650G + B550 Consumer/Server Board oder was sind gute Optionen?

Schwer. Asrock B550 Riptide + 5655G/5755G ist sicher nicht verkehrt (evtl. 4750g ), aber RAM brauchst UDIMM, welcher gerade einen massiven Preissprung gemacht hat, wies mir Geizhals zeigt.
Wenn sich das so hält, kann man sagen, dass AM4 hiermit für Neuanschaffungen gestorben ist:

Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/Unbuffered Memory, Einzelmodulgröße: 32GB, Übertragungsrate ab 3200MT/s Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/Unbuffered Memory, Einzelmodulgröße: 32GB, Übertragungsrate ab 3200MT/s

geizhals.at

In der "guten Zeit" (jetzt doch über längere Zeit) hat man 32GB DDR4 3200 UDIMM ECC für ca. 75€ bekommen, jetzt sind wir bei über 100€, teils 150-200€, das kannst imho knicken für so ne alte Plattform (die Cezanne können ja nur PCIe 3.0).

Interessant wäre Arrow + W880, preislich und leistungsmäßig ne ganz andere Liga.

AM5 ist auch interessant (weil jede CPU ne iGPU hat, kannst also bequem mit nem 7700 arbeiten auf nem B850 Live-Mixer), vom Verbrauch her aber naja, DDR5 UDIMM ECC ist auch kein Geschenk.



tl,dr:
Bekomm deinen Atom sinnvoll zum laufen, alles andere ist nicht besser oder sauteuer.

 

[Tomson124]

Bin ja selber aktuell am Zusammenstellen von einem Homeserver und hab auch festgestellt, dass sich AM4 sich fast nur noch lohnt wenn man entweder sehr gute gebraucht Angebote findet oder halt noch Komponenten hat die man dafür mit nutzen kann.
Im Vergleich Ryzen 7 Pro 5755G vs Ryzen 7 9700X je mit 64GB ECC ist der Unterschied nur ca. 180€ mehr fürn AM5 dafür dann aber halt auch 28% mehr SingleCore- und 30% mehr MultiCore Leistung bei etwa gleicher Idle Stromaufnahme. (Und die neuere iGPU die auch AV1 decode kann falls man es braucht)
Man könnte sogar für etwa das gleiche Geld auf den Ryzen 7 7900 gehen, nochmal 4 Kerne mehr, dafür aber schlechtere Idle Stromaufnahme.

Bekomm deinen Atom sinnvoll zum laufen, alles andere ist nicht besser oder sauteuer.

Das kann ich so unterschreiben, wenn ich schon was zu Hause hätte das ausreicht (und mein Basteldrang nicht wäre) dann würde ich auch nix neues zusammenstellen wollen bei den heutigen/aktuellen Preisen.

 

[Trambahner]

Der 9700X ist noch deutlich stärker als diese etwa +30% ggü dem. 5700G/575xG.
Single eher +50% und Multi etwa +2/3 mehr Performance. basierend auf CB R23. In Realität hängts halt von der Software ab.
Ich hab bis August 24 ja nen 5750G als Desktop-Workstation genutzt; der 9700X ist ne ganz andere Liga obwohl die Zen3-APU ja wirklich nicht langsam ist.

Dazu für Desktop-Sockel gute Zahl an PCIe-Lanes und diese auch flexibel zu nutzen (Bifurcation am x16 Slot).

Mit der richtigen Kombo Board+CPU+Ram+NT und PBO-Einstellung kann ein 9700X sehr sparsam sein und gleichzeitig kann man ihn richtig treten. Inkl. ECC, inkl. PCIe gen5-Fähigkeit.
Hab ihn auf etwa 2300 Punkte R23 Single (5800-5850 Mhz wenn man ihm die 200 Mhz Overdrive freigibt) und 24500 Punkte R23 Multi (5.4-5.5Ghz allcore). "AK voraus" zieht er so eingestellt schon gut aus der Stromdose und man sollte dann auch keine Angst vor 92 Grad C haben.
(das ist mein "Desktop" aus der Signatur, der "Valamox" ist minimal langsamer im Multi da halt keine AIO sondern Luftkühler drauf; halte ich für Server sinnvoller).
Beide Systeme haben PBO +200 Overdrive, PPT/EDC/TDC auf 10000 und den Scalar auf 6 oder 10 stehen sowie CO-18.

Stromverbrauch hängt ganz stark von Board, NT und anderen Komponenten ab. AM5 kann im Idle sehr sparsam sein (trotz völlig offener PBO-Settings), aber auch sehr hungrig.

Derzeit eine sehr interessante CPU als Homeserver, der 9700X als größter AM5 Zen5 mit nur 1 Chiplet.
So ein Atom käme mir nie in den Sinn.

Mein Storage ist dabei über Proxmox "am Blech" (via installiertem Samba/NFS/iSCSI) realisiert, nicht virtualisiert wie früher mit ESXI+Storage-VM.


Ob 7900 oder 9700X hängt davon ab, ob einem mehr IPC oder mehr Kerne wichtig sind. Vermutlich würde ich auf die verbesserte Single-Leistung nicht verzichten wollen und bei entsprechendem Bedarf eher nen 9900X holen.

 

[wenzilinho]

IOMMU Groups kannst du hiermit prüfen:
# pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist ""

Statt {nodename} deinen Servernamen eintragen, siehe https://pve.proxmox.com/wiki/PCI_Passthrough#Verifying_IOMMU_parameters

 

[DerBeginner]

Vorab erstmal: Danke euch allen für die vielen Anworten und die Hilfe!

Schau mal genau hin, imho geht da noch was.

... und stoppel mal die 2 HDDs ab, ne laufende HDD braucht auch schnell ihre 7W.

Sorry, da habe ich mich nicht ganz sauber ausgedrückt. mit den 30-35W meinte ich nur CPU + RAM + 2 SSDs als Boot.

Ich habe als ich das MB endlich hatte ziemlich lange versucht da was über BIOS + powertop zu optimieren, aber da ging leider gar nix... Nur CPU + RAM + einen Ubuntu live Stick als Boot waren im Idle trotz Powertop und so bei 25.9W. Wenn ihr da noch nen Tipp habt immer her damit, aber der Atom hat sich leider geweigert in einen C-state tiefer als C2 zu gehen.

Deshalb war ich auch unschlüssig, ob ich das ganze Setup nicht doch verkaufe und was anderes besorge, weil ich eigentlich die Hoffnung hatte, dass der Atom auch im Idle recht sparsam wäre. Zur wahrheit gehört aber auch, dass da ja ein BMC/IPMI mit drauf ist, der ja auch ein paar Watt im Idle braucht.

Im aktuellen Setup mit SSDs, HDDs, Optanes und allem zieht er so 45-50W... Und dafür hat der Atom ja echt nicht so richtig viel Power.

Interessant wäre Arrow + W880, preislich und leistungsmäßig ne ganz andere Liga.

Ja ne, die hatte ich mir auch angeschaut wegen der Transcoding Stärke + ECC von den Intel CPUs aber das war sehr weit über jeglichem Budget

AM4 sich fast nur noch lohnt wenn man entweder sehr gute gebraucht Angebote findet oder halt noch Komponenten hat die man dafür mit nutzen kann.

Ich hatte bisher immer geschaut, dass ich die Komponenten gebraucht besorge, weil ich neu preislich echt happig fand. Macht ihr das anders? Also ich spreche jetzt nicht von den HDDs, die waren vom Händler, aber alles andere.

nur ca. 180€ mehr fürn AM5

bei etwa gleicher Idle Stromaufnahme.

Bevor ich mich da jetzt über die Marktlage schlau mache, hast du mal ne grobe Größenordnung, wo die AM4 vs AM5 (mit RAM) gerade so preislich liegen? Und was die im Idle so brauchen? Du scheinst da gerade auf dem neuesten Stand zu sein.

wenn ich schon was zu Hause hätte das ausreicht (und mein Basteldrang nicht wäre) dann würde ich auch nix neues zusammenstellen wollen bei den heutigen/aktuellen Preisen.

Wie ich oben geschrieben hatte, habe ich mir die Komponenten ja auch erst über die letzten Monate gebraucht zusammengesucht. Ob das jetzt preislich so einen Unterschied machen würde das MB+RAM nochmal zu verkaufen und zu ersetzen weiß ich nicht. Kommt drauf an, wo die AM4 und AM5 Dinger gerade so preislich liegen. Habe für den Atom schließlich auch 275€ bezahlt, was jetzt auch kein Schnapper ist.

Derzeit eine sehr interessante CPU als Homeserver, der 9700X als größter AM5 Zen5 mit nur 1 Chiplet.
So ein Atom käme mir nie in den Sinn.

Edit: Ich habe gerade in deiner Signatur gesehen, dass du da bei deinem Valamox das Setup mit 9700X und 30W Idle hast. Das klingt sehr spannend. Könntest du da vielleicht nochmal was zum Preis sagen? Und warum dir ein Atom nie in den Sinn kommen würde?

Ursprünglicher Text:
Weißt du zufällig wie viel die im Idle so braucht und wo die ungefähr preislich liegt? Dann könnte ich den Atom ggf wieder verkaufen und gegen die wahrscheinlich doch ordentliche Mehrleistung vom 9700X tauschen. Falls du es nicht weißt kann ich auch selbst mal recherchieren, dachte nur du hast da vielleicht einen besseren Überblick.
Mir war bewusst, dass der Atom kein Leistungsmonster ist, aber die Features (IPMI+ECC+ niedrige TDP) klangen als ich mit meinem Bekannten gesprochen habe sehr sinnvoll und ich hatte wie gesagt die Hoffnung, dass er recht sparsam im Idle wäre, was sich ja leider nicht so richtig bestätigt hat.
Falls du also eine MB Empfehlung hast für den 9700X und der von der Preis/Leistung und Idle was kann wäre ich auf jeden Fall versucht den Atom auszutauschen.

IOMMU Groups kannst du hiermit prüfen:

Okay, das gibt ne ganze Menge Output:

Spoiler: IOMMU Groups

So wie ich das sehe gibt es zwei SATA Controller die in unterschiedlichen IOMMU Gruppen (8 & 9) liegen. Laut MB Manual (Seite 74-75) werden die onboard SATA Ports von Controller 1 kontrolliert und der Mini-SAS Port von Controller 0. Habe ich den Output so richtig interpretiert? Ich werde das auf jeden Fall versuchen durchzureichen. Danke für den Tipp!

 

[gea]

Ich fand es eigentlich ganz charmant, dass Proxmox nur als Hypervisor dient und TrueNAS dann die NAS Funktionalität übernimmt um das beides von einander zu trennen. Erzeugt natürlich mehr Overhead, aber als ich mich damals für das Setup entschieden hatte wirkte es irgendwie sinnvoll, ich bin aber grundsätzlich offen. Taugt Proxmox als Hypervisor und NAS? Wie sieht es mit den Vor/-Nachteilen von diesem vs. dem Proxmox und TrueNAS als VM Setup aus? Vielleicht kannst du dazu ja nochmal paar Sätze schreiben, weil ich mich damit noch gar nicht auseinandergesetzt habe.

Im Prinzip ist sowohl Proxmox wie TrueNAS ein Debian mit ZFS out of the Box und das ist der Schlüssel. Lediglich die Default Konfiguration ist leicht unterschiedlich. Beide haben eine Web-GUI serienmäßig. Die von Proxmox hauptsächlich für Systemeinstellungen und VMs, die von TrueNAS für ZFS und Storagesachen. Für mich ist Proxmox daher das ideale Universal Linux, nicht nur Ersatz für ESXi.

In Proxmox gibt es nichts was einen hindert andere Services zu aktivieren wie SAMBA bzw ksmbd, ACL Support oder NFS als typische NAS Dienste. Ich würde das auch bei einem reinen VM Server als sinnvoll ansehen um schnell mal auf den Server zu kommen als Ergänzung zum SSH Dienst, Setup mit oder ohne extra Storage webgui web-gui siehe https://napp-it.org/doc/downloads/proxmox.pdf

Proxmox ist damit auch ein Premium NAS, vor allem durch den kommerziellen Support Hintergrund und weil Proxmox genau wie TN oder Ubuntu ZFS out of the box mitbringt. Man muss es nicht nachinstallieren und sich selber um ZFS Bugs oder Updates kümmern.

TrueNAS als Debian mit Optionen zu sehen ist schon schwieriger da sehr viel über eine eigene api und Datenbank organisiert wird. Bei TN gilt die Regel, mach nichts wofür es eine web-gui Option gibt, erzeugt gern Chaos. Auch sind die default VM Fähigkeiten denen von Proxmox unterlegen.

Wenn man nur 32GB hat kommt ein Resourcenproblem hinzu. Proxmox als 64bit OS+ TN 64bit Vollvirtualisierung + weitere VMs als Container oder Vollvirtualisierung passt nicht. Wenn man eine schnelle 12Core CPU mit 128GB RAM hat ist das nicht so das Thema.

 

[Tomson124]

Bevor ich mich da jetzt über die Marktlage schlau mache, hast du mal ne grobe Größenordnung, wo die AM4 vs AM5 (mit RAM) gerade so preislich liegen? Und was die im Idle so brauchen? Du scheinst da gerade auf dem neuesten Stand zu sein.

Zu gebraucht kann ich dir wenig sagen, da ich bei AM5 eher neu kaufen muss, da gibts gebraucht nicht viel, außer vielleicht die 7000er CPUs aber von den 9000er eher nicht.
Bzgl. Neu schaut meine aktuelle Config für AM5 so aus: https://geizhals.de/wishlists/4530063 (SSDs bin ich noch am schauen, ist erstmal so ne "Grund Config") Das TUF ist jetzt nicht das Board mit dem besten PCIe Layout, da wäre das B850 LiveMixer besser, aber da ich eher auf den "Idle" Verbrauch schaue und bzgl. Erweiterung wenn dann nur ne HBA irgendwann und evtl. ne kleine GPU brauche reichts mir vollkommen und zu dem Board gibts halt von @Trambahner schon nen sehr detailierten Erfahrungsbericht.

Bei AM4 neu mit "gleichen" Specs, sieht das ganze dann so aus: https://geizhals.de/wishlists/4521514

Prinzipiell bin ich selber immer etwas skeptisch bei gebraucht Hardware (außer es ist halt refurbished/tested) weil ich da halt schon schlechte Erfahrungen hatte (vorallem RAM) aber das ist halt meine persöhnliche Erfahrung, andere hatten wieder viel Glück und gute Erfahrungen.

 

[pwnbert]

Habe für den Atom schließlich auch 275€ bezahlt, was jetzt auch kein Schnapper ist.

Naja, wenn du ihn kostenneutral wieder los wirst kannst drüber nachdenken, aber wegen den vielleicht 10W die du einsparst... wann amortiisert sich sowas?
Die paar € für den Strom, wayne, das Leben ist halt nicht gratis.

Ich würd endlich die Optanes rauswerfen und das Ding mal zum laufen bekommen. Kannst in 1-2 Jahren immer noch umbauen, wenn sich der Bedarf ändert (was ich für wahrscheinlich halte).

Bevor ich mich da jetzt über die Marktlage schlau mache, hast du mal ne grobe Größenordnung, wo die AM4 vs AM5 (mit RAM) gerade so preislich liegen?

Meingott, geh halt auf Geizhals, hab sogar nen Link gesetzt.
Suchst dir raus:
AM4: 5655G, B550 Riptide, DDR4 ECC UDIMM
AM5: 7700/9700X, B850 Live-Mixer, DDR5 ECC UDIMM
Dann hast nen Vergleich.

Okay, das gibt ne ganze Menge Output:

Spannend, dann bin ich wohl falsch gelegen, probiers mal... evtl. liegen die ja tatsächlich alle in einer eigenen Gruppe und sind somit einzeln durchreichbar. Hast noch nie probiert vorher?


Imho lohnt gebraucht nur in wenigen Fällen, meist einach zu teuer.

 

[DerBeginner]

Für mich ist Proxmox daher das ideale Universal Linux, nicht nur Ersatz für ESXi.
... siehe https://napp-it.org/doc/downloads/proxmox.pdf

Da sieht man die Erfahrung, ich habe Proxmox bisher eher als reinen Hypervisor mit ZFS Fähigkeit gesehen, aber noch nie in Betracht gezogen das für grundlegend alles zu verwenden. Danke für den Hinweis und den Link. Dann muss ich nochmal über mein Software Setup nachdenken.

Prinzipiell bin ich selber immer etwas skeptisch bei gebraucht Hardware (außer es ist halt refurbished/tested) weil ich da halt schon schlechte Erfahrungen hatte (vorallem RAM) aber das ist halt meine persöhnliche Erfahrung, andere hatten wieder viel Glück und gute Erfahrungen.

Imho lohnt gebraucht nur in wenigen Fällen, meist einach zu teuer.

Spannend, ich war naiv erstmal davon ausgegangen, dass für Heimserver viel gebraucht gekauft wird, weil ja in den meisten Fällen nicht die neueste Generation verbaut wird, sondern eine ältere. Da lag ich wohl daneben. Aber bei den AM4 sind die Preise neu vs. gebraucht echt nicht so weit auseinander. Das sah bei dem Supermicro Board deutlich anders aus als ich danach geschaut hatte. Wenn ich in Zukunft doch auf was leistungsstärkeres umsteige suche ich mir auf jeden Fall was nicht so nieschiges wie das Supermicro Board. Jetzt bleibe ich aber erstmal bei dem um erste Erfahrungen mit Heimservern zu sammeln.

Ich würd endlich die Optanes rauswerfen und das Ding mal zum laufen bekommen. Kannst in 1-2 Jahren immer noch umbauen, wenn sich der Bedarf ändert (was ich für wahrscheinlich halte).

Ja, so mache ich es jetzt auch. die AM5 Empfehlungen hier sind zwar sehr verlockend, aber jetzt schaue ich erstmal, dass ich mit dem Setup was ich habe Erfahrungen sammele, bevor ich upgrade.

Meingott, geh halt auf Geizhals, hab sogar nen Link gesetzt.

Ruhig Blut, das hatte ich gemacht, mir ging es um die Preise für gebrauchte Komponenten. Habe eben erst gelernt, dass gebraucht hier nicht so ne Rolle spielt und mir war auch nicht bewusst, dass die APUs erst von Ende letztem Jahr sind. Wie gesagt, bin komplett frisch eingestiegen ins Thema und wollte euch mit der Frage nicht auf die Füße treten. Hatte fälschlicherweise angenommen, dass die schon was älter sind und es die schon gebraucht gibt und dachte mir ihr habt ein besseres Gespühr dafür, welche Komponenten aktuell lohnenswert sind als ich es mit einem Blick auf Ebay oder so beurteilen könnte. Nicht nur APUs, sondern auch MBs.
Egal lassen wir das. Vergesst einfach, dass ich gefragt habe.

Spannend, dann bin ich wohl falsch gelegen, probiers mal... evtl. liegen die ja tatsächlich alle in einer eigenen Gruppe und sind somit einzeln durchreichbar. Hast noch nie probiert vorher?

Ich hatte die Platten durchgereicht, so wie es hier beschrieben ist, habe leider erst danach festgestellt, dass das nicht das ist was man möchte, sondern den gesamten Controller. Dazu hatte ich schon mal recherchiert, war aber zu dem Ergebnis gekommen, dass die SATA Ports (egal ob onboard oder per Mini-SAS) alle an einem Controller hängen. Den Begriff IOMMU habe ich eben zum ersten Mal gehört, aber das sieht ja vielversprechend aus. Ich probiere das nachher mal und werde berichten, ob es klappt! Dann könnte ich mir auch die HBA sparen, die müsste ich nämlich sonst auch erst mal besorgen.

 

[pwnbert]

Aber bei den AM4 sind die Preise neu vs. gebraucht echt nicht so weit auseinander.

AM4 will man in der Regel die Cezanne Pro CPU/APUs... die 5650G/5750G... die bekommst idR. nur neu+tray.
Gebraucht AM4 kaufen ist wegen der kleinen heiklen Pins sowiso total gaga... würd ich nie aus unbekannter Quelle kaufen. Absolut unmöglich da was nachzuweisen.

Gebraucht werden vor allem diese Elitedesk Dinger usw. gekauft, diese Thin-Clients die als sparsame Mini-Server taugen.
Und natürlich die alten Enterprise-Dickschiffe (die aber eh kaum jemand daheim will weil laut und hungrig).

Und Enterprise-Hardware wie HBAs, NICs (so Glasfaser-Kram) und so, das willst dir neu nicht leisten.

die AM5 Empfehlungen hier sind zwar sehr verlockend

Ja, leistungsfähiger, aber sparsamer nicht. Die Leistung wirst wsl. so schnell nicht brauchen.


Die Optanes könntest du aber trotzdem mal rauswerfen (erstmal testweise), nur so aus Neugier, ob sich da was am Verbrauch tut (wsl. nicht bei den kleinen).

 

[Haldi]

Ich hatte bisher immer geschaut, dass ich die Komponenten gebraucht besorge, weil ich neu preislich echt happig fand. Macht ihr das anders?

Wieso für 110€ gebraucht kaufen wenns für 120€ Neu gibt mit Garantie?
Die RAM Preise sind verrückt...

Und warum dir ein Atom nie in den Sinn kommen würde?

Weil die Atom scheisse sind.
Immer 2-3 Generationen hinter her.
Da kannste dir auch nen 12100 kaufen und hast noch mehr performance.

 

[pwnbert]

So what, jetzt isser da, Augen zu und durch.

 

[wenzilinho]

Da sieht man die Erfahrung, ich habe Proxmox bisher eher als reinen Hypervisor mit ZFS Fähigkeit gesehen, aber noch nie in Betracht gezogen das für grundlegend alles zu verwenden. Danke für den Hinweis und den Link. Dann muss ich nochmal über mein Software Setup nachdenken.

Das ist eine Frage des Konzepts, einige gehen in die Richtung Proxmox als All-in-One zu nutzen. Bei anderen gilt Hypervisor bleibt Hypervisor, Rest kommt in VMs/LXCs. Hat halt alles seine Vor- und Nachteile.

Dazu hatte ich schon mal recherchiert, war aber zu dem Ergebnis gekommen, dass die SATA Ports (egal ob onboard oder per Mini-SAS) alle an einem Controller hängen. Den Begriff IOMMU habe ich eben zum ersten Mal gehört, aber das sieht ja vielversprechend aus. Ich probiere das nachher mal und werde berichten, ob es klappt! Dann könnte ich mir auch die HBA sparen, die müsste ich nämlich sonst auch erst mal besorgen.

Du könntest auch die Optane rausschmeißen und dafür größere NVMEs rein (ob du 2 brauchst für Redundanz musst du entscheiden), darauf dann Proxmox + VMs/LXCs, SATA Controller an TrueNAS durchreichen.

 

[Haldi]

Die günstigste Variante ist eine grosse SSD und sie alle par Stunden/ 1x pro Tag auf die HDD duplizieren.
Sofern da nichts kritisches drauf ist das mit 1-2h Datenverlust leben könnte...