Entscheidungshilfe für Home Server Hardware

[the.patcher]

Hallo FreeNAS Community,

ich habe vor meine heimische Datenaufbewahrung und -bereitstellung auf sinnvolle Beine zu stellen. Momentan lagern ca. 10 TB an eigener Musik, Urlaubsfilme und Linux Distributionen auf einer Vielzahl von externen USB Platten, die an einem Ubuntu Rechner hängen. Dieser untragbare Zustand soll sich möglichst umgehend ändern. Allerdings zerbreche ich mir bereits seit Wochen den Kopf über einige Hardware Details, darum nun dieser Thread.

Hier die geplante Hardware (grundlegende Ideen stammten aus diesem Post):
Gehäuse: Fractal Design Define R4 Black Pearl
RAM: Kingston ValueRAM Intel DIMM Kit 16GB (bei Bedarf wird später verdoppelt)
Netzteil: Sea Sonic G-Series G-360 360W
USB-Stick für FreeNAS System: Lexar JumpDrive P10 16GB
Mainboard: Supermicro X10SL7-F oder Supermicro X10SLM-F
Prozessor: Intel Pentium G3220T oder Intel Xeon E3-1230L v3 oder Intel Xeon E3-1230 v3

Offene Fragen:
1. Anzahl und Art der Platten:
Selbstverständlich werde ich ZFS benutzen, genauer gesagt eine Raid-Z2 Konfiguration. Da meines Wissens nach die Anzahl der Platten in einem ZPool nicht erhöht werden kann, jedoch kleinere durch größere Platten ersetzt werden können, möchte ich gleich mit ausreichend Reserve starten.
Ich plane mir drei neue 4TB WD Reds zu kaufen, habe hier noch eine 3TB, zwei 2TB und zwei alte 250GB Platten rumliegen. Nach meiner Rechnung würden mir 11.5TB (4+3+2+2+0.25+0.25) zur Verfügung stehen. Die 250GB Platten würden natürlich nur als Platzhalter eingesetzt werden. Wenn ich alle Platten mit 4TB ersetzt hätte, würde ich theoretisch auf 24TB kommen. Damit habe ich in Zukunft noch Luft nach oben und müsste nicht gleich sehr viel mehr Geld in Platten investieren, die ich aktuell noch nicht brauche.
Macht das für euch Sinn? Verschleudern die kleinen alten Platten bis zum Austausch sinnlos zu viel Strom? Sollte ich dann lieber doch gleich 10 Platten verbauen (ist vermutlich übertrieben)?

2. Mainboard:
Das teurere X10SL7 hätte gleich die passende Anzahl von SATA Ports mit dabei und ich muss diese nicht durch eine extra PCIe nachrüsten.
Habt ihr mit dem Board schon Erfahrungen gemacht? Laufen die SATA Ports zuverlässig?

3. Boot Device:
Ich würde gerne von USB 3 booten und dafür den oben verlinkten, sehr schnellen, Stick verwenden.
Besteht Hoffnung, dass das Booten von USB 3 in einem kommenden FreeNAS 10 Release funktionieren wird? Bis jetzt gibt es damit immer noch Probleme, oder?

4. Passende CPU:
Das ist für mich ein echtes Kopfweh-Thema. Als erstes möchte ich festhalten, dass mir der Stromverbrauch meines Systems sehr am Herzen liegt, schließlich soll der Rechner im Keller stehen und 24/7 verfügbar sein. Aber natürlich hätte ich gerne Features, wie Encryption in ZFS aktiviert und wenn noch genug Leistungsreserven für echtzeit Transcoding (Plex Server) vorhanden sein sollten, wäre ich auch nicht böse.

• Der Pentium wäre die budget Lösung, hat aber kein AES in Hardware. Wie würde sich hier die ZFS Encryption auf die CPU Last auswirken? Oder kann ich mit dem Pentium die Verschlüsslung sowieso knicken?
• Der Xeon 1230L kann AES in Hardware und hat eine sehr geringe TDP. ZFS Verschlüsselung sollte damit kein Thema sein, aber beim Transcoding geht im wahrscheinlich die Puste aus?
• Der Xeon 1230 (ohne L) hat zwar sehr viel Leistungsreserven, aber dafür eine sehr hohe TDP. TDP sollte ja nicht alles sein, nur finde ich keine Tests, bei denen die Leistungsaufnahme unter verschiedenen Lasten aufgeführt wird. Hat jemand mit dieser oder einer vergleichbaren CPU Erfahrungen und kann sagen wie sich der Stromverbrauch im Alltag auswirkt?

Kurzgesagt hätte ich gern die stärkste CPU, hab aber Angst vor zu hohem Stromverbrauch im Alltag.

Natürlich freue ich mich auch über andere Tipps und Anmerkungen zu meiner geplanten Konfiguration.

Entschuldigt die langen Ausführungen!
Vielen Dank für eure Hilfe!
Beste Grüße, the.patcher

 

[Dennis K.]

Zu 3:
USB3 Ports werden im USB2 Modus laufen. Der Stick damit auch. Theoretisch sollte die Kombination dann auf USB2 laufen und auch funktionieren.

Zu 4:
Da kannst du dir auch nochmal die beiden CPUs i3-4130 und i3-4130t angucken. Die können AES (und ECC) sind aber günstiger. Zudem unterscheiden sich die IDLE-Verbrauchswerte der Haswells nicht sonderlich voneinander. Die TDP hat ja nur etwas mit dem maximalen Verbrauch zu tun, wofür dann aber auch entsprechende Kühlung vorhanden sein muss.

 

[Dennis K.]

Zu 1:
ein ZPool ist erweiterbar (Es wird gestriped). Ein VDev dagegen nicht. Parität wird aber nur auf Ebene von VDevs ermöglicht, wenn ein VDev mindestens 2 Festplatten enthält. Z.B. ein Mirror mit 2 Platten oder ein RaidZ1 mit 3/5 Platten oder ein RaidZ2 mit 4/6 Platten. Dabei gilt aber auch die "Best Practice", dass sämtliche Platten eines VDevs ungefähr gleich groß sein sollen. Denn sind z.B. 3 Platten mit 3TB, 3TB und 2TB in einem RaidZ1-Verbund, gehen jeweils 1 TB der ersten beiden Platten verloren.

Ob du jetzt ein ZPool aus einem oder mehreren VDevs zusammestellst hat ist ein Trade-Off zwischen Performance und Ausfallsicherheit. Da gibts im Netz sonst Beispiele für ZFS-Konfigurationen und deren Implikationen.

Alle deine alten Platten zu verwenden zu wollen macht die Konfiguration eher kompliziert (Dazu kommt der erhöhte Stromverbrauch). Du könntest dein ZPool aus 2 VDevs zusammenbauen:

• ZPool (12TB nutzbar)
  • VDev1 (RaidZ1) (8TB nutzbar)
    • HD1 (4TB)
    • HD2 (4TB)
    • HD3 (4TB)
  • VDev2 (RaidZ1) (4TB nutzbar)
    • HD1 (3TB, effektiv 2TB)
    • HD2 (2TB)
    • HD3 (2TB)

Ein ZPool aus mehren VDevs ist zwar schneller als mit nur einem VDev (Schreiben/Lesen kann verteilt werden), aber die Ausfallsicherheit ist nicht so hoch wie z.B. bei einem einzigen RaidZ2 VDev. Bei diesem Beispiel kann pro VDev maximal eine Platte ausfallen. Beim folgenden Beispiel können beliebig max 2 Platten ausfallen:

• ZPool
  • VDev1 (RaidZ2) ( 8TB nutzbar)
    • HD1 (4TB, effektiv 2TB)
    • HD2 (4TB, effektiv 2TB)
    • HD3 (4TB, effektiv 2TB)
    • HD4 (4TB, effektiv 2TB)
    • HD5 (3TB, effektiv 2TB)
    • HD6 (2TB, effektiv 2TB)

Ein ZPool aus aus einem VDev mit einer RaidZ2 Konfiguration ist ein gängiges Beispiel für den Heimgebrauch. Diese Konfiguration verbüßt aber gerade noch viel Speicherplatz durch die verschiedenen Festplattengrößen ein. Wird HD6 durch eine 3TB Platte ersetzt, landest du schon bei (6-2)*3TB = 12TB. Liegen alle 6 Platten bei 4TB landest du bei (6-2)*4TB = 12TB. Der Austausch der 2TB bzw 3TB Platten könnte später durchgeführt werden.

 

[the.patcher]

Vielen herzlichen Dank für die ausführliche Antwort!

Zu 1:
Bei der Festplattenkonfiguration bin ich mal heftig daneben gelegen.
Irgendwas sträubt sich in mir noch gegen die Lösung mit den zwei RaidZ1 VDevs in einem Pool, aber vermutlich wird das die sinnvollste Lösung sein.
So ganz sehe ich aber noch nicht den Vorteil, die beiden RaidZ1 VDevs in einen Pool zusammen zu fassen. Wenn ich beiden jeweils einen eigenen Pool zuweise, habe ich zwar zwei logische Platten in meinem NAS, dafür raucht mir nicht gleich alles ab, wenn ein RaidZ1 den Bach runter gehen würde, oder sehe ich das falsch?

Zu 3:
Kannst du vielleicht einschätzen, ob Booten von USB 3 in absehbarer Zeit funktionieren wird?

Zu 4:
Den i3 hab ich tatsächlich übersehen, wäre auf jeden Fall eine sinnvolle Alternative zum Pentium.
Wenn ich jetzt aber doch zum großen Xeon tendiere, heißt das für mich, ich brauche eine ordentliche Kühlung für die Leistungsspitzen (sollte kein Problem sein) und im Alltag unterscheidet sich der Stromverbrauch so gut wie nicht, da der Prozessor nur sehr gering beansprucht wird?

 

[Dennis K.]

Bei der Festplattenkonfiguration bin ich mal heftig daneben gelegen.
Irgendwas sträubt sich in mir noch gegen die Lösung mit den zwei RaidZ1 VDevs in einem Pool, aber vermutlich wird das die sinnvollste Lösung sein.
So ganz sehe ich aber noch nicht den Vorteil, die beiden RaidZ1 VDevs in einen Pool zusammen zu fassen. Wenn ich beiden jeweils einen eigenen Pool zuweise, habe ich zwar zwei logische Platten in meinem NAS, dafür raucht mir nicht gleich alles ab, wenn ein RaidZ1 den Bach runter gehen würde, oder sehe ich das falsch?

Das ist alles korrekt. Zwei Pools mit jeweils einem VDev wären aus Sicht der Datensicherheit etwas besser, büßt aber natürlich etwas an Performance ein (Es könnte auf beide VDevs parallel geschrieben werden). Für den Heimgebrauch würde ich auf jedefall die Datensicherheit höher gewichten.

Bedenke aber zudem, dass RaidZ1 nicht mehr als ausreichend ausfallsicher gilt (Hohe Wahrscheinlichkeit, dass bei Ausfall einer Platte nicht mehr alle Sektoren der anderen Platten für die Recovery lesbar sind → Datenverlust). Es soll mindestens RaidZ2 verwendet werden, sofern die Kapazitäten der Platten 1TB übersteigen. Das Thema ist aber nicht unbedingt unumstritten.

Ich selber verwende 3*4TB in einem RaidZ1, sollte ich aber zukünftig mehr Kapazität benötigen, werde ich auf 6*4TB im RaidZ2-Verbund umsteigen.

Kannst du vielleicht einschätzen, ob Booten von USB 3 in absehbarer Zeit funktionieren wird?

Keine Ahnung.

Den i3 hab ich tatsächlich übersehen, wäre auf jeden Fall eine sinnvolle Alternative zum Pentium.
Wenn ich jetzt aber doch zum großen Xeon tendiere, heißt das für mich, ich brauche eine ordentliche Kühlung für die Leistungsspitzen (sollte kein Problem sein) und im Alltag unterscheidet sich der Stromverbrauch so gut wie nicht, da der Prozessor nur sehr gering beansprucht wird?

Nach meinem Wissensstand ist dem so, ja. Wenn du z.B. hier bei der Power Consuption Tabelle in der Spalte Min Power guckst, unterscheiden sich die Haswell-basierten CPUs nur marginal voneinander (Core-i[3/5/7]-4xxx und Xeon V3). Es könnte aber sein, dass ein i3-4130t nochmal etwas weniger Verbrauch im Idle hat im Vergleich zu einem i5/7 (z.B. weil weniger Kerne), aber ich finde gerade keine gute Quelle. In der verlinkten Tabelle gibt es ja nur einen i7. Eventuell findest du da selber noch eine entsprechende Quelle mit Idle-Verbrauchswerten.

 

[the.patcher]

Bei der Festplattenkonfiguration werde ich wohl den gleichen Weg gehen, wie du es gemacht hast. Erstmal mit 3x 4TB starten und dann später bei Bedarf ein Upgrade auf 6x 4TB und dann natürlich auch den Schritt auf RaidZ2. Ist zwar nicht die Lösung, die ich wollte, aber gleich 900 Steine in Festplatten versenken ist mir einfach für den Einstieg zu viel.

Die Unterstützung von USB 3 in FreeBSD ist anscheinend noch nicht offiziell geplant.

Zum Thema CPU und so hab ich, auf der von dir verlinkten Seite, was interessantes gefunden. Dort wird die neue Atom Architektur getestet und diese scheint sehr gut weg zu kommen.
Das Teil kommt ca. auf die Hälfte der Performance des großen Xeons, hier würde mich ein Vergleich zu den stromsparenden xxxxl Varianten des Xeons interessieren. Abgesehen davon unterstützt er auch AES-NI und natürlich auch ECC.

Hast du oder natürlich auch jeder andere dazu eine Meinung?

EDIT: Die neuen Atoms wurden hier schon mal etwas diskutiert. Der erste Eindruck des Threads lässt mich nicht gerade glücklich zurück. Ich denke, ich werde wohl bei den Xeons bleiben.

Um die Unterschiede zwischen dem Xeon E3-1230l v3 und dem Xeon E3-1230 v3 mit einem breiteren Publikum diskutieren zu können, hab ich im englischen Teil des Forums dazu noch einen Thread gestartet. Hoffe das ist ok!

 

[Dennis K.]

Bei der Festplattenkonfiguration werde ich wohl den gleichen Weg gehen, wie du es gemacht hast. Erstmal mit 3x 4TB starten und dann später bei Bedarf ein Upgrade auf 6x 4TB und dann natürlich auch den Schritt auf RaidZ2. Ist zwar nicht die Lösung, die ich wollte, aber gleich 900 Steine in Festplatten versenken ist mir einfach für den Einstieg zu viel.

Richtig, mir wäre das auch zu viel gewesen. Beachte aber, dass du bei Upgrade den Pool komplett neu erstellen - und die Daten damit irgendwo zwischenspeichern musst.

Zum Thema CPU und so hab ich, auf der von dir verlinkten Seite, was interessantes gefunden. Dort wird die neue Atom Architektur getestet und diese scheint sehr gut weg zu kommen.
Das Teil kommt ca. auf die Hälfte der Performance des großen Xeons, hier würde mich ein Vergleich zu den stromsparenden xxxxl Varianten des Xeons interessieren. Abgesehen davon unterstützt er auch AES-NI und natürlich auch ECC.

Den Atom habe ich mir tatsächlich auch angeguckt. Damals gingen die Atom Boards aber erst bei guten 300€ los. Inzwischen sieht es mit Supermicros A1-Reihe anders aus. Diese Boards sind allerdings noch nicht verfügbar, sehen aber definitiv sehr interessant aus!

EDIT: Die neuen Atoms wurden hier schon mal etwas diskutiert. Der erste Eindruck des Threads lässt mich nicht gerade glücklich zurück. Ich denke, ich werde wohl bei den Xeons bleiben.

Hab' ich nur überflogen, aber ich denke es wurde hauptsächlich die schlechte Preis/Leistung bemängelt. Aber jetzt gibt es diese Boards für ~240€.

Um die Unterschiede zwischen dem Xeon E3-1230l v3 und dem Xeon E3-1230 v3 mit einem breiteren Publikum diskutieren zu können, hab ich im englischen Teil des Forums dazu noch einen Thread gestartet. Hoffe das ist ok!

Klar.

 

[DataMover]

Hallo zusammen,

Die Supermicro Board sind verfügbar. Meins kam letzten Freitag, die restlichen Teile am Samstag und 2 Stunden später lief FreeNAS auf dem brandneuen System.

Ich kann aber noch nix handfestes zur Performance sagen - ich bin FreeNAS Neuling und die Testzeit war zu kurz. Wartet mal das Wochenende ab für mehr Infos.

 

[DataMover]

So,

nun die längere Antwort vom Frischling (also lieber doppelt gegenprüfen), weil ich doch von meiner HW überzeugt bin. Aber der Reihe nach:

1. die Platten
Willst du max. nutzbare GB für dein Geld *UND* es ist nicht so schlimm, wenn mal alle Daten abrauchen...weil du z.B. ein gutes Backup hast? Dir ist auch egal, welche Erfahrungen und Empfehlungen aus der FreeNAS-Community kommen? Dann RAIDZ1 mit 4 TB Platten.

Merke: dies und die folgenden sind UND-Aussagen. Beide Teile sind gültig. Eine Seite des UND bedingt unausweichlich die andere!

Willst du vernünftige Sicherheit für deine Daten *UND* noch immer viele nutzbare GB deiner Platten? RAIDZ2! Bitte beachte bei der Größe deiner Wunschplatten (4 TB) Scrub- und Resilver-Zeiten. Sorge für ein Backup.

Damit wäre eine und vielleicht die beste Möglichkeit (bei dem o.a Datenvolumen): 6 x 4TB kaufen, RAIDZ2 erstellen. Die 3 TB und zwei 2 TB Platten als Backup-Medien nehmen. Diese müssen dann auch nicht an internen SATA-Ports hängen. Klar - du hast es oben gesagt - es ist teuer.


Aber, und ich schließe mich Dennis K. und den vielen Empfehlungen des Forums an: RAID1 kann dir unangenehme Überraschungen bereithalten. Ich habe 2 Jahre RAID5 unter Linux hinter mir. Immer wieder interessant, die heiss-kalten Gefühle, wenn eine Platte aussteigt. In den letzten 3 Jahren fahre ich RAID6 und hatte in der Zeit 3 x einen Plattenausfall - nicht immer wegen kaputter Platten, sondern auch wegen billiger Hardware.
Und auch in folgendem Punkt muss ich Dennis K. noch mal unterstützen: du kannst ein vdev nicht zunächst als RAIDZ1 erstellen und dann durch Hinzufügen von Platten in ein RAIDZ2 überführen! Du musst alles neu machen und dazu die Daten temporär wegschreiben (wohin?). Eine Nutzung deiner älteren, kleineren Platten führt hier nicht zum Ziel.

3. Boot Device (Punkt 2 kommt gleich)
Ich empfinde USB 2 als vollkommen ausreichend - wenn ich einmal alle x (x>180 oder so) Tage boote. Das bisschen FreeBSD dauert wirklich nicht lange. Aber dies ist natürlich Geschmackssache. Interessant wäre USB3 für einen Stick mit einer Windows VHD......aber du willst doch FreeNAS, oder.

2. und 4. CPU und Board
Ja, vor zwei Wochen wollte ich mir auch noch ein Supermicro Board mit Xeon kaufen. Meine Angst war ebenfalls, dass das System sonst im Schneckenmodus arbeitet. Aber ebenso wie du wollte ich eigentlich im Betrieb "grün" fahren. Das widerspricht natürlich dem Xeon.

Dann der Blick auf die Supermicro Boards mit Atom C2750 bzw. C2758. Unterschied: der erste kann Turbo, der zweite hat dafür AES-Encryption onboard. Schwierig: bisher kaum ordentliche Benchmark-Vergleiche.

Nun, seit Samstag habe ich das C2758 Board und hier meine ersten Erkenntnisse - die bitte auch mit Vorsicht zu genießen sind, da ich bisher kein FreeNAS-Erfahrung habe:

- bisher limitieren meine alten Plattenstapel bzw. Server die Datenübertragung von und zum FreeNAS
- die Gb-NICs des C2758 werden bisher nicht ausgelastet
- bisher habe keine Schreib- oder Leseraten über 20 MB/s von oder zu einer einzelnen Disk hinbekommen ;-) Die Sorge "4 nur SATA-II-Ports" zu haben (300 MB/s pro Port) war so gesehen total lächerlich
- der Atom limitiert nicht die Übertragungsraten per LAN, sondern langweilt sich die meiste Zeit
- um den Atom mal ein wenig ins Schwitzen zu bringen habe ich Plex ins Jail installiert und heute Abend erst einen Client, dann zwei, dann 7 (!) gegen Plex laufen lassen (alle auf HD-Videomaterial). Im Ergebnis keine Ruckler auf den Clients, Atom CPU bei ca. 90 %, Disks (6 x 3 TB bei mir) und Netzwerk (2 x Gb per LACP) im Langeweile-Modus....

Fazit: mit dem bisherigen Wissen schätze ich, dass die Atoms die notwendige Leistung bringen.

Stromverbrauch: 20 W idle (genau 20,8 gemessen, inkl. 2 x 8 GB RAM (Ecc, 1,35V)). Da liegst du mit einem G2020 oder Xeon mit dem zugehörigen Chipsatz vermutlich locker beim Doppelten bis Dreifachen.

Und zum Schluss: dass Board hat einen BMC und unterstützt IPMI. Ich habe, seit ich es bekommen und zusammengebaut habe, nicht einmal eine Tastatur oder einen Monitor dran gehabt. Einfach gut.

 

[Dennis K.]

Danke für deine Bericht! Deine niedrige Leistungsaufnahme ist ziemlich gut. Ist das mit sich drehenden Platten oder hast du sie schlafen gelegt?
Ich komme derzeit mit einigen Stromsparmechanismen auf ~27W im Idle (und 3 sich drehenden Platten). Versuche aber noch niedriger zu kommen. Derzeit erreiche ich nur den C2-State der CPU, außerdem gibt es Stromsparmechanismen für SATA und USB. Bin gerade am experimentieren.

Meine Hardware:
* Supermicro X10SLL-F
* Intel Core i3-4130 boxed
* 1x Kingston ValueRAM DIMM 8GB, DDR3L-1600, CL11, ECC, 1.35V
* 3x WD Red 4TB
* Kingston DataTraveler Micro schwarz 8GB, USB 2.0
* 2x Gehäuselüfter mit je 0.5W

PS: Ja, IPMI/BMC ist echt top :)

 

[DataMover]

Danke für deine Bericht! Deine niedrige Leistungsaufnahme ist ziemlich gut. Ist das mit sich drehenden Platten oder hast du sie schlafen gelegt?
Ich komme derzeit mit einigen Stromsparmechanismen auf ~27W im Idle (und 3 sich drehenden Platten). Versuche aber noch niedriger zu kommen. Derzeit erreiche ich nur den C2-State der CPU, außerdem gibt es Stromsparmechanismen für SATA und USB. Bin gerade am experimentieren.
...

Wow, 27 W mit einem Core i3-4130. Ist das das T-Modell?

Meine 20,8 W sind Board out of the Box mit RAM-Riegeln. Keine Platten, keine Lüfter. Da muss ich wohl noch mal ran um bei deinen Werten zu bleiben. Aber erst mal fertig aufsetzen und ein bisschen FreeNAS lernen.

 

[Dennis K.]

Wow, 27 W mit einem Core i3-4130. Ist das das T-Modell?

Nein, das ganz normale Modell. Ich bin einfach die Annahme gefahren, dass die sich im Idle nichts nehmen.

Meine 20,8 W sind Board out of the Box mit RAM-Riegeln. Keine Platten, keine Lüfter. Da muss ich wohl noch mal ran um bei deinen Werten zu bleiben. Aber erst mal fertig aufsetzen und ein bisschen FreeNAS lernen.

Out-Of-The-Box bin ich bei ~33W gelandet, also auch noch ziemlich gut. Das wirst du, denke ich, auch ungefähr erreichen.