-
IT café
"A Proxmox Virtual Environment (röviden: Proxmox VE, PVE vagy proxmox) egy szerver virtualizációra optimalizált nyilt forráskódú Debian alapú Linux disztribúció. Lehetővé teszi a virtuális gépek és konténerek egyszerű telepítését és kezelését web konzol és command line felülettel. A programcsomag két LXC és OpenVZ konténerek, valamint a KVM alapú virtualizáció kezelését támogatja" (Wikipédia)
Hivatalos oldal: https://proxmox.com/en/
Hivatalos fórum: https://forum.proxmox.com/Véreshurka hozzászólásából
ESXi -> Proxmox migráció
Új hozzászólás Aktív témák
-
inspiroyhome
aktív tag
Udv! Orulok hogy talaltam egy ilyen topikot, Ubuntu + KVM kombo lecserelesen gondolkodtam. Egeszen egyszeruen azert, mert tul gyakran beleesem abba a hibaba, hogy lusta vagyok uj VM-et letrehozni, es a host machine kapja az uj servicet, amit aztan joval nehezebb kezelni / backuolni, etc.
Volt mar dolgom regebben proxmoxsszal, akkor azt hiszem a networking miatt elengedtem, mert sehogy nem sikerult rendesen osszehozni LACP-vel. De ez talan evekkel ezelott volt. -
inspiroyhome
aktív tag
Rogton duplazok is, sorry erte
Csinalt mar valaki RAID1-et rootFS-nek ZFS-el proxmoxon? A mostani setup mdraid-et hasznal, amit a proxmot foggal korommel probal tavol tartani
"mdraid has zero checks for bitrot, data integrity, and most filesystems on top do not provide that either.
That means, if some data gets corrupted, which happens on any long-running system sooner or later, and you normally do not notice until it's too late. So, Proxmox projects do not support it to avoid that users run into these problems!
For non-production/unsupported setups, where you still want to use mdraid (please don't!), you can create the required RAID level during Debian installation and then install Proxmox VE or create RAID after install Proxmox VE. Look at the following pages:"sexy!
[ Szerkesztve ]
-
inspiroyhome
aktív tag
válasz bzolika10 #188 üzenetére
Szia!
"random eldobálja a netet és vissza se kapcsolódik(detected hardware unit hang, retet adatper unexpectedly"
Ennek megoldasara en anno HW offload tiltassal probalkoztam, es sikeresnek bizonyult, nem hangelt tobbet az eszkoz. Annyi, hogy ez ubuntu serveren volt, lehet proxmoxon nincs fent alapbol ethtool.
rootkent:
ethtool -K enp0s25 gso off gro off tso off && ethtool -k enp0s25
Nyilvan a flappelo eszkozt behelyettesitve enp0s25 helyere.
[ Szerkesztve ]
-
inspiroyhome
aktív tag
Szia! Amennyiben csak 1 lemez van installalasnal, valamilyen logika alapjan a proxmox elosztja maganak a tarhelyet. Nekem most egy 120gb-os SSD-n kb 30 gigat kapott a proxmox, a tobbit VM tarhelynek gondolja. Szerintem nem erdemes ezen utolag mokolni, valoszinuleg nem is egyszeru. Ambar lehet hulyeseget mondok, nem neztem komolyabban utana.
-
inspiroyhome
aktív tag
Mint proxmox kedvelo, gondoltam en is bedobok mar valamit, de egyelore csak a dashboard az, ami talan erdekes:
threatlab/homelab masina itthon, proxmox alapokon. Imadom mennyire jol hasznalhato ez a rendszer (meg maga a qemu) gyengebb, USFF PC-ktol egeszen rendes szerverekig.
Tervben van emiatt egy USFF/NUC + proxmox kombo is, de errol kesobb..[ Szerkesztve ]
-
inspiroyhome
aktív tag
Szia! Nalam ez 3 node-os clusternel ugy volt megoldva, hogy az egyikre kerult egy virtualis pbs (proxmox backup server), aminek a kiosztott sharejet a tobbi node is latta, es tudtak oda backupolni, snapshotolni.
Ez igy meg csak backup, nincs HA, viszont egyszeru kivitelezni.
Amennyiben a HA is must-have, NFS, iSCSI vagy ZFS over iSCSI ami mukodhet.
A SAS storage rendelkezik fejjel, vagy HBA mode?
Ha van feje, akkor csak bekell hirdetni az iSCSI patheket, a proxmox nodeokat hozzadni storage oldalon, majd proxmoxban szinten storage menupont alatt konfigolni oket
Ha nincs feje es HBA, az mar trukkosebb....
Viszont lehet felreertrek valamit vagy rosszul emlekszem, valami nem kerek... -
inspiroyhome
aktív tag
válasz r4zer0919 #452 üzenetére
Pont az lett volna az otletem, mint amit irtal is, egy sima Desktop debianra felrakni a proxmoxot.
A GPU passthrough eseteben azt exkluziv a VM fogja hasznalni amihez assignolod, a hostgepen nem lesz elerheto.
Tehat "bebootolni" ugy hogy lass is valamit, azt csak a VMbe tudsz, hiszen a vmnek kiosztott kartyaba dugod a monitort.
Megoldas lehet egy masik kartya beszerelese, esetleg IGP hasznalata.
[ Szerkesztve ]
-
inspiroyhome
aktív tag
Proxmox beallitas kerdese lesz, mert az egyik kartyat le kell foglalnia a VM szamara.
Kifejezetten ilyen leirasrol nem tudok. A neten (2 gamers 1 PC) leirasokat lehet erdemes keresni, mert hasonlo a terv itt.
Amint megvan a 2 VGAd, az egyiket atadod a VMnek, a masikkal meg kezeled a host gepet es az azon fuyo proxmoxot. Itt megjegyeznem hogy a proxmox is sima qemut hasznal, amit ugyanugy feltudsz rakni, viszont akkor nem lesz webui, csak local GUI (virt-manager).
Illetve tanacsnak meg annyit, hogy erdemes elolvasni a proxmoxos pci passthrough leirasban szereplo "kartya-ajanlot". Pontosabban azt a reszt, ahol leirjak melyik szeria mukodik jol, melyik kevesbe.
Ha lesz idom kesobb, kivancsisagbol megnezem hogyan mukszik gnome desktop debian alatt egy proxmox telepites.
[ Szerkesztve ]
-
inspiroyhome
aktív tag
válasz inspiroyhome #463 üzenetére
Illetve nem art megjegyezni, hogy 1 kartyat csak 1VM-nek tudsz kiallocalni. Nem futhat ket olyan VM egyszerre, amik ugyanazt a kartyat hasznaljak.
Erre megoldas lehet a vGPU, ami nvidia licensz koteles. Es alapbol csak professional kartyakon mukodik. Githubon van egy script es leiras, ami consumer kartyakhoz is feltudja oldani, de nem garantalt a mukodese:
https://github.com/DualCoder/vgpu_unlock -
inspiroyhome
aktív tag
Ah sorry, ez lemaradt.
Errol ketlem hogy lenne leiras, de igy hogy van mukod vGPU-t, tied a sor, hogy elkeszuljon!
Ekozben nalam gyarapszanak a VM-ek a laborban. Par honapja tesztjelleggel osszekotottem 3 RACK homelabes rackszevert es krealtam egy clustert, meg nagyjabol 200 darab alpine linux VM-et. Erdekes experience volt...
[ Szerkesztve ]
-
inspiroyhome
aktív tag
Nem tudom elhangzott-e mar, de arra mindenkeppen figyeljetek, hogy a lekrealt pfsense / opensense VM-nek a CPU tipusanal NE a default KVM-et adjatok meg, hanem a host-ot.
Ez azert lenyeges, mert a sima KVM CPU habar nagyobb kompatibilitast eredmenyez (live migreationnel jol jon pl), nem rendelkezik minden modern CPU flaggel(AES pl), igy bizonyos kriptografiai gyorsitasok szoftveresen tortennek.
Emlekeim szerint ez peldaul pfsense + wireguard eseten szignifikans sebesseg novekedest tudott okozni.
Model name: Common KVM processor
[...]
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid tsc_known_freq pni cx16 x2apic hypervisor lahf_lm cpuid_fault pti
vs
Model name: Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz
[...]
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon rep_good nopl xtopology cpuid tsc_known_freq pni pclmulqdq vmx ssse3 cx16 pdcm pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm cpuid_fault pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust smep erms xsaveopt arat umip md_clear arch_capabilities[ Szerkesztve ]
-
inspiroyhome
aktív tag
Ennek egy resze extra vedelmet biztosit olyan kernelek eseten, ahol a regi CPU sebezhetosegek meg nincsenek kezelve, illetve a cost reduction pedig ezen sebezhetoseg kezelesebol szarmazo teljesitmenyromlas merteket csokkenti... SZOVA NA, ERTED!
Az a mondas, hogy ezeket ugyis csak akkor fogod hasznalni, ha konkretan tudod, hogy neked ez kell, amugy minden maradhat alapon.
[ Szerkesztve ]
-
inspiroyhome
aktív tag
Na en is beadtam a derekam, megy az egesz RACK alapu homelab gyujtemeny a levesbe es megkezdodik a single Ryzenre valtas. )(5950x, 128GB RAM, stb)
Proxmox fog futni, viszont lenne egy kerdesem: Van itt esetleg olyan, akinek Asus TUF Gaming B550-es lapja van? A kerdesem foleg arra iranyulna, hogy volt-e barmi gond az IOMMU groupokkal, FVIO driverekkel, virtualizacioval es PCI(e) passthrough-val.
Egy B450-es TUF gaming II-vel szuperul mukodik minden, de errol olvastam remhireket. Mar megrendeltem, de hatha tud valaki valami okosat.. -
inspiroyhome
aktív tag
-
inspiroyhome
aktív tag
válasz tasiadam #598 üzenetére
Ez teljesen tisztasor, ezert is tartott sokaig ezt szamolgatni, meg gyozkodni magam. Esetemben a prokbol tobb van, mint a conokbol.
pros: Kisebb helyigeny, nagyon kicsi fogyasztas, egyszalas teljesitmeny brutalis, csondes, eyecandy.
con: RAM mennyisege meg a multi-cpu computing power.
Ha sikerul eladni a gepeket, akkor meg igazabol plusz penzbe sem kerult.
A gepek azert 40k-nal tobbe vannak, 2xR720+R730. overall teljesitmenyben csokkenek, de tenyleg kihasznalatlan volt.. cserebe a napi 1500-bol lesz talan napi 150 forint. Ott mar nem mindegy. -
inspiroyhome
aktív tag
válasz szpeti40 #606 üzenetére
Van egy ilyen gepem, nagyon jo cucc. 20W idleben. Egyetlen hatranynak az E-s RAM-ot tudnam felsorolni, ami viszonylag nehezen beszerezheto es nem kifejezetten olcso. Ennek a Rack valtozata az R210 II, kifejezetten jo gep, ebbol egy 3-as cluster alig fogyaszt nem is draga es jol is nez ki.
[ Szerkesztve ]
-
inspiroyhome
aktív tag
Elkeszult a bestia, meglepoen szuper eddig. Mivel nem nagyon talaltam infot errol, ezert ideirom, hatha van akinek hasznos:
ASUS TUF GAMING B550-PLUS alaplap tokeletesen kezeli a virtualizaciot, van SR-IOV, IOMMU, ROM-BAR. CSM-et erdemes kikapcsolni.
Egyedul a PCI passthrough-al kellett vele mokolni:Elojott ugyanis ez az error VM indualasanal ( ebbol egyebkent 1 probalkozasnal nagyjabol 3000 entryt ir be /var/log/messagesbe 3 masodperc alatt.. )
kernel: vfio-pci 0000:01:00.0: BAR 1: can't reserve [mem 0x4020000000-0x402fffffff 64bit pref]Megoldas:
root@proximoxi:~# cat gpu_fix.sh
echo 1 > /sys/bus/pci/devices/0000\:07\:00.0/remove
echo 1 > /sys/bus/pci/rescanErtelemszeruen a 07 helyett a sajat PCI ID-d kell oda.
A gep pedig most igy fest:
Es ami a legkomolyabb, az a fogyasztas. Nem hittem a szememnek
Tehat van egy 16 magos 5950X, 4x32GB 3200MHz-es RAM (XMP/DOCC aktiv!), 3x SATA SSD, 2x NVME, 1x RTX 3090, FSP 800w bronze tapegyseg, 6 darab hazhuto venti, LED.. Ezzel a komboval az idle fogyasztas 62w es 65w korul mozogNyilvan amint raeresztek egy AI/ML generalast, ebbol 500w kornyeke lesz, de ilyen alacsony atlagfogyasztassal, elertem azt, amit szerettem volna: ez a gep mar mehet allandoan, annak ellenere, hogy csak lab. Az amugy 350W-ig skalazodo 3090 pedig dicseretet erdemel, ugyanis idleben 12-14W-ig is lemegy a fogyasztasa. Osszehasonlitaskepp, egy 1080TI 65-67W-ig megy le. (legalabbis Windows alatt, Linux CLI alatt lehet ez is szebben muzsikalna.)
Mas:
Akinek keves a beepitett metrika, ez egy szuper es easy tutorial arrol, hogyan tudsz felhuzni egy komolyabb monitoringot docker, influxdb es grafana hasznalataval:
[ Szerkesztve ]
-
inspiroyhome
aktív tag
válasz szuszinho #664 üzenetére
Ha van megfelelo backup solution, en a 2x ext4-et valasztanam. Sajat gepen is igy lett megoldva. Volt mar zfs ssd raid is, de feleslegesnek bizonyult, a hely es ram jobban kellett.
En a ZFS-t mostmar szinte csak forgo diszkek eseten hasznalom nagy filerendszernek, SSDk eseten meg ext4.
Ha nagyon fontos, hogy mindig rendelkezesre alljanak a VM-ek es csak ritkabban van backup, akkor mehet a ZFS is, viszont o fog csipegetni rambol. Ha jol remlik minimum 2gb, max meg a 16gb 50%-a. Ez egyebkent felszabadithato a VM-ek szamara.
-
inspiroyhome
aktív tag
Nekik van lehetoseguk Zabbix agentet telepiteni, azon belul meg userparametereket definialni lm-sensors, nvidia-smi, smartctl hasznalavatal... De az is lehet, egyszerubb integralni az alap metrikaba, hisz open source a dolog. Nem neztem komolyabban utana.
Nekem a VGA mivel passthrough-al mukodik, VM szinten kezelodik, ott zabbix figyeli a homersekletet.
-
inspiroyhome
aktív tag
Amig regi szervereim nem talalnak gazdara, gondoltam osszerakom megint a clustert. Igy el is keszult egy 3 nodeos HA cluster 10Gbites shared storaggel. A nappaliban.
Live migrationnel viszont elbaltaztam valamit, ugyanis a 3 szerver kozul 1 ujabb mint a tobbi. Amikor a rajta futo VM-et atmigraltam egy masik nodera, amiben egy architecturaval regebbi CPU van, rogton csontra is fagyott. A dolog erdekessege, hogy a proxmox nem dobott semmi warningot. Erre megoldas ugyanolyan csaladbol szarmazo CPU-kat hasznalni, vagy a CPU modelnel nem host-ot, hanem default (kvm) CPU-t hasznalni. -
inspiroyhome
aktív tag
Kit van a nyocpontnulla!
https://forum.proxmox.com/threads/proxmox-ve-8-0-released.129320/
Here is a selection of the highlights of the Proxmox VE 8.0 final version
Debian 12, but using a newer Linux kernel 6.2
QEMU 8.0.2, LXC 5.0.2, ZFS 2.1.12
Ceph Server:
Ceph Quincy 17.2 is the default and comes with continued support.
There is now an enterprise repository for Ceph which can be accessed via any Proxmox VE subscription, providing the best stability for production systems.Additional text-based user interface (TUI) for the installer ISO.
Integrate host network bridge and VNet access when configuring virtual guests into the ACL system of Proxmox VE.
Add access realm sync jobs to conveniently synchronize users and groups from an LDAP/AD server automatically at regular intervals.
New default CPU type for VMs: x86-64-v2-AES
Resource mappings: between PCI(e) or USB devices, and nodes in a Proxmox VE cluster.
Countless GUI and API improvements.[ Szerkesztve ]
-
inspiroyhome
aktív tag
Nekem gond nelkul lement a frissites a cluster osszes tagjan. Viszont az ellenorzo scriptet amit sok helyen irtak, sehol repoban se a gepeken telepitve nem talaltam.
-
-
inspiroyhome
aktív tag
zabbix + influxdb + grafana kombo.
a hypervisor influxdb-be feedel, azt grafanaben jelenitem meg:
Errol van leiras a neten, baromi egyszeru.
a guestek mindegyikere felraktam zabbix agentet ansible-el, az egyikre pedig egy zabbix szervert is. Ez monitoring es alerting is egyben. Ezt szinten meglehet jelenitettetni grafanaval. Itt rengeteg template van kulonbozo dolgok monitorozasara.
Ha konkretan pl SMART gondrol akarsz alertet kapni, akkor a legegyszerubb ha a hypervisorra ravarazsolod a zabbix agentet. En ilyet meg nem probaltam, alertingre ebben a formaban nincs szuksegem, egyelore. Jo ha a VM-ek figyele vannak.[ Szerkesztve ]
-
inspiroyhome
aktív tag
válasz tasiadam #1009 üzenetére
Hat nem tudom, a multkor itt valaki irta hogy neki 1 ev utan 30TB irasnal tartott.. a ket SSD ami benne van, 300TBW-t tud es ujonnan kerultek be, ha ennek a felet tudjak, az is 5 ev, szoval annyira nem aggodom ezen. Ha meg kifejezetten az IO miatt veszek nvme-t, akkor hasznaljam is ki..
-
inspiroyhome
aktív tag
Egyebkent egy kis lenovo miniPC (M910Q) a legujabb tag az itthoni proxmox kavalkadban, es hihetetlenul power efficient. 8 VM-et futtat jelenleg, koztuk a zabbixot, grafanat, uptime kumat, influxdb-t, nginxet, dhcp, dns, stb.... 9W-ot fogyaszt. mindezt 32GB rammal, 1TB nvme es 1TB 2.5" SSD-vel.
-
inspiroyhome
aktív tag
Netdatat elengedtem a cloud dolog miatt. Mi az, hogy majd akkor latom a sajat gepemrol gyujtott adatok egy reszet, ha belogolok a cloudba? Felejtos. Pedig jo cucc lenne, de igy biztosan nem erdekel.
Nem, 2 standalone SSD. Ez egy pici Lenovo miniPC, PBS-re keszulnek a VMekrol backupok, a tobbi annyira nem jelentos. Az igazan fontos adattomb (20TB redundant) az egy masik gepben fut.
elengedtem otthonra kb 2 eve ezt a RAID SSD meg minden RAID dolgot. Soha, de tenyleg, soha nem ment meg tonkre alattam SSD, pedig volt rengeteg. Ott ahol nagyon fontos, ott van, ahol meg kevesbe, ott csak egy downtimet fog okozni ha kiesik valami, mert vannak megfelelo backupok. -
inspiroyhome
aktív tag
m910q itt is. 7500t, 32gb ram, 2tb ssd
-
inspiroyhome
aktív tag
En direkt a fentebbek miatt nem is raktam soha komolyabb redszert itthon clusterbe, csak azt, amit specifikusan annak epitettem.
Remelhetoleg hamarosan kiadnak egy olyan major releaset, ahol bekerul az az amugy sokak altal kert funkcio, hogy lehessen 1 node alatt tobb PVE-t kezelni, clustering nelkul. -
inspiroyhome
aktív tag
válasz tasiadam #1149 üzenetére
Ugy, hogy a webfelulet mindket gep adatait megtudja jeleniteni, es mindkettot lehet rola vezerelni, mint vcenterben, de nem kell clusternek lenniuk.
Nem tunik oriasi technikai kihivasnak, csak valoszinuleg a frontenden kellene sokat valtoztatni, es van naluk most magasabb prio.
-
-
inspiroyhome
aktív tag
Új hozzászólás Aktív témák
- Vírusirtó, Antivirus VPN kulcsok
- Játékkulcsok olcsón: Steam, Uplay, GoG, Origin, Xbox, PS stb.
- AKCIÓ! - STEAM kulcsok /Anuchard, Aragami, Children of Morta, stb. - 2024.04.17.
- Bontatlan - BATTLEFIELD 1 Collectors Edition - Játékszoftver nélkül
- Bitdefender Total Security 3év/3eszköz! - "Tökéletes védelem most kedvező áron..."