- Milyen routert?
- One otthoni szolgáltatások (TV, internet, telefon)
- Linux kezdőknek
- Otthoni hálózat és internet megosztás
- Hálózati / IP kamera
- Synology NAS
- Telekom otthoni szolgáltatások (TV, internet, telefon)
- Az első az önvezető Volvo kamion, utána jöhet a humanoid robot
- Háborog az Apple az iPhone-ra írt első pornóapp miatt
- Mikrotik routerek
Új hozzászólás Aktív témák
-
Sziasztok!
Frissítettem az open-webui-t, én az ollama bundled verziót használom belőle, viszont most valamiért eltüntek belőle a nyelvi modellek amik fel voltak telepítve és a models fül is megváltozott
Mivel nvidia GPU-val használom, ezért (ahogy eddig is), így ezzel az image-el használom:ghcr.io/open-webui/open-webui:ollamaViszont most nemtudok modelleket letölteni.
-
#35
inspiroyhome
senior tag
inspiroyhome
senior tag
Sziasztok, bocsanat hogy meg mindig nem keszult el az osszefoglalo, de addig is, hirek:
Par hete tesztelem / hasznalom mar az ollama / openwebui parost es azt kell mondanom, hands down most ez a legegyszerubb es leggyorsabb modja annak, hogy valaki kiprobalja ezt az egesz dolgot.
Az openwebui a chatGPT dizajnjat koppintja, de a sajat gepeden fur az ollama backend segitsegevel, ahol egyszerun tudsz modelleket letolteni.
https://github.com/ollama/ollama
https://github.com/open-webui/open-webui -
5leteseN
senior tag
Otthoni, saját gépre alapozott rendszerben gondolkodva raknám össze jelenleg még részterületekből a címben szereplő elv alapján a kis AI(/MI) ökoszisztémámat:
diktálási,
(szinte) minden területen használható fordítói,
elemzői, összefüggés-következtetés kereső feladatú(AI-Ügynök ?),
vizuális alkotás-keresés területű,
még nem ismert, meghatározott feladatúErre a tervre közelítek a jelenlegi "vasaim" teljesítményével.
A programok összeállítás a következő(nem kisebb) feladat. Vannak erre ötletek, példák, tapasztalatok "Itthon"-Mo-on valakinek![;]](//cdn.rios.hu/dl/s/v1.gif)
, vagy leget továbbra is loholni a külföldiek után? 
-
#33
5leteseN
senior tag
inspiroyhome
#32
5leteseN
senior tag
válasz
inspiroyhome
#32
üzenetére
Ez a helyzet, nVidia ad lehjobb szofver/meghajtó(minden) támogatást, siralmasan messze lemaradva az AMD, és még tőle is a távolban az INTEl. Mindkét elaludt piaci versenyző igyekszik, ígér mindent, de ezen a területen sem lehet behozni 1-2 évtizedes lemaradást évek alatt sem.
Kár: betáraztam AMD-ből! 
-
#32
inspiroyhome
senior tag
Reno7
#31
-
Reno7
senior tag
Ezek a házi AI modellek mennyire támogatják az Intel GPU-kat? Az Intel kicsit le van maradva a profi piacon (Intel Data Center GPU Max), ebből gondolom hogy egy A770-el nehézkesebb ezzel foglalkozni mint egy AMD/Nvidia kártyával.
My SHAMAN is so overpowerd, I once cast a frostshock in Summerspring, now its called Winterspring.
-
#57018880
törölt tag
Ebben az irányban esetleg valaki tud támpontokat adni, merre érdemes elindulni, milyen forrásokból?
2D frame gen, nem az én reddit postom, de kb hasonló az elképzelés, lokálban lenne jó dolgozni rajta.
-
#28
dolon75
senior tag
inspiroyhome
#27
dolon75
senior tag
válasz
inspiroyhome
#27
üzenetére
lehetne ez egy teszt, összevetni az MIket, mit hoznak ki
Pa-kah! Pakah-pakah Pa-kah! Bokata-Bokata Pa-kah! Pakah-pakah
-
#25
dolon75
senior tag
inspiroyhome
#24
dolon75
senior tag
válasz
inspiroyhome
#24
üzenetére
ugyan!
csak bedobod a linkeket egy MInek, és megírja nem?
Pa-kah! Pakah-pakah Pa-kah! Bokata-Bokata Pa-kah! Pakah-pakah
-
#23
-=MrLF=-
senior tag
inspiroyhome
#1
-=MrLF=-
senior tag
válasz
inspiroyhome
#1
üzenetére
protonmail.com Secure Email Based in Switzerland . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . startpage.com The world's most private search engine from Netherland
-
#22
inspiroyhome
senior tag
sh4d0w
#21
inspiroyhome
senior tag
"Tens of gigabytes, and trained on petabytes" szoval pont az van, amit eloszor irtam.
A fentire meg ha nem haragszol nem valaszolnek hosszasan, mert ez kezd egy hitvitara hasonlitani, lathatoan mindkettonknel mast jelent a "tudas." A topik lenyege ezen modellek otthoni futtatasa lenne, a fentebb linkelt, altalanosabb AI csoport lehet tokeletes ilyen temak vadabb boncolgatasara.
[ Szerkesztve ]
-
#20
sh4d0w
félisten
inspiroyhome
#18
válasz
inspiroyhome
#18
üzenetére
Ja, hogy honnan gondolom a merhetetlenul nagy mogottes datasetet? Egy IBM videoban hangzott el vmi hasonlo...
https://www.coreinfinity.tech
-
#19
sh4d0w
félisten
inspiroyhome
#18
válasz
inspiroyhome
#18
üzenetére
Alljon meg a hegyi menet!
Ezek az AI-k nem "tudnak". Megkuldik oket egy csomo supervised es unsupervised learninggel, elobbi esetben mar fel van cimkezve a dataset, utobbiban maga az algoritmus csinalja ezt meg, majd a prompt alapjan eldonti, melyik a legnagyobb valoszinusegu helyes valasz - de nem tud.
Vannak axiomak, amiket akkor sem tudsz megmasitani, ha megfeszulsz, ezek olyan konstansok, amik sosem valtoznak, pl. 2+2=4. Ha vert izzadsz, sem kapod meg erre a kerdesre az "5"-ot, mint helyes valaszt, esetleg atmenetileg, egy session erejeig be tudod ezt dumalni - bar az erre iranyulo torekvesek mindegyike, amit lattam, kudarcba fulladt. (En magam nem vesztegetem ilyen hulyesegekre az idomet.)https://www.coreinfinity.tech
-
#18
inspiroyhome
senior tag
sh4d0w
#16
inspiroyhome
senior tag
Mibol gondolod, hogy a chatGPT mogott tobb PB-os modellek vannak? Ez szimplan nem igaz. Ha a training datara gondolsz, az mar esetleg.
GPT 3.5 valami 130B korul van ha hol emlekszem, a GPT4 mar sokkal tobb de ketlem hogy a merete 1 TB-t eler, nem hogy tobb PB-t.Az 1GB-os fileba meg tenyleg belefer egy rakat szo, de en direkt irtam tudast. Ez a cucc ervel, behelyettesit, vitazik.
Viktor: koszi! Osszefoglalo keszul majd, de gondolom az nem felel meg konkret irasnak.
[ Szerkesztve ]
-
#17
Viktor0610
MODERÁTOR
Áttettem a topikot a helyére.
A Szakmai LOGOUT alatt az írásokhoz született topikok vannak/lehetnek.Xiaomi 13T
-
"Eszmeletlen mennyisegu tudas belefer egy 10-15gb-os fileba."
Egy 1 GB-os text file-ba ~178 millio angol szo fer. Mi videokartyatol fuggoen 7-13 GB-os file-okat hasznalunk, a ChatGPT, Midjourney es egyebek mogott tobb PB-os adatbazisok vannak...
https://www.coreinfinity.tech
-
aquark
tag
Összegyűjtöttem Inspiroyhome egy másik PH fórumba írt hozzászólásaiból, amíg nincs összefoglaló, ebben is rengeteg infó, segítség van:
„LLM-es temahoz annyit, hogy engem peldaul teljesen elkapraztat, hogy otthon ML/AI -ra epitett gepem egy sima consumer uzletben kaphato 3090-el vagy 3060-al mire kepes. Eszmeletlen mennyisegu tudas belefer egy 10-15gb-os fileba. Siman mar most tudom egy csomo dologra hasznalni, es megegyszer, ez egy otthon futo cucc, semmi specko hardver. A keret korulotte meg opensource, ingyenes.
A 3090 mellett van egy 3060 is AI-ra, az is hihetetlen mit tud. Lokalisan tudok kepet analizalni, majd annak tartalmarol beszelgetni. Tervet kesziteni, kodot irattatni, sajat, erzekeny infom megadasaval (amit ChatGPT-nek pl nem adnek mar meg.) Ezen felul segit a storywriting hobbimban is, nagyon jo eszmecsereket lehet levezetni, akar 1 oran vagy tobb oran keresztul.
De! ennek semmi koze a mesterseges intelligenciahoz. Ugyanakkor a "valoszinuegszamito program" sem igaz, csak egy brutalis es pontatlan lealacsonyitasa a dolognak. A korulotte levo "hype" meg nem fog eltunni, mert a cucc egyre csak fejlodik es tenyleg haszna van. - sajnos a cenzura is no, es van ahol hulyebb lesz, de erre vannak az open source megoldasok.
szerintem vilagvege nem lesz, es mar most ott tartunk, hogy rengeteg ember eletet segiti elo, akar a fizetos chatGPT vagy akar az otthoni local verzio.”„Ingyenes, open source programokat hasznalok. Eros asztali PC es 3060 illetve 3090-es VGA van a gepekben. Azert nem 4060 16GB, mert az ML/MLL/AI temaban az egyik legfontosabb technikai parameter az a videomemoria (tovabbiakban VRAM) merete. A 3060 a legolcsobb es egyben a legjobb ar-ertek aranyu kartya, amiben van 12GB VRAM. A 3090 pedig egy hasznalt vetel volt, szinten azert, meg itt jon ki legjobban az ar / ertek arany, foleg hasznaltan, az ujkori aranak feleert.
a VRAM merete hatarozzza meg, hogy mekkora modellt tud betolteni. Nagyon leegyszerusitve, minel tobb a VRAM, annal jobb modellt tudsz hasznalni. A modell parameterszama az esetek 99%-ban meghatarozza, hogy nagyjabol mekkora a modell merete. Szoval lehet tudni, hogy a 7-13B meg elfer 12GB-ban, de nagyobb parameter mar nem. 30B-33B pedig mar a 24GB kategoria. Erre jon bonyolitasnak a quantizacio, amikor (nagyon leegyszerűsítve, csak az érzékletesség kedvéért:) a 16 bites pontossagu szamokat pl 15.4324324324324 konvertaljak 4 bit 15.4324-re. Na most lathato, hogy elveszett nemi reszlet, hiszen az utolso X szamjegy hianyzik, viszont az it latszodik, hogy a pontossag nem csokkent oriasi mertekben. Viszont a meret radikalasan csokken. hiszen mind a 13 milliard parameterben csokken ez a szam. Igy lehetseges az, hogy 30B modellek (amik eredetileg csak 100GB VRAM-ban futnak el) mar mennek 24GB-on is, 4bit modban.
"Én 4060 16GB-on gondolkodom, csak drága, Stable Diffusion képgeneráláshoz)"
Teljesen jo arra, latom hogy most kb 180k. Mivel 16GB VRAM van benne, igy a szoveges LLM-ekhez is jo lehet a jovoben. Viszont ha nem akarsz tovabb varni, akkor a 12GB-os 3060 is tokeletes valasztas, ujonnan 120k korul lehet venni. Nekem az inno3d twin x2 verzioja van (nem OC). Kevesebb a VRAM, de az ara is joval alacsonyabb.
"ezt angolul teszed-e? Szerinted kb. mikor lehet ezt magyarul is?"
Angolul teszem, igen. Az otthoni modelleknel foleg ez az iranyado nyelv, de azt hiszem lattam mar par multilanguage probalkozast. Szerintem 1-2 even belul biztosan lesz teljesen jo magyar nyelvvel (is) operalo modell.
"Milyen könyveket/újságokat/weboldalakat ajánlanál, ahol magyarul lehet ezekről informálódni?"
Sajnos nem nagyon tudok ilyenrol, de latva mekkora a kivancsisag az oldalon, es hogy meg nincs ilyen topik, lehet letrehozok egyet hamarosan.
Ameddig ez nincs meg, addig viszont nagyon ajanlom azt, hogy a chatGPT-vel magyar nyelven beszelgess ezekrol a temakrol - Kicsit butitjak vissza, de azert meg mindig vilagelso. Nagyon hasznos tudast lehet tole szerezni, visszakerdezni, es sosem fog elfaradni, sosem lesz merges.
„ https://github.com/oobabooga/text-generation-webui
Ezekhez van oneclick installer, ezt hasznalom en is backendnek. Sajnos sok leiras nincsen ahhoz kapcsolodoan, hogy honnan kell beszerezni modelleket. →https://huggingface.co/TheBloke erdemes. Ez a user rengeteg quantizalt modellt ad ki. Ha downloads szerint sorbarendezed kijon melyiket erdemes leszedni. Nalam volt mar kb minden, talan a mythomax 13b es a wizarlm uncensored vicuna 30b voltak eddig a legjobbak.
https://github.com/ggerganov/llama.cpp
Ez buildelos, de ad egy kis infot az ertelmes modellekrol. A lenyeg az kb annyi, hogy GPTQ az csak GPU, GGUF viszont megy CPU-val is.
Kicsit keszekusza, sorry... Sajnos nem tudok egy komplett leirasrol, de en amiota letezik ez open source korokben, azota foglalkozom vele, es sokkal, sokkal konnyebb lett. Viszont a folyamatos es rettento gyors fejlodes miatt, elegge agilisnek kell lenni, a noveko komplexitasrol nem is beszelve. De ha az ember kicsit beleassa magat, megeri. Redditen a locallama subredditben nagyon sok hasznos info van, meg jobban fogalmazo, kevesbe faradt ember...”
„Teljesen lokalis, a sajat GPUd vegzi a szamitasokat es a modelleket is te tarolod a gepeden. Kis szerencsevel 12GB-ba belefer a 13B modell is. Ez a szam a parameterek szamat hatarozza meg, altalanossagban minel nagyobb annal jobb, de nem mindig igaz - egy specifikus, vagy ujabb 7B modell lehet jobb egy regebbi 13 vagy 30nal is.
Szoval 12GB-ba 13B 4bit quant (groupsize talan mindegy, thebloke oldalan leveo modelleknel szinte mindig tokeletes valasztas a main branch.) 7B 4bit szepen megy.
Ezek a bitek a quantizaciok, magyon roviden tomoren a 16 bites pontossagbol 4 bitet csinalnak, de igy nem kell 2 darab 80GB-os VGA.. es a teljesitmenyveszteseg sem oriasi. Egy 4 bites 30b modell jobb, mint egy 16-os 7b.” -
-
5leteseN
senior tag
Őrülten tép ez a terület, és bár érdekel, sőt keresek egy jó kis AI-fordítót, amivel a Böngészőbe építettetetk le tudnám váltani, de még nem találtam ilyet. Valaki tud esetleg ilyen böngészőben (ée lehetőleg minél több W11 alkalmazásban) használható off-line módon is használható fordítót?
Valamelyik saját gépen futó általános is lehet, hogy tudja ezt, vagy be lehet állítani ilyen használatra, de nem találkotunk még egymással.
Lassan így kell beszélni az AI-ról/-val! -
rgqjx
aktív tag
Ezeket csak bedobom ide, hátha valakinek jól jön:
Mivel engem nem feltétlen a képgenerálás érdekel, ezért lementettem magamnak, hátha majd találok valami használhatót:
Itt valaki összegyűjtött néhány ingyenes kiegészítőt.
Ez pedig egy kis segítség a chatgpt használatához a jobb eredmény érdekében.
[ Szerkesztve ]
-
5leteseN
senior tag
Jó kezdeményezés!
Mindjárt támogatom is egy hozzászólással!
Engem például az érdekelne különösen, hogy W11 alatt hogyan tudok több GPU-s gépen, több GPU-t használni egyszerre az AI-s programmal: Fooocus(kedvenc), Krita, ...
Mp3Pintyo Yt csatornáján sok jó videó van ahol kevés kezdeti tudással is bele lehet vágni(önállóan összeszedegetve a hiányzót), még időben a most bimbózó témába."Vasak": Lassan kidobálják a régi szerverparkokból az előző generációkat, amik kis "mókolással" otthoni gépen nagyon jól futkorásznak, ha kevés a teljesítménye, akkor párosan(+
) is.Ilyesmit raknék össze a két "Kikötőben"(eBay) elcsípett MI25-ből.
Vannak erre-felé hírek az ezt lehetővé tevő beállításokról, segédprogramokról, bármikről?A jó hír: régebbi VGA/GPU-k elfutkorásznak, szerencsére elnézőek (még) a programok és programozók. A régi driverek viszont rendszeresen hibaüzenetek okoznak, meghajtókból az adott GPU-hoz szükséges a legfrissebb!
Azért 4GB-nál kevesebb VRAM-os VGA/GPU nem szokott egészséges lenni a próbálkozók adrenalin szintjét tekintve
[ Szerkesztve ]
-
aquark
tag
Sziasztok, én is bejelentkezem!
Csináltam én is egyet márciusban, de kimondottan képgenerálás témára:
https://prohardver.hu/tema/kepeket_generalo_mesterseges_intelligenciak_es_kep/hsz_1-50.html (Sajnos pang)
Azt már akkor tudtam, hogy pl. Stable D. offline is fut, de ez a csetelős dolog meglepett valahogy, azt gondoltam ehhez több gép kell.Inspiroyhome: Kiváló ötlet ez a topic, kiváncsian várjuk a bevezetőt!
-
Apollyon
Korrektor
#1) Respect the privacy of others. #2) Think before you type. #3) With great power comes great responsibility.
-
#4
dolon75
senior tag
inspiroyhome
#1
dolon75
senior tag
válasz
inspiroyhome
#1
üzenetére
Szívesen olvasom majd, köszi!
Pa-kah! Pakah-pakah Pa-kah! Bokata-Bokata Pa-kah! Pakah-pakah
-
#3
ChiliChili
tag
inspiroyhome
#1
ChiliChili
tag
válasz
inspiroyhome
#1
üzenetére
Hú, nagyon jó, ne engedd el!
-
#2
inspiroyhome
senior tag
inspiroyhome
senior tag
Jahogy ezt mar nem lehet szerkeszteni... Ciki.
-
#1
inspiroyhome
senior tag
inspiroyhome
senior tag
Sziasztok!
Itt hamarosan egy szep nyitohozzaszolas lesz, ahol vegigvezetek egy egyszerubb telepites folyamatot ahhoz, hogy otthon tudjatok AI/ML modelleket futtatni CPU-n vagy GPU-n.
A topik azert jott letre, mert elkezdtunk beszelgetni paran egy tema alatt, illetbe PM-ben errol, es ahogy keresgeltem a PH-n, nem talaltam ilyen forumot.
TODO:
- AI/ML oneclick tutorial
- Hardverajanlo
- Modellajanlo[ Szerkesztve ]
![;]](http://cdn.rios.hu/dl/s/v1.gif)
, vagy leget továbbra is loholni a külföldiek után? 
Új hozzászólás Aktív témák
- Apple Watch
- Milyen asztali (teljes vagy fél-) gépet vegyek?
- Milyen routert?
- Politika
- Chieftec nyereményjáték: szerezz egy terméket ingyen!
- Gyúrósok ide!
- Ég veled, KEndre! :(
- Ingyen kellene, de tegnapra
- Samsung Galaxy S25 Ultra - titán keret, acélos teljesítmény
- NVIDIA GeForce RTX 5080 / 5090 (GB203 / 202)
- További aktív témák...
- LENOVO ThinkCentre M710q Mini PC, I5-7500T CPU, 8GB DDR4, 256GB NVME SSD WIFI, Bluetooth, Win 11, 27
- Dell Optiplex 3050 PC, I5-6500 CPU, 8GB DDR4,512GB NVME SSD, Win 11, 27% áfás számla, 1 év garancia
- Új HP OMEN Gamer Tervező Laptop 16,1" -30% i5-13420H 16/512 RTX 4050 6GB FHD 144Hz!
- Lenovo ThinkPad T470 : I5-7300U / 8GB DDR4 / 512GB M.2 / Full HD
- Bomba ár! Lenovo ThinkPad L380 - i5-8GEN I 16GB I 256SSD I 13,3" FULL HD I HDMI I Cam I W11 I Gari!
Állásajánlatok
Cég: Marketing Budget
Város: Budapest