Hirdetés
- Feháborodott az Apple, a Meta az iPhone-felhasználók üzeneteit akarja olvasgatni
- A luxusmárkáknak kell a bitcoin, az USA jegybankjának nem
- Letiltja az USA a politikusokat a telefonhívásokról és szöveges üzenetekről
- Nagy áttörés jön a napelemek piacán, nem kell annyi hely a paneleknek
- Belenyúlt az USA az Epic Games igazgatótanácsába, nyomoz az NVIDIA
Új hozzászólás Aktív témák
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1485
üzenetére
hát igen ...
a "Qualcomm X" (+ Windows ) Ollama támogatása _jelenleg_ közel a nullához ...
De talán a DirectML ( NPU ) - Ollama támogatás - ha megvalósul -
részben megoldaná a problémákat.> Nagyságrendekkel lassabb még egy M1-es gépnél is
Tényleg bonyolult,
- Nem árt nativ Arm64 -es binárist futtatni ( talán a WSL2 -n keresztül ); mert bekavarhat
az emuláció ( X86-64 --> Arm64 )
- tisztán CPU ( Snapdr+) vs. CPU (M2) - olyan 10-20% -os eltérés is kihozható.
persze speciálisan quantált Q4 - model is kell;
Vagyis nem kezdőknek való - még.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
consono
#1475
üzenetére
> Ahogy néztem teszteket, egy Pi4-nél 20-szor gyorsabb
ha valaki szeret kísérletezni,
akkor egyre jobb arm-es kütyük jelennek meg.
Radxa AI PC Development Kit:
"Radxa Orion O6 mini-ITX motherboard is powered by Cix P1 12-core Armv9 SoC with a 30 TOPS AI accelerator"
https://www.cnx-software.com/2024/12/18/radxa-orion-o6-mini-itx-motherboard-is-powered-by-cix-p1-12-core-armv9-soc-with-a-30-tops-ai-accelerator/Van belőle 64GB-os verzió is - ami ritka; M.2 -vel ;
"The Cix P1 SoC also features an Arm Immortalis-G720 GPU for graphics and AI computing, a 30 TOPS AI accelerator for a combined 45 TOPS of AI inference performance, an 8Kp60 video decoder, and an 8Kp30 video encoder. The Orion O6 SBC ships with up to 64GB LPDDR5, features a 4Kp60 HDMI 2.0 port, a 4Kp120 DP 1.4 connector, two 5Gbps Ethernet ports, M.2 socket for storage and wireless, a PCIe x16 slot, and more.""System Memory – 8GB, 16GB, 32GB, or 64GB 128-bit LPDDR5 @ 5500 MT/S (100GB/s bandwidth) "
""
The Orion O6 mini-ITX motherboard is available for pre-order in four variants:
8GB RAM for $199
16GB RAM for $239
32GB RAM for $299
64GB RAM for $449
"""
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1460
üzenetére
> Érdekes minden AI projekt alapja (1000-ből 999) a Linux
> és mindegyik Nvidia videókártyára lett optimalizálva, fejlesztveAz Apple+MLX is erősödik ( ahol egyáltalán nincs Nvidia/CUDA ) és nem is olyan rossz.
A nem Apple-s ökoszisztémában - én inkább 90%-ra becsülön a CUDA - hatást
és egyre több a kihívó, főleg ha a copilot bejön a Microsoft-nak.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Zizi123
#1417
üzenetére
> a MacBook pro-t témának, hanem S_x96x_S.
elnézést;
a MacBook Pro -t
- az "M4 Pro" vs. "M4 Max" szemléltetésére
- és az eltérő memória sávszélesség miatt hoztam fel.
és egy MacBook Pro -n ( kimaxolva 128GB-ra )
már elég sok mindent lehet futtatni.
és ha valaki komolyan foglalkozni fog ezzel a jövőben - akkor ideális lehet.--------
amúgy az "NVIDIA GeForce RTX 4060 Ti 16GB" - ( 288.0 GB/s ) bandwidth-je
elég szegényes egy desktop gpu-hoz mérten;
hasonló kategória mint az M4 PRO -é. ( ami 273 GB/sec )-------
Engem amúgy "a tényleg nagy" modellek futtatása érdekel.
remélem a jövő héten megjelennek az EXO-s tesztek és akkor kevésbé kell találgatni.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
(érdekes összehasonlítás)
egy 48GB LLMs - futtatásához hány kütyü kell az adott fajtából
és mennyi a várható "elméleti" tokens/sec sebesség.ahogy látom, ez amolyan elméleti összehasonlítás
( a memória sávszélesség és a memória méret alapján - amiben nincs benne a hálózati veszteség ) vagyis a gyakorlatbanAmi alapján egy M4 Pro memória sebessége ~ kb egy 8 csatornás DDR5 -el hasonló;
DDR5 8 Channel 4800 512GB x1 6.25
Apple MacMini M4 Pro 64GB x1 5.69for 48GB LLMs
KCORES Graphics Card Memory Leaderboard for LLMs Inference
https://vmem-for-llms.kcores.com/
"The calculation formula is
( VMEM_Bandwidth * Num ) / LLMs_Size = VMEM_Availability,
where VMEM_Bandwidth is the memory bandwidth (GB/s) of the specific graphics card model, Num is the minimum number of graphics cards required to run a 48GB LLM, and LLMs_Size is 48GB.VMEM_Availability is the final availability score.
This formula assumes that each computation requires scanning the memory space that matches the model size. Thus, the overall memory bandwidth divided by the LLM size gives the final throughput for that combination, which can be simply understood as the maximum theoretical number of tokens that this combination of graphics cards can output per second."
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Zizi123
#1410
üzenetére
> Értem, csak senki nem beszélt eddig notebookról.
Az M4 lényegében egy low-power processzor.
rakják tablet-be :
- "M4-es csippel jön az új iPad Pro, ami az Apple eddigi legvékonyabb terméke"
és mac-mini -be is, és notebook-ba is.Az apple amióta kirugta az Intelt-t és átváltott a saját tervezésű chipjeire
egyáltalán nem követi a PC-s tervezési irányzatokat
és teljesen egyedi chipeket készít - széles memóriabusszal.
- 128 bites
- 256 bites
- 384 bites
- 512 bites
https://prohardver.hu/hir/kimaxolta_apple_m4_pro_max_soc.htmlA PC-nél
"Dual-channel-enabled memory controllers in a PC system architecture use two 64-bit data channels." vagyis 2x64 = 128 bit
https://en.wikipedia.org/wiki/Multi-channel_memory_architecture
A szerverek viszont 8, 12, csatornás memóriát használnak;> Pl az Intel i5-14500 CPU-ban mennyi memória controller van?
kétcsatornás DDR5 memória ;
2x64 = 128 bit ; vagyis annyi tudhat mint az alap M4
és kevesebbet mint az "M4 Pro"> Én eddig azt hittem, hogy maga a memória modulnak ,
> a rajta levő chipnek van 1 sebessége. De akkor ezek szerint nem.
Memória-sávszélesség ~~ mint az autópálya sávok.
több sáv - nagyobb átbocsátóképesség; ( ~ memory bandwith )[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Zizi123
#1408
üzenetére
> Ez így igaz, ahogy az Apple sem tudja összehozni szerintem.
a titok nyitja, hogy több memória vezérlőt használ az Apple M4
https://en.wikipedia.org/wiki/Apple_M4M4: : LPDDR5X-7500 8x = 120 GB/sec Total Bandwidth (Unified)
M4 PRO : LPDDR5X 8533 16x = 273 GB/sec"
M4 MAX 10c : LPDDR5X 8533 24x = 410 GB/sec"
M4 MAX 12c : LPDDR5X 8533 32x = 546 GB/sec"> Nem túl sportszerű mobil GPU-val hasonlítgatni a MacMini-t
az "M4 MAX" csak a MacBook Pro -ban van, ami Notebook;
vagyis a Notebook-oos GPU-al fair összehasonlítani.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
(PowerPoint )
van ilyesmi is.
https://chatgpt.com/g/g-cJtHaGnyo-presentation-and-slides-gpt-powerpoints-pdfs
ami a https://slidesgpt.com/ promtja.vagy
https://chatgpt.com/g/g-4fGuYnJC6-presentation-gpt-by-slidespeak
ami mögött a https://slidespeak.co/ -vanDe ha rákeresel a googli-ban a "chatgpt Presentation PowerPoint" -ra, és átnézed az első 100 találatot, akkor szerintem találsz még.
( és persze a "claude sonnet Presentation PowerPoint" -ra keresést is próbálhatod. )
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
S_x96x_S
#1399
üzenetére
És egy 28GB -os modell ; csak 1.55 token/sec
cpu mód:
"""
# ollama run gemma2:27b-instruct-q8_0 --verbose
>>> hello
Hello! 👋
How can I help you today? 😊
total duration: 26.185456189s
load duration: 72.464752ms
prompt eval count: 10 token(s)
prompt eval duration: 17.71s
prompt eval rate: 0.56 tokens/s
eval count: 13 token(s)
eval duration: 8.372s
eval rate: 1.55 tokens/s
"""
( Minisforum UM790 Pro - Ryzen 9 7940HS - 32 GB DDR5 RAM )Persze kinek mire kell;
de a nagy modellek sebessége egyre csak csökken és nem árt a memória sávszélesség.
emiatt a CPU módot hamar ki lehet nőni ...Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Lokarson
#1395
üzenetére
> A 780M-re még nincs rendes GPU támogatás? (Ezt is néztem egyébként.)
Amire nekem eredetileg kellet ( linux-os tesztelésre - CPU ) arra tökéletes,
de LLM-re nem éppen az ideális.
És még csak phoneix -es, vagyis max 16GB VRAM-ot lehet lefoglalni a BIOS-ban,
hiába teszel bele 64Gb vagy 96 GB-ot.
Az NPU -ja is elég gyenge 10 TOPS - körüli, és még mindig nincs rendes NPU driver hozzá
( talán tavaszra az ubuntu 25.04 -hez elkészül )CPU mód - ahol nincs limitálva a max 16GB VRAM ollama v0.4.1 -el ;
qwen2.5:32b (19GB) ; tesztműködik, de lassú ~ 3 token/sec
"""
# ollama run qwen2.5:32b --verbose
>>> hello
Hello! How can I assist you today? Feel free to ask me anything or let me know if you need help with something specific.
total duration: 13.469038112s
load duration: 20.152589ms
prompt eval count: 30 token(s)
prompt eval duration: 3.839s
prompt eval rate: 7.81 tokens/s
eval count: 28 token(s)
eval duration: 9.293s
eval rate: 3.01 tokens/s
"""És egy kisebb modell : llama3.2:3b ( 2.0 GB ) ~ 10x gyorsabb.
"""
# ollama run llama3.2:3b --verbose
>>> hello
Hello! How can I assist you today?
total duration: 703.077948ms
load duration: 12.920342ms
prompt eval count: 26 token(s)
prompt eval duration: 338ms
prompt eval rate: 76.92 tokens/s
eval count: 10 token(s)
eval duration: 350ms
eval rate: 28.57 tokens/s
"""- majd GPU módban is igyekszem tesztelni ( valamikor )
- és talán zen4 - optimalizált CPU fordítást is kipróbálok ( valamikor )----------------
Az újabb Strix-esek jobbak lesznek:
"AMD Strix Point APUs Upgraded To Support Faster LPDDR5X-8000 Memory, Same For Krackan Point, Strix Halo To Get 96 GB Memory"[ Szerkesztve ]
Mottó: "A verseny jó!"
-
#1394
S_x96x_S
addikt
hiperFizikus
#1393
S_x96x_S
addikt
válasz
hiperFizikus
#1393
üzenetére
> Ez mit is jelent pontosan ?
Hogy lehet benne:
"Akár NVIDIA® GeForce RTX™ 4070 Laptop GPU 8 GB GDDR6 VRAM Akár 1605 Mhz turbóórajel-sebesség, akár 100 W TGP (grafikus összteljesítmény)"Vagyis ami belefér a mobil GPU memóriájába ( 8GB ), azzal tudsz dolgozni.
Amúgy hasonló műszaki paraméterrel - találsz más notebook-ot is.
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Zizi123
#1390
üzenetére
> Hát nem tudom, de a 8GB RAM, nem tűnik túl acélosnak az alapmodellben.
Az M4 alapmodell már 16GB RAM - 300e Ft-ért
10 magos CPU
10 magos GPU
16 GB egyesített memória
256 GB‑os SSD‑tároló Lábjegyzet ¹
16 magos Neural Engine
Előoldal: két USB-C port, fejhallgató-csatlakozó
Hátoldal: három Thunderbolt 4 port, HDMI‑port, gigabites Ethernet-port
299 990 Ft> De ha akkor meg már 700e-ért olyan PC-t lehet kapni ami agyonveri a Macmini-t...
sok mindenben igen, de sok mindenben meg nem.
A gyors egyesített memória sebessége eléggé fontos,
és egy M4 PRO-s 273GB/s of memory bandwidth -et lehetetlen
összehozni 2 csatornás DDR5-ből.és 999.999 Ft egy 64GB ( 273GB/s bw ) egyesített memóriás M4 PRO,
ami már a használható közeli ..
( összehasonlításul egy nvidia RTX 4070M ( mobil ) -nak 256.0 GB/s - a mem bandwith-je ) és ött nem tudsz még 48GB-os modelleket futtatni.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
consono
#1384
üzenetére
> egy alap M4-es MacMinire
az exo-sok berendeltek egy tucat M4-es modellt
és ~ hamarosan kiadnak valami benchmark weboldalt
és akkor talán kiderül, hogy melyik modellt érdemes."Benchmarks website coming soon. Some crazy setups (hybrid Apple/NVIDIA). "The site will provide detailed comparisons of hardware setups, including single-device and multi-device, allowing users to identify the best solutions for running LLMs based on their needs and budget."
https://x.com/alexocheema/status/1856902697032507459Ha viszont a jövőben várhatóan több M4 Mini-t akarsz összekötni,
akkor az M4 PRO -nak már
- fejlettebb TB5-ös csatlakozója van ( up to 120Gb/s data transfer speed )
- és dupla memória sávszéle ( 273GB/s of memory bandwidth )A probléma az árazás.
Az alap MacMini 299 990 Ft -ért elég jó vétel
azon felül meg szokni kell.de az árazás előny is;
ha valaki kinövi az alap MacMini-t; gyorsan el tudja adni a használt piacon.-------------
> #1386 Lokarson
> egy Intel Ultra 125H vagy 155H 32/64/96 GB kiépítésű
> mini pc hasonló teljesítményre képes, mint egy M4-es MacMini LLM és egyébnézzél teszteket;
de szerintem is kicsi lesz a memória sávszélesség;én jelenleg használok egy 32GB-os Ryzen 7940HS-es Minisforum Mini-pc
CPU módban ( Ollama-val ) de minél nagyobb az LLM modell, annál lassabb.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
Milyen egy profi prompt ( a cursor.ai egyik fejlesztőjétől )
![;]](//cdn.rios.hu/dl/s/v1.gif)
""""
DO NOT GIVE ME HIGH LEVEL SHIT, IF I ASK FOR FIX OR EXPLANATION, I WANT ACTUAL CODE OR EXPLANATION!!! I DON'T WANT "Here's how you can blablabla"
- Be casual unless otherwise specified
- Be terse
- Suggest solutions that I didn't think about—anticipate my needs
- Treat me as an expert
- Be accurate and thorough
- Give the answer immediately. Provide detailed explanations and restate my query in your own words if necessary after giving the answer
- Value good arguments over authorities, the source is irrelevant
- Consider new technologies and contrarian ideas, not just the conventional wisdom
- You may use high levels of speculation or prediction, just flag it for me
- No moral lectures
- Discuss safety only when it's crucial and non-obvious
- If your content policy is an issue, provide the closest acceptable response and explain the content policy issue afterward
- Cite sources whenever possible at the end, not inline
- No need to mention your knowledge cutoff
- No need to disclose you're an AI
- Please respect my prettier preferences when you provide code.
- Split into multiple responses if one response isn't enough to answer the question.
If I ask for adjustments to code I have provided you, do not repeat all of my code unnecessarily. Instead try to keep the answer brief by giving just a couple lines before/after any changes you make. Multiple code blocks are ok.
""""
( via https://x.com/kayladotdev/status/1853272891023872450 )Mottó: "A verseny jó!"
-
S_x96x_S
addikt
IP és más dolgok alapján - könnyű lebukni - és akár véglegesen is kitilthatnak,
de szerintem a nagyobb probléma, hogy a komolyabb modelleknél
ketten nagyon hamar elhasználjátok a limitet, főleg akkor ha nem kommunikáltok.
- "50 messages a week with OpenAI o1-preview"én már olyanról is hallottam - hogy a limit miatt - egy személynek 2 előfizetése van,
mert kell neki."""
Are there any usage limits applied on my account?
As of May 13th 2024, Plus users will be able to send 80 messages every 3 hours on GPT-4o. and 40 messages every 3 hours on GPT-4. The message cap for a user in a ChatGPT Team workspace is approximately twice that of ChatGPT Plus.
Please note that unused messages do not accumulate (i.e. if you wait 6 hours, you will not have 80 messages available to use for the next 3 hours on GPT-4).
GPT-4o mini does not have limits on the Plus tier.
Plus user have access to 50 messages a week with OpenAI o1-preview and 50 messages a day with OpenAI o1-mini to start with our research preview.
In certain cases for Plus users, we may dynamically adjust the message limit based on available capacity in order to prioritize making GPT-4 accessible to the widest number of people.
https://help.openai.com/en/articles/6950777-what-is-chatgpt-plus
"""Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Lokarson
#1356
üzenetére
érdemes kiszámolni a két variáció megtérülését.
ha non-stop megy - és nem kell nagy teljesítmény - akkor megérheti a vásárlás.
minden más esetben - attól függ.ha 999 990 Ft. -os 64 Gb Mac mini is elég
vs. 2db RTX4090 (2*24GB VRAM) bérlése 1.1 USD/h * 376 HUF/USD -val )
999990 / (1.1 *376 * 2 ) = 1208 óra. ~ 1.68 hónap + áramköltség
~ 2 hónapon belül megtérül a beruházás.
- és napi 8 óra esetén ~ 6 hónap
- és napi 4 óra esetén ~ 12 hónap
és utána még mindig eladhatod a mac-mini-t.Persze az M2. Ulta MacStudió 2.8 Milla
- 192 GB egyesített memória
- 800 GB/s memória-sávszélesség
és sajnos az M4.Ultra csak jövőre várható.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
Jelenleg úgy tűnik, hogy a helyi nagy ( >32GB) LLM-ek (inference) futtatásra
Az új Mac Mini M4 Pro - lesz az ideális hobby megoldás.
999 990 Ft -tól.
- 64 GB egyesített memória ( ez a max )
- Apple M4 Pro chip 12 magos CPU‑val, 16 magos GPU‑val és 16 magos Neural Engine-nel
- 273GB/s of memory bandwidthPersze az M4 Max -os laptopok még ideálisabbak - mivel a mem. sávszélesség is elég fontos a helyi LLM-ek futtatásánál.
( M4 Max supports up to 128GB of fast unified memory and up to 546GB/s of memory bandwidth )
de ez már >=2 349 990 Ft----------
A részleteket kedvelőknek nem árt tudni, hogy a
Az új CPU-s "SME" támogatás az Apple M4 -ben elég érdekes:
"Apple's matrix accelerator is a dedicated hardware unit — it is not part of the CPU core. There is one AMX/SME block in a CPU cluster, shared by all CPU cores. This has a number of interesting consequences. First, the matrix accelerator has access to much higher bandwidth than the individual CPU cores, since it is directly fed from the cluster L2. Second, the latency of executign SME instructions is high, as data communication needs to happen via the L2 cache (there is presumably a fast control bus to share the execution state). Third, one does not need to resort to parallel programming to harvest the performance benefits of SME. Initial experiments suggest that a single CPU tread can already achieve peak processing rate on the SME unit. Finally, those seeking highest possible performance can use on-CPU SIMD (Neon) and SME simultaneously for an additional boost."
https://github.com/tzakharko/m4-sme-exploration------------
ha nincs más, akkor az új Intel és AMD AI 370 mini -pc is szóba jöhetnek - 64/96GB DDR5 Ram-al ; de a legnagyobb problémájuk a szűk memória sávszélesség.
és emiatt lasabbak.Alternativa lehet még a több GPU-s megoldás, de az már sokkal drágább és bonyolultabb is.
------
Remélem, hogy jövőre több alternatíva lesz.
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> hogyan használják az AI-t amikor terveztetnek vele valami tárgyat?
egy 3perces céges videó, hogy a mérnöki tervezésnél ők hogyan használják.
"Revolutionizing Engineering with AI: Design Optimization & Machine Learning"~ kell egy AI ami a CAD modult módosítgatja
és kell egy fizikai modell - amiben kiértékeli azáltal, hogy szimulációkat futtat le,
a szimulációs eredményekből próbál tanulni a modell és egy új módosítást javasol
amit megint kiértékel a szimulációs rendszer. És egy új módosítás ... és egy új szimuláció.Az AI - ezt így fogalmazza meg érthetőbben mint ahogy én leirtam:
"""
Tanulás a szimulációs eredményekből: Az AI figyeli a szimulációs eredményeket, és ezek alapján „tanul”. A gépi tanulás segítségével felismeri a sikeres és kevésbé sikeres tervezési mintákat. A sikertelen szimulációs kimenetek alapján új változtatásokat javasol, majd ismét teszteli, így egyre inkább optimalizálja a modellt a kívánt célra.
"""És sokan emiatt félnek az AI-tól ;
hogy az AI egyszer megtanulja, hogy saját magát hogyan tudja fejleszteni
és akkor mi leszünk az AI(szuperintelligencia) háziállata ;[ Szerkesztve ]
Mottó: "A verseny jó!"
-
#1339
S_x96x_S
addikt
Komplikato
#1337
S_x96x_S
addikt
válasz
Komplikato
#1337
üzenetére
> Python - Érdekelne hogyan vészelte át azt az 1-2 évtizedet,
> amíg annyira el volt ásva, hogy nem is hallottam felőle.Közrejátszott nagymértékben az is,
hogy a felsőfokú képzéseken ezt kezdték el tanítani a diákoknak.
( C, Pascal, .. és sok más nyelvet kiváltva )Valamint az a tény, hogy a python lényegében
mindenben a második legjobb programozási nyelv,
minden feladatra találsz sokkal jobb megoldást,
de a python-t mindenre lehet használni.Mivel könnyű megtanulni, elterjedt -
emiatt a cégek is könnyen találnak python-os munkaerőt.
és az amolyan network effect. egyre több fejlesztő, egyre több package, egyre nagyobb ökoszisztéma.De amúgy a python - amolyan ragasztó nyelvként is működik, programozói könyvtárakat tudsz meghívni vele egyszerűen - és gyorsan tudsz prototípust készíteni.
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> ezeket a köröket már megfutottam évekkel ezelött
Ha ingyenes megoldás nincs,
akkor kell valakit találni, aki korrepetál ( pénzért )
és ha csak pár ezer Ft-ot tudsz fizetni egy remote online óráért,
lehet, hogy arra is lesz jelentkező.
És heti 2-3 óra korrepetálással - már át tudsz lendülni az első nehézségeken.de amúgy manapság már az AI sokat segít - a néha nem árt valami humán segítség.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> mivel nem tudok egyáltalán kodolni
(nem ismerlek és nem tudom mi lenne az ideális neked )
de általánosságban, érdemes megismerni az alapokat
vagyis érdemes lehet,
valamilyen egyszerű programozási gyorstalpalót elvégezni,
hogy ha el akarsz mélyedni a témában.
pl. https://www.codecademy.com/catalog/language/python
aminek van folytatása is:
https://www.codecademy.com/catalog/subject/artificial-intelligence> Meg általában nálam sose szokott mukodni elsöre
> az ami ott igy a hibákat se tudom, hogy lehet kijavitani vagy mit kell olyankor tenni.nyugi, ez velem is előfordul, hogy valami nem működik elsőre.
Ez teljesen normális. Nekem például jelzés, hogy valahol nem tökéletes a megértésem
és rá kell szánnom az időt - hogy az adott témát jobban megismerjem.szerintem érdemes keresned
egy (programozási) mentort a családi barátok vagy az ismerősök között,
aki segít az első sikerélményeket megszerezni.----
de amiben egy jobbfajta AI manapság még segíthet, hogy segít elmagyarázni egyes fogalmakat, tippeket ad hibaüzenetek megoldására, stb.
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> ... kodolásra szakositott AI ... AI ugynokok
valami hasonlót keresel?
https://github.com/kyrolabs/awesome-agents?tab=readme-ov-file#software-development
(szerintem van alternativa )Ha teszteled őket - akkor irhatnál valamilyen véleményt róluk, melyikben mi tetszik és mi nem.
de van általános - agents keretrendszer is - hogyha sajátot szeretnél irni.
pl. https://github.com/openai/swarmMottó: "A verseny jó!"
-
S_x96x_S
addikt
indulhat a tesztelés
"Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku"
Oct 22, 2024
https://www.anthropic.com/news/3-5-models-and-computer-use
"Today, we’re announcing an upgraded Claude 3.5 Sonnet, and a new model, Claude 3.5 Haiku. The upgraded Claude 3.5 Sonnet delivers across-the-board improvements over its predecessor, with particularly significant gains in coding—an area where it already led the field. Claude 3.5 Haiku matches the performance of Claude 3 Opus, our prior largest model, on many evaluations for the same cost and similar speed to the previous generation of Haiku."
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Paxker315
#1325
üzenetére
> Esetleg van olyan eszköz, ami képes szkematikus ábrákat generálni,
Ha egyszerű mermaid - típusú is elég, akkor van remény.
https://mermaid.js.org/ecosystem/integrations-community.htmlés esetleg meg lehet próbálni a két lépéses módszert.
- egy jobb fajta LLM-el elkészíteni az ábra leiró nyelvét
- amit egy képgenerátorral kigenerálsz.
( ez a próbálgatásos módszer )konkrétan Biorenderrel kapcsolatban - nem tudom mi a konkrét elvárás - de itt megemlitik:
https://www.reddit.com/r/LocalLLaMA/comments/1e887j3/best_llm_to_use_for_outputting_a_graph/Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1322
üzenetére
> Forrás kutatás: https://chatgpt.com/g/g-L2HknCZTC-scholar-ai
ez tényleg jónak tűnik.
Legalább van mögötte rendes adatbázis.
és ez a konkrét weboldaluk: https://scholarai.io/// habár szerintem egy egyszerű python programmal és jó pár API hívással,
ki lehet váltani ezt is - de az esetek 95%-ban nem éri meg a macera //Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> Forrás kutatáshoz (szakdolgozat)
ebben nem jó az LLM, és jogi dolgoknál sokan megégették magukat, mert halucinációt nem ellenörizték le.
Én az LLM [ anthropic sonnet 3.5 ( ingyenes) , chatgpt o1-preview ]
keresőszavak definiálására használom,
Megadom a bő témát - és javasoljon angol nyelvű keresőszavakat,
amelyeket a https://scholar.google.com/ -on próbálgatok.
persze ezt valami python programmal automatizálni is lehet.> és program kód debug-hoz keresnék AI segítséget.
szerintem az "anthropic sonnet 3.5" ( limitáltan ingyenes )
sokkal jobbnak tűnik mint a chatgpt ( o1-preview -t is beleértve )én copy/pastelem a kódot ( kódrészletet )
és megadom a hibaüzenetet
És a minél részletesebb kontextust ( ez fontos !!! )
és akkor az esetek 80%-ban elsőre elég jó választ ad.Amúgy érdemes kipróbálni a Cursor -t ( a komoly használathoz nem árt egy $20 előfizetés ) és elég nagy hype-ja van a z X-en és sokan erre esküsznek.
Lex Fridman - is készített velük interjút.
"Cursor Team: Future of Programming with AI | Lex Fridman Podcast #447"De amúgy próbálgatni kell és fontos a kontextus!
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1316
üzenetére
> A legjobb fordítók jelenleg a nagy nyelvi modellek.
egyetértek.
meg lehet adni a stílust, a szakmai zsargon fokozatát,
és még stílus mintát is meg lehet adni, ami még egyértelműbbé teszi a fordítási követelményeket.> Mivel nálad elég specifikus a feladat tehát könyvet kell fordítani
vannak egyszerű python programok, amelyek feldarabolják - és egymás után automatikusan meghívják a nagy nyelvi modelleket.
válogatni kell ( https://github.com/topics/translator-app )pl egy egyszerű
https://github.com/richawo/llm-translator
- Accepts Plain Text/Markdown file as input
- Tokenizes input text using tiktoken
- Splits input into chunks at multiple newlines
- Sends each chunk to OpenAI for translation
- Reconstructs translated output with original formattingkézzel be kell állítani a nyelveket a bulk-translate.py -ben
input_language = "english"output_language = ["french","german","italian","spanish","japanese","korean","chinese_simplified","russian","portuguese",]a prompt az egyszerű - de azt is át lehet irni:
system_prompt = f"You are a translation tool. You receive a text snippet from a file in the following format:\n{format}\n\n. The file is also written in the language:\n{input_language}\n\n. As a translation tool, you will solely return the same string in {lang} without losing or amending the original formatting. Your translations are accurate, aiming not to deviate from the original structure, content, writing style and tone."
és csak az automatizálást végzi el, hogy ne kelljen kézzel feldarabolni és manuálisan elküldeni a szöveget.
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tecső88
#1309
üzenetére
> Én mással (programozás kapcsán) nem próbálkoztam,
> csak a chatgpt-vel a nagy hype idején.ajánlom a
https://www.anthropic.com/ - Claude 3.5 Sonnet -et kipróbálásra.
- sokkal jobb mint a korai chatgpt, ami tényleg béna kacsa.
- én az ingyenest használom - és ha jól meg van fogalmazva a probléma ( mint egy rendszerterv ) , akkor használható azzal a pár kérdéssel is, amit az ingyenes engedélyez.
és nálam ~ 85% -ban lefut az első verzió is,
míg a chatgpt -nél sokkal rosszabb az arányt érzékeltem.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tecső88
#1301
üzenetére
> Nem tudok tanulni.
nincs olyan mélypont, ahonnan ne lehetne felállni,
Kell találni egy célt ( küldetést )
és mentort/barátot/szakembert, aki motivál és húz
( és ha nincs más, akkor egy jó AI - prompt is megteszi )
+ sok apró lépés
[ Sudoku , testmozgás, spéci táplálákkiegészítők, orvosi kivizsgálás, meditáció, kevesebb internet és több papír alapú könyv ]A Kreatin -amit testépítők használnak - például eléggé ígéretes.
"Creatine found to improve cognitive performance during sleep deprivation"
Én például a kávéra immunis lettem és csak az 5 féle koffeines + kreatin + aminosav -as
testépítős edzés előtti pörgető szerek löknek meg.
Abból is most a "Mutant madness" a kedvencem - és tényleg több különbözőt kipróbáltam. És még az MCT ami csodát tesz az agyműködésemel és ellátja energiával.Szóval ne add fel - tegyél valami értelmet az életedbe. ( ami társadalmilag hasznos )
-------------
és amúgy az AI-t nagyon jól tudom használni,
hogyha ilyen témában kell valami (orvosi) tanácsadás.
Például leírom, hogy milyen (táplálékkiegészítő) szerek hatását érzem és ezek alapján javasoljon mást is kipróbálásra és minnél több információt megadok, annál pontosabb a válasz is.
De orvosi leleteket is elmagyaráztatok vele .. például a vérkép elemzésen mi-mit jelent.
Vagyis ha valaki jól tudja használni az AI-t az az áldásaiből is részesül.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tecső88
#1299
üzenetére
Ha kutatás és a mögötte lévő probléma is érdekel
pl. https://arxiv.org/html/2404.08788v1 [1]
ami szerint az fejlett CLIP model már képes 90% -os pontossággal felismerni a nem igazi képeket, Ami azt jelenti, hogy 10-ből 1 tévedés; amire egy orosz rulett esetén én nem tenném rá az életemet.
És mivel az AI - olyan mint az égig érő paszuly - 1 év alatt sokat fejlődik, emiatt jövőre már jobb minőségű képgenerátorok lesznek, amit még nehezebb felismerni.
Vagyis a trend, hogy ez olyan probléma, amit felismeréssel nem lehet megoldani és
nem lehet 100%-os bizonyosságot elérni.[1]
"We find that our CLIP model performed well, with an accuracy greater than 90%, on GAN-generated images, diffusion-generated images, and real photographs. In contrast, while DIRE performed well on AIGI, it struggled on our dataset of real images. CNNDet handled real/AIGI determination well but struggled to identify the generation source of AIGI."persze vannak ideiglenes jelek ~ AI hibák , amelyekkel a roszabb minőségű AI képeket fel lehet ismerni, de az újabb képgenerátorok már egyre tökéletesebbek és nem követik el ezeket a problémákat.
1: Weird Fingers
2: Blurry or Abnormal Backgrounds
3: Terrible Hair
4: Sharp, Overly “Rendered” Appearance
5: Accessory Mistakes
6: Garbled Text
7: Stereotypes
8: Flubbed Details
https://tech.co/news/ways-detect-ai-images-examples
szóval ez olyan mint a pénzhamisítás --> a tökéletes hamisítványt nagyon nehéz felismerni. És a technológia mindig egyre tökéletesebb.--------
Ha bele akarod ásni magadat a témában, akkor neked se árt elmélyedni az AI képgenerátorok világában. És akkor legalább lesz egy mély megértésed a jelenlegi lehetőségekről.
És ez hasonló ahhoz az analógiához - hogy egy (festmény) képhamisitő - képes legjobban felismerni egy másik hamis festményt.A téma szerintem érdekes és olyan mint a hagyma ... sok rétege van és néha csípi a szemünket.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tecső88
#1297
üzenetére
1.) egy kis gyakorlással - lehet növelni a felismerési arányt - amivel az átlagember szintje felé lehet kerülülni, de teljes bizonyosság nem létezik - és nagyon vigyázni kell azzal, hogy valakit hamisan megvádolunk.
Amúgy az emberek egy része még a bűvésztrükköket is elhiszi.pl. az oktatás és a házi feladatok - AI - problémáját Ethan Mollick eléggé jól körbejárta.
https://www.oneusefulthing.org/p/post-apocalyptic-education"""
- No specialized AI detectors can detect AI writing with high accuracy and without the risk of false positives, especially after multiple rounds of prompting. Even watermarks won’t help much.
- People can’t detect AI writing well. Editors at top linguistics journals couldn’t. Teachers couldn’t (though they thought they could - the Illusion again). While simple AI writing might be detectable (“delve,” anyone?), there are plenty of ways to disguise “AI writing” styles through simples prompting. In fact, well-prompted AI writing is judged more human than human writing by readers.
- You can’t ask an AI to detect AI writing (even though people keep trying). When asked if something written by a human was written by an AI, GPT-4 gets it wrong 95% of the time.
"""
Amúgy Ethan Mollick az egyik kedvencem,
akit érdemes a https://x.com/emollick -en is követni.2.) Amúgy "Ilya Sutskever" -re kell figyelni.
- Minden pozitiv(hasznos) alkalmazásra jut egy negatív(káros) AI/AGI felhasználás.
- az AGI képes lesz saját magát fejleszteni.
- az AGI képes lesz dolgozni a következő generációs AGI-n
https://x.com/slow_developer/status/1847628574485819790úgyhogy én a "fake" és AI által generált képeken aggódok a legkevésbé.
Persze azokat is lehet rossz dolgokra használni.3.) És lehetséges, hogy szimulált világegyetemben élünk,
úgyhogy még az se biztos, amit valósnak hiszünk.
És erről Elon Musk eléggé meg van győződve.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
A youtube podcast -ok egy részénél be van kapcsolva az AI transcript/Átirat
és a legtöbb AI tool azt használja. Ha van olyan, akkor azt egyszerű copy/pastelni egy másik chat-be.A notebooklm például csak Transcript/Átirat az alapján tud dolgozni. ( legalábbis pár hete még így volt. )
> Van már olyan szolgáltatás (MI) ami egy megadott youtube podcast videóból (adott link)
van pár ígéretes dolog, amit kidob a google kereső, de tesztelni kell őket.
https://www.google.com/search?q=generate+transcript+from+youtube+videoMottó: "A verseny jó!"
-
S_x96x_S
addikt
Kérdés:
Milyen más magyar nyelvű - más AI /LLM fórumok vannak,
ami nem laikusoknak, felhasználóknak és prompt varázslóknak szól,
hanem sokkal mélyebb [ cloud, llm tréning, open modellek, hugging face ]Persze amúgy nem hiszek az éles határban és abban se, hogy el lehet különíteni őket,
de hátha valaki tud más aktiv érdekes hazai online közösségekről.
// de amúgy nem reménykedem. Szerintem nagyrészt minden angolul megy.De az is jöhet, hogy ki honnan próbál naprakész lenni.
Én pl. az X/Twitter-t és a HackerNews-t használom
mint elsődleges hírforrást és eláraszt az információ dömping.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1258
üzenetére
> úgy, hogy összehasonlítom egy eredetileg is akkora erőforrás igényű
> másik modellel a nagyon kvantált verziót. Egy 7B-s modell közel a felére csökken.Az ollama -ban most is vannak q2,q3,q4,q5,q6,... -ra quantált verziók,
amelyek valószínűleg még nem VPTQ -val készültek.
Azokkal is érdemes lenne összehasonlítani.pl.
"ollama run llama3.1:8b-instruct-q2_K" ~ 3.2GBvagy: https://ollama.com/library/llama3.1/tags
8b-instruct-q3_K_S
16268e519444 • 3.7GB • Updated 3 weeks ago
8b-instruct-q3_K_M
4faa21fca5a2 • 4.0GB • Updated 3 weeks ago
8b-instruct-q3_K_L
04a2f1e44de7 • 4.3GB • Updated 3 weeks ago
8b-instruct-q4_0
42182419e950 • 4.7GB • Updated 3 weeks agoMottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tomszli11
#1255
üzenetére
> ami a szöveget letudja szedni a PDF-ről ...
Én ha LibreOffice - Draw -al meg tudom nyitni a PDF-et,
és az olvasható, akkor már ki lehet szedni a szöveget is.
( és a képeket is ki tudom szedni valahogy. )és találsz az interneten rengeteg
"How to Convert PDFs to Markdown" - python tutorialt - amivel markdown -formában ki lehet szedni a szöveget, amit majd meg lehet etetni egy extrém jó modellel.
talán még az Anthropic Sonett 3.5 - ingyenes is jó megoldás fordításra, csak meg kell adni a kontextust, a fordítási stílust és esetleg pár szakszónál az elvárt magyar megfelelőt - hogyha nem jól fordít rögtön.ha valami céges - privát belső pdf-et kellene fordítani,
akkor én az Online ingyenes megoldásokat kerülném.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Zizi123
#1250
üzenetére
> Van vagy 1000 könyvem, van-e olyan ingyenes AI,
A könyv gerincén lévő feliratot kellene értelmezni,
( pl. több 4K-s fotóval a teljes könyvespolcról ; könyves szekrényről )
vagy a könyvek egyedi címlapját - ( ~ 1000 db Képet) ?
pl.
Az Anthropic Sonett 3.5 -el valószínüleg lehet olyan python programot generálni,
ami valamelyik képfelismerős - lokálisan telepített ollama modell-t meghívja
és a címet és az írót kiszedi a képről
és egy nagy csv-be lementi.
A csv-t pedig már könnyű beimportálni egy excel-be és rendezni manuálisan.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
tomszli11
#1251
üzenetére
szerintem PDF - től is függ.
( néhány eleve védett - és még a copy/paste se működik a spéci átkódolt betűk miatt )
és a beágyazott képek miatt is lehet probléma.de:
- add meg a pdf linkjét itt,
- tűzz ki valami sikerdíjat
- és ha van ilyen, akkor lesz megoldás.> hogy a betűtípusok a szöveg elhelyezkedés ugyan úgy maradjon?
nem mindig ugyanannyi karakter/szótag az angol -> magyar fordítás.
és a film szinkronizálásánál erre figyelni kell, nehogy feleslegesen tátogjon a színész.
úgyhogy én még a legjobb LLM-el se várnék tökéletes megoldást,
de jó közelítő megoldást talán lehet találni.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
V.Stryker
#1219
üzenetére
> Akkor egy magyar pdf-ből hogy fog tudni jegyzetet csinálni?
A https://notebooklm.google/ -et próbálgatom.
- azt hiszem ingyenes.
- több pdf-et, url, file-t meg lehet neki adni. ( kivéve a fizetős url-eket )
[ Supported file types: PDF, .txt, Markdown, Audio (e.g. mp3) , Google Docs, Google Slides, Youtube, copy/pasted text ]
- És lehet mindenfélét kérdezni.
- A nyelv-beállításokkal nekem gondjaim vannak, és mintha nekem a FAQ-ban jelzett nyelv-váltással se működik tökéletesen, (mert alapból angol van beálíltva )
de ha magyarul kérdezek - azt megérti és angolul válaszol. Amit ha szükséges, akkor egy copy/paste -el egy másik LLM-el le kell fordítani magyarra - megadva a kontextust és a fordítási irányelveket.
Persze nekem az angol válasszal nincs gondom. Általában angol szövegeket próbálok értelmezni és az angol olvasás jobban megy mint az angol irás.Jelenleg sokan az angol podcast készítéséért dicsérik
I Taught My 8yo Subduction Zones With NotebookLMMottó: "A verseny jó!"
-
S_x96x_S
addikt
-
S_x96x_S
addikt
válasz
consono
#1191
üzenetére
én "mindenre is" próbálom használni - hogy megismerjem a korlátait.
de leggyakrabban - a kontextusos fordítás - angolra, amit használok.
de segített már angol szóviccek elmagyarázásában,
és kutatásokban is.Egészségügyi támákban is hasznos.
Például egy adott problémára - milyen aminosavakat és vitaminokat javasol kipróbálásra.
és ha minél több kontextust adok meg, annál pontosabb.Vagy fényképről fel kell ismerni egy bogarat, ..
És persze nekem is volt már jogi problémám - amire használtam.
És most már kezdem mélyebben is beleásni magamat,
pl. vektor adatbázisok. lokális llm , ollama, ...Én amúgy sok mindenkit követek a twitteren,
de az abszolult top:
https://x.com/emollick / https://www.oneusefulthing.org/Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> A plussznak is van limitje?
attól függ milyen modellt akarsz próbálni.
De ha új modell --> akkor limit.
"With a ChatGPT Plus or Team account, you have access to 50 messages a week with OpenAI o1-preview and 50 messages a day with OpenAI o1-mini to start." [1]
és API-n keresztül - programozással - csak azok jogosultak
akik legalább 250$ elköltöttek. itt már elég magas a limit."API Only Usage Tier 4 and 5 API accounts can access the o1-preview and o1-mini API models:
Tier 4:
o1-preview: 1,000 requests per minute
o1-mini: 5,000 requests per minute
" [1]------------
Én általában az egyszerű problémákra a GPT-4o -t használom.
és csak ha nem vagyok megelégedve a válasszal, akkor váltok o1-preview-ra.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
Atomgeszi
#1182
üzenetére
> Plusban elérhető a o1preview.
Igen.
Én használom a fizetős pluszt és az API-t is.> Kar, hogy képet nem lehet neki feltölteni.
Lehet, hogy ezt két lépésben kell megoldani.
1.) "4o" a kép tartalmának és a [matek|fizika] problémának a szöveges formátúmú elkészítése.
2.) "o1-preview" -el problémamegoldés. ( a szöveges leirás alapján )Nem próbáltam még, de "elméletileg" működnie kellene.
Ha valaki tesztelte - Jelezze !Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> Melyik nagy nyelvi modelt ajánlanátok matek és fizikai feladatok megoldásához?
mindenképpen a Chatgpt: "o1-preview" -t ki kell próbálni.
[ nem tudom , hogy ingyenesen el lehet-e már érni ]( Az Anthropic Sonett 3.5 -es is érdemes lehet még megnézni, annak mennie kell ingyenesben is )
vagy még ezt is tesztelheted : https://math-gpt.org/ ( de ezt én nem próbáltam )
Majd írd meg a tesztelés eredményét és a benyomásaidat.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> AI szabályozás és etikai kérdések
> ...
> amelyek a későbbiekben releváns pozíciók betöltését
> is elősegíthetik ezen a területen?Ha magyar karrier:
- szerintem kezdj el blogolni a témáról magyar nyelven ( vagy podcast ? )
- érdemes pár meetup előadást is tartani, amiről nem árt videó felvétel.
Ha EU- karrier, akkor angol nyelven.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
#1145
S_x96x_S
addikt
hiperFizikus
#1144
S_x96x_S
addikt
válasz
hiperFizikus
#1144
üzenetére
> Nekem a ChatGPT plasztikusabbnak a Gemini merevebbnek tűnik,
ez nem sok információ; az alap "tone" -t lehet szabályozni
és mindkét rendszerben más a modell és a default instruction prompt.a Gemini (állítólag) nagyon-nagy adat elemzésére jó - például videó.
de minden másban kevésbé számít a top-nak.
Viszont látszik, hogy a google eléggé próbálja utolérni vele a top ligát.én egyenlőre a chatgpt: "o1-preview" modelljével eléggé meg vagyok elégedve,
az már a claude sonet 3.5 - el van egy kategóriában.Mottó: "A verseny jó!"
-
S_x96x_S
addikt
új modell.
"Announcing Pixtral 12B
Pixtral 12B - the first-ever multimodal Mistral model. Apache 2.0."
https://mistral.ai/news/pixtral-12b/
------------
És a legjobb teszt:
Prompt: What will happen if the woman puts her hands down?
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
DarkByte
#1126
üzenetére
> exo && még behozza a hálózatot is,
Én azért adok nekik még esélyt, szerintem 2-3 havonta érdemes megnézni a haladást.
Az eredeti demóban - Thunderbolt4 -el van összekapcsolva két Mac-es gép,
és ott már 20 --> 40 GBps sebességet is el lehet érni .pl 3db kis UM790 -ből ( 2db USB4 port + Ryzen 7940HS ) elég fapados mesh networköt lehet összerakni ( ~ 11 GBps hálózati sebességgel , mert valószínüleg ha mindkét USB4 -est egyszerre használod, akkor lehet valami korlát, hogy osztozni kell a pcie sávon,
de az alternativánál - egy 2.5G\5G net-nél sokkal jobb sebességet lehet elérni.
"High-speed 10Gbps full-mesh network based on USB4 for just $47.98"A fentiekkel csak azt akartam jelezni, hogy olyan gépet érdemes beszerezni,
aminek van USB4/TB4/TB5 csatlakozója
és akkor legalább lesz esély az otthoni próbálgatásra a jövőben.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
freddirty
#1123
üzenetére
> exo && és lesz bináris/gyári konténer (ha egyáltalán valaha...)
Dolgoznak rajta. : https://github.com/exo-explore/exo/pull/173
Dockerfile : https://github.com/exo-explore/exo/pull/173/files#diff-dd2c0eb6ea5cfc6c4bd4eac30934e2d5746747af48fef6da689e85b752f39557Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> alamit kell a kodoláshoz is érteni,
ááá ... Ezek az AI-k 8 éveseknek valók ..
https://x.com/rickyrobinett/status/1825581674870055189// megelőztek .. pár másodpercel .. de legalább ugyanarra gondoltunk.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1093
üzenetére
> A Copilot esetén egyből bukik a ne jusson ki a netre.
én úgy értelmeztem, hogy csak a login/jelszó miatt aggódik, ami a 2FA -al megoldható,
csak a védett tárhely a Microsoft tárhelye lesz.
"- AI szolgáltatás és egy védett tárhely a Neten ahol tárolom a "könyveket" és megengedem az AI-nak, hogy belelásson? Ha ez mi lesz a login/jelszó párossal? Hogy adom át, hogy ne jusson ki a Netre?"
persze ez feltételezi, hogy csak jogtiszta dokumentum lehet.de az év végén megjelenő Windows Copilot - + 50 TOPS NPU laptopok is valamilyen alternatívát adhatnak - pl. lokális indexeléssel,
persze bármilyen külső API hivással az adatok úgyis kijutnak az adatok felhőbe, és valamilyen enterprise előfizetés kell, hogy ne őrizze meg.És természetesen a github is tele van jópár igéretes megoldással,
amivel például egy saját hardveren - lokális LLM futtatásával dokumentumokat tudunk vektorosan indexelni - nyilt forrású megoldással.> Az előfizetés sem olcsó rá.
drága a tokenizáció ( ~ vektor indexelés).
és most még olcsóbb a bérlés mint a saját hardware, főleg akkor ha a kipróbálás a cél.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
> van egy könyvtáram
> és az AI látja a könyveim tartalmát is
> és én "bármit" kérdezhetek tőle a könyvek tartalmáról.A microsoft Copilot megoldásait érdemes alaposan megnézni.
"Copilot for Microsoft 365
Microsoft Copilot for Microsoft 365 combines the power of large language models (LLMs) with your organization’s data – all in the flow of work – to turn your words into one of the most powerful productivity tools on the planet.
It works alongside popular Microsoft 365 apps such as Word, Excel, PowerPoint, Outlook, Teams, and more. Copilot for Microsoft 365 provides real-time intelligent assistance, enabling users to enhance their creativity, productivity, and skills.
"
de léteznek vektor-adatbázis alapú megoldások is.[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
DarkByte
#1077
üzenetére
> tinybox ... Kíváncsi lennék az AMD-s modell
a saját tinygrad-os keret-rendszerük már elég jól működik AMD-n.
"tinygrad no longer crashes. We bypassed all the AMD userspace + 90% of their firmware. Can't remember last time I saw a crash in CI, it used to be 1 in 10 times."
du. 12:52 · 2024. szept. 10.
https://x.com/__tinygrad__/status/1833458443266757081Amúgy Hotz-ék javaslata ML hardverre:
""" https://x.com/__tinygrad__/status/1832974721199243359
All sub $3k dedicated HW is a scam. What ML hardware to buy with a given budget.
$30 - $300 = a phone
$300 - $3000 = a normal gaming PC
$3000 - $3M = tinybox(es)
$3M+ = supermicro
"""és ha valakinek van 2db Macbook-ja, akkor tesztelheti a Llama-3.1-405B -t
https://x.com/ac_crypto/status/1827281144405979192
És az exo elég igéretes: "Forget expensive NVIDIA GPUs, unify your existing devices into one powerful GPU: iPhone, iPad, Android, Mac, Linux, pretty much any device!"Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
consono
#1073
üzenetére
> mert itt az integrált Arc GPU végzi a munka nehezét,
ahogy láttam - nálam/ryzenAPI : a mostai BIOS beállítással 16GB VRAM a max.
és ilyen szempontból irigylem az Integrált Arc-os GPU-t, ahol a videó jóval többet mutatottViszont amit olvastam, hogy az LLM Inference ( ~ Chatgpt klón modellek futtatása)
nagy részben memória sávszél függő,
emiatt nem hiszem, hogy az Integrált GPU vagy az NPU csodát művelne.a Strix HALO -t (2025 ben várható)
abból is a 128GB egyesített memóriás verzió van a listámon
( ~ 270Gb/s memória sávszél)
és az ideális lehet közepes méretű LLM-ek futtatására,
és minden másra is.A másik alternativa egy Apple alapú gép
- M2 Ultra Mac-Studió :
192GB egyesített memória + 800Gb/s memória sávszélesség,
és ~ 3M Ft körül kezdődik az ára.
a kisebbik testvér egy 96GB ( ~400Gb/s ? ) M2 Max alapú Mac-stúdió már 1.5 MFt -ért elérhető.És ott van még a TinyBox klón építése, de >=96GB VRAM-ot összerakni nem olyan könnyű.
[ Szerkesztve ]
Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
consono
#1064
üzenetére
> Egy kis érdekesség: hogyan futtassunk 70b-s modellt egy mini PC-n, integrált GPU-val:
aranyos.
Nekem Minisforum UM790 -em van ( 7840HS procival + 32 GB RAM -al)
és linux alatt használom - a CPU inference lassú , tesztelésre jó, de nagy tömegű lekérdezésre sajnos nem.Sajnos az NPU-t még nem tudja kezelni a Linux kernel,
és nem is támogatott még az ollama és társai által.
( talán 1 év múlva )Mottó: "A verseny jó!"
-
S_x96x_S
addikt
válasz
5leteseN
#1069
üzenetére
> amiben három-VGA-s, 2011-3-as alaplapot adnak ...
> E5-2666v3 CPU-val
> (bőven elég lesz 5 évig az AI/MI-s VG-ak alá),
A CPU-nak: max 40 PCIe 3.0 sávja van. Vagyis modern GPU-t nem tudsz kihajtani vele.
és egy modern SSD-vel se tudod etetni a GPU-t.
Öt év ráadásul nagy idő.Mottó: "A verseny jó!"
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
- Politika
- Windows 10
- Xiaomi 14T Pro - teljes a család?
- Forza sorozat (Horizon/Motorsport)
- PlayStation 5
- Vodafone mobilszolgáltatások
- 20 milliárd kameraszenzornál jár a Sony
- Vodafone otthoni szolgáltatások (TV, internet, telefon)
- Parfüm topik
- Euro Truck Simulator 2 & American Truck Simulator 1 (esetleg 2 majd, ha lesz) :)
- További aktív témák...
- ÚJ aktiválatlan Független Apple iPhone 16 128GB ! 1Év nemzetközi APPLE GARANCiA
- SAMSUNG LC32G75TQSRXEN ODESSY G7 GAMER MONITOR ! AKCIÓ
- SAMSUNG (LS34C652UAUXEN ) WQHD 100HZ GAMER MONITOR ! AKCIÓ!
- Western Digital 8TB RED Plus - SATA3, 5640 Rpm, 256MB - Gari 2026.05.19. -ig - Eladó!
- SAMSUNG (LS34C500GAUXEN) 34 " GAMER WIDE MONITOR ! AKCIÓ!
Állásajánlatok
Cég: Axon Labs Kft.
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest