Teknoloji Meraklıları Haftalığı (Sayı 404): Bilmeniz Gereken AI Bellek Bilgileri
Burada her hafta paylaşmaya değer teknoloji içerikleri kaydedilir, Cuma günleri yayımlanır.
Bu dergi açık kaynak'tır, katkıda bulunmanız memnuniyetle karşılanır. Ayrıca 《Kimler İşe Alıyor》 hizmeti bulunmaktadır, programcı iş ilanları yayımlar. İşbirliği için e-posta ile iletişime geçin (yifeng.ruan@gmail.com).
Kapak Görseli
Şanghay'daki bir alışveriş merkezinde düzenlenen "SüngerBob" sergisi. (via)
Bilmeniz Gereken AI Bellek Bilgileri
Kendi evinizde AI modeli çalıştırmak için iki tür donanım seçebilirsiniz.
Birincisi bağımsız grafik kartıdır. Şu anda en üst düzey tüketici grafik kartı, 32GB VRAM ile gelen NVIDIA RTX 5090'dır ve fiyatı yaklaşık 30.000 Yuan civarındadır.
Diğeri ise anakart üzerinde yonga seti (CPU + anakart grafik birimi + anakart belleği) kullanan ev bilgisayarlarıdır. Örneğin AMD'nin Strix Halo yonga setini (spesifik model Ryzen AI Max+ 395) kullanan mini bilgisayarlar, 128GB dahili bellek ile gelir ve fiyatı yaklaşık 20.000 Yuan'dır.
Size soruyorum: Hangi donanım daha iyidir?
Çoğu kişi tereddüt etmeden bağımsız grafik kartını seçer, çünkü bağımsız grafik kartının işlem gücü anakart yonga setinden çok daha fazladır.
Bulduğum verilere göre, ikisinin tek duyarlıklı 32-bit kayan nokta işlem gücü (FP32) şöyledir:
- Bağımsız grafik kartı (RTX 5090): 104.8 TFLOPS
- Anakart yonga seti (AMD Ryzen AI Max+ 395): 14.8 TFLOPS
Görüldüğü gibi, bağımsız grafik kartının işlem gücü, anakart yonga setinin tam 7 katıdır. Daha küçük bitli kayan nokta hesaplamalarında (FP16 veya FP4 gibi) fark daha da büyür.
Ancak size doğru cevabın aslında "belirsiz" olduğunu söylüyorum. Çoğu durumda, anakart yonga setine sahip mini PC, yerel AI modelleri için daha iyi bir çözümdür.
Bunun nedeni basit: AI modellerinin çoğu (parametre ölçeği biraz büyükse) RTX 5090 ile çalıştırılamaz.
Sorun, 32GB VRAM'in çok küçük olmasıdır. 70B parametreli bir modelde, her parametre 4-bit hassasiyet kullanılırsa, tüm parametre ağırlıklarını belleğe yüklemek yaklaşık 32.6GB bellek gerektirir. Bu, RTX 5090'ın VRAM boyutunu aşar ve model çalıştırılamaz.
Buna karşılık, AMD mini bilgisayarının anakart belleği 128GB'tır ve modeli yüklemekte hiçbir zorluk çekmez. Anakart yonga setinin belleği, grafik kartı ve CPU tarafından ortak kullanılır, bu nedenle "birleşik bellek" olarak adlandırılır. Bunun avantajı, mümkün olduğunca fazla belleğin tek bir işlemciye ayrılabilmesidir, bu sayede büyük bellek tüketimi olan AI modelleri işlenebilir.
Apple'ın M serisi çipler uzun süredir bu "birleşik bellek" mimarisini kullanıyordu. Diğer üreticiler de şimdi takip ediyor: AMD Strix Halo, NVIDIA DGX Spark, Intel Core Ultra ve Qualcomm Snapdragon X de bu mimariyi kullanıyor. Büyük bellek kapasitesinin yanı sıra, fiyatı da bağımsız grafik kartından daha düşüktür.
Buraya kadar okuduktan sonra şunu sorabilirsiniz: Anakart yonga setinin bu avantajları varsa, bağımsız grafik kartı satın almaya gerek var mı?
Cevap şu: Belleğin iki göstergesi vardır; biri kapasite, diğeri ise "bellek bant genişliği"dir. Anakart yonga setinin zayıf noktası tam da bellek bant genişliğidir.
"Bellek bant genişliği", belleğin işlemciye veri aktarım hızını ifade eder. RTX 5090'ın VRAM'i az olmasına rağmen bellek bant genişliği çok yüksektir: 1792GB/s. AMD'nin bellek bant genişliği ise sadece 256GB/s'dir.
AI modeli her bir Token ürettiğinde, işlemcinin tüm modeli bellekten okuması ve hesaplama yapması gerekir. Bellek bant genişliği 256GB/s ise, 40GB boyutundaki bir model için işlemci saniyede sadece 6 kez okuyabilir (256/40). Yani saniyede sadece 6 Token üretebilir (bu teorik değerdir, pratikte daha düşük olabilir). Bu kadar yavaş bir hıza kim dayanabilir?
En yüksek bellek bant genişliğine sahip Apple M3 Ultra çipi bile 819GB/s'dir ve saniyede 20 Token üretebilir, bu da RTX 5090'ın 1792GB/s'sinin çok gerisindedir.
Bu nedenle, bellek boyutu ve bellek bant genişliği, AI modelleri için iki darboğazdır. Bu yüzden yüksek bant genişlikli bellek (HBM) fiyatları fırlamıştır.
Anakart yonga setli bir mini bilgisayar seçerseniz, çok yavaş Token üretim hızına katlanmaya hazır olmalısınız.
Neyse ki, hesaplama miktarını azaltmak için "MoE (Mixture of Experts)" mimarisi ortaya çıktı. Token hesaplanırken tüm parametrelerin okunması gerekmez, sadece bir kısmı etkinleştirilir.
Örneğin Qwen3-30B-A3B modeli, 30B parametre içerir ancak her seferinde sadece 3B parametre etkinleştirilir. Bu nedenle her Token için okunması gereken veri miktarı 20GB değil, 2GB'dır. AMD mini bilgisayarda teorik olarak saniyede 100'den fazla Token üretilebilir, bu oldukça iyi bir hızdır.
Bu nedenle, "birleşik bellek" modundaki bir mini bilgisayar kullanıyorsanız, MoE modelini tercih edin.
Ayrıca, mini bilgisayarın bellek ile ilgisi olmayan büyük bir dezavantajı daha vardır: düşük işlem gücü.
Bildiğimiz gibi, model önce kullanıcının prompt'unu işlemeli, ardından Token üretmeye başlamalıdır. Mini bilgisayarın işlem gücü düşük olduğu için prompt işleme de yavaştır.
Gerçek ölçümlere göre, AMD mini bilgisayar 70B modeli kullanırken prompt işleme hızı saniyede 95 Token'dır. Yani kullanıcı 4000 tokenlık bir belge gönderdiğinde, ilk Token'ı üretmeden önce yaklaşık 40 saniye işlem süresi gerekir.
Tahmin edebileceğiniz gibi, kullanıcı içerik penceresine daha fazla içerik ekledikçe, sadece prompt işleme birkaç dakika hatta onlarca dakika sürebilir.
Kısacası, şu anda yerel bilgisayarda büyük modeller çalıştırmak istiyorsanız, ister bağımsız grafik kartı ister anakart yonga seti olsun, her ikisinin de eksikleri vardır. En fazla orta ölçekli MoE modelleri çalıştırabilirsiniz ve prompt çok uzun olmamalıdır.
Boolean Değişkenlere Nasıl İsim Verilir
Efsaneye göre, programlamanın iki büyük sorunu vardır: biri önbellek geçersiz kılma, diğeri ise değişken adlandırmadır.
Bunlardan boolean değişkenlere isim vermek özellikle zordur. Bu değişkenin "doğru" (true) veya "yanlış" (false) boolean değerini temsil ettiğini nasıl uygun bir şekilde ifade edebiliriz?
Yakın zamanda 《Boolean Değişken Adlandırma Sanatı》 adlı bir makale okudum. Makale, dört ön ek kullanarak boolean değişkenlere doğru isim verilebileceğini öne sürüyor, bence çok aydınlatıcıydı.
(1) is-: Bir şeyin durumunu tanımlar, ardından sıfat gelir, örneğin isActive, isDeleted, isEmpty.
(2) has-: Bir şeyin sahipliğini veya içerme ilişkisini tanımlar, ardından isim gelir, örneğin hasAccess, hasChildren, hasValidationErrors.
(3) can-: Bir şeyin yeteneğini veya iznini tanımlar, örneğin canEdit, canDelete, canRetry.
(4) should-: Bir şeyin niyetini veya mantığını tanımlar, örneğin shouldRetry, shouldCacheResponse.
Bu dört ön ekin dışında, isimlendirme için başka bir kural daha vardır: Boolean değişken adlarında asla olumsuz kelime kullanmayın.
Örneğin, isDisabled kullanmayın, bunun yerine isEnabled = false kullanın.
Teknoloji Haberleri
OpenAI şirketi kısa süre önce AI ajanlarını kullanmayı kolaylaştıran kullanışlı bir klavye çıkardı.
Klavyenin alt kısmında onaylama, reddetme, sesli giriş gibi işlemler için bir dizi kısayol tuşu bulunuyor. Üst kısımda ise AI ajanının mevcut durumunu (düşünme, çalışma, bekleme, tamamlama) gösteren bir dizi RGB ışığı var.
Bu ürün 230 dolar fiyatla satılıyor ve pek de yenilikçi görünmüyor, hatta normal bir klavyeden daha kullanışlı olduğu da şüpheli.
Ünlü tasarımcı Jony Ive, Apple'dan ayrıldıktan sonra şimdi OpenAI donanım tasarımından sorumlu. Herkes onun göz alıcı bir akıllı donanım çıkaracağını umuyordu, ancak ilk ortaya çıkan bu küçük klavye gerçekten hayal kırıklığı yarattı.
Tianwen-2 sondası Mayıs 2025'te fırlatıldı ve yaklaşık 400 günlük uçuşun ardından nihayet hedefine - asteroit 2016HO3'e - ulaştı ve fotoğraflar gönderdi.
Bu asteroit yaklaşık 20 metre uzunluğunda, yarım standart basketbol sahasından biraz daha büyük, düzensiz bir şekle sahip ve sivri köşeleri var. Bu da onun erimiş lavın soğumasıyla değil, bir çarpışma sonucu oluşan bir parça olduğunu gösteriyor.
Tianwen-2, fotoğrafı çekerken bu asteroitten 20 kilometre uzaktaydı. Bir sonraki adım, planlandığı gibi bu asteroidin kaya örneklerini toplamak ve Dünya'ya geri getirmek.
Bu işin zorluğu, Tianwen-2'nin kanat açıklığının 15 metre olması ve asteroidden sadece biraz daha küçük olması. Örnek toplama sırasında asteroidin yörüngesini değiştirme riski var.
Hollandalı bir tasarımcı, balkona veya çatıya monte edilebilen ev tipi bir rüzgar örücü makinesi icat etti.
Rüzgar, kanatları döndürür ve dairesel bir örgü tablasında ipliği atkıya dönüştürür.
Rüzgar kuvvetli olduğunda örgü hızı çok yüksektir. Tamamen mekanik bir cihaz gibi görünüyor, rüzgar enerjisi kullanmıyor.
Tasarımcının amacı, insanlara şehir binalarında da rüzgar enerjisinden yararlanılabileceğini göstermek.
Makaleler
1、Makine Öğrenimi Doktora İş Arama Rehberi (İngilizce)
Yazar, ABD'de makine öğrenimi doktorası mezunu olup DeepMind'da işe girmiştir. Bu makale, iş arama sürecinin gözden geçirilmesi ve özetlenmesidir.
Benzer bir makale daha var.
2、DNS ile ACME Doğrulaması Kullanma (İngilizce)
Ücretsiz HTTPS sertifikaları ACME protokolü ile verilir. Protokol, alan adı sahipliğinin doğrulanmasını gerektirir. Bir doğrulama yöntemi DNS kullanmaktır. Bu makale bunun nasıl işlediğini anlatıyor.
3、Go Dilinin Çıkmazı (İngilizce)
Bu makale, Go dilinin gariplikleri olduğunu ve geleceğinin parlak olmadığını savunuyor. "Yavaş diller daha hızlı, zor diller daha kolay hale gelirken, Go'nun işgal ettiği orta alan artık var olmayacak."
4、JavaScript Karma Algoritma Hız Karşılaştırması (İngilizce)
MD5 ve SHA256 yaygın karma algoritmalardır. Bu makale, JavaScript dilinde bu iki karma algoritmasından hangisinin daha hızlı olduğunu araştırıyor. Cevap, düşündüğünüzden farklı olabilir.
5、Terminal Kontrol Karakterleri Listesi (İngilizce)
Yazar, komut satırında kullanılabilecek kontrol karakteri kısayollarını (örneğin Ctrl-C mevcut komutu sonlandırır) listeleyen bir şema oluşturdu (yukarıdaki). Toplam 33 tane.
6、Richard Feynman Startup'ıma Katılıyor (İngilzce)
Yazar, ünlü fizikçi Richard Feynman'ın süper bilgisayar geliştirmek için start up'ına katılmasını anımsıyor. Ilginç içerikler var.
Araçlar
macOS'in üst menü çubuğundaa bir uyglama. Bilgisayara takılı USB-C kabelninn özelliklerini gösrır.
2、amber
Bash sözdizimini basitleştiren yeni bir dil. Komut dosyaları Bash'e derlenebilir.
3、Ant
Hafif bir JS/TS dil çalışma zamanı. Sıfırdan yazılmış gibi görünüyor, ikili dosya sadece 8MB.
4、Ekran Çevirisi (Screen Translator)
Açık kaynak Android uygulaması, gerçek zamanlı ekran çevirisi aracı. (@ciddwd tarafından gönderildi)
5、TurboOCR
GPU kullanarak hızlı metin tanıma (OCR) acı. (@nataell5 tarafından gönderildi)
Ayıca tamamen yerel bir metin tanıma kütüphanesi ligh-ocr var, JS/C++ API’sı sağlar. (@eric8810 tarafından gönderildi)
6、Visprex
Bu site, CSV veri dosyası yükleyip otomatik olarak göselsel grakler oluşturur.
7、Loro
Açık kaynaklı bir CRDT senkronizasyon algoritması kütüphanesi, birden fazla kullanıcının durumu gerçek zamanlı olarak senkronize etmesi içn.
Kendi kendine barındırılan, web tabanlı yaygın dosya formatı dönüştürme servisi. Ayıca görsel OCR, sesden metine destekler.
Yapay Zeka ile Ilgili
Hugging Face'in resmi olmayan açık kaynaklı çapraz platform istemsici. Modele, veri setleri vb. göz atmak ve indimek içn. (@fzlzjerry tarafından gönderildi)
Pi agent eklentisi, düşük rikli izin onaylarını otomatik olarak onaylar. Yüksek rikli olanlar yine de kullanıcı onayına sunulur. (@Europa2061 tarafından gönderildi)
Bu araç, belirlenmiş web sitesinin içeriğini bir JSON dosyassına çeker, sonra ChatGPT'ye yükler, böylece o site için bir sohbet robotu oluşturup siteyle sohbet etmenizi sağlar.
4、Tokenwiz
OpenAI'ın girdi metnini tokenlere ayırma (tokenization) işlemini taklit eden açık kaynaklı bir uygulama.
Kaynaklar
Dark web Tor sitelerine geçit. Normal tarayıcıların Onion URL'lerine erişmesini sağlar.
Oldukça ilginç bir site. Bir Amerikan üniversite grubu 2001'de bir albüm kaydettikten sonra dağıldı.
Şimdi, AI'ı kullanarak o kayıtları 2026 tarzına dönüştürdüler. Site, her iki kaydı aynı anda yayınlayarak karşılaştırma yapmamızı sağlıyor.
Müzik gerçekten büyüleyici. 20 yıldan eski müzikte hiçbir zaman izi yok; gitar sesleri sanki dün gibi.
3、Labirent Algoritmaları (Maze Algorithms)
Bu site, çeşitli labirent oluşturma algoritmalarını toplar.
Görseller
Döner kavşaklar genellikle yoğun kavşaklarda bulunur, ancak Atlantik Okyanusu'ndaki Faroe Adaları'nda dünyada benzeri olmayan bir deniz altı döner kavşak var.
Yukarıdaki, Faroe Adaları deniz altı tünelinin şemasıdır. Sarı daire içinde tünel ikiye ayrılıp iki farklı adaya gider. Burada bir deniz altı döner kavşak inşa edildi.
Sürücülerin dikkatini çekmek için hükümet bir sanatçıya görev verip bunu bir denizanası şeklinde boyattı.
Seçme Yazı
1、AI'nın zamandan tasarruf ettirip iş yükünü azaltması beklenirken
İnsanlar AI'nın zamandan tasarruf ettireceğini ve iş yükünü azaltacağını düşünüyordu, ancak Kaliforniya Üniversitesi tarafından yapılan bir araştırma tam tersini ortaya koydu. AI iş yükünü artırdı, çalışma yoğunluğunu yükseltti ve insanlarda mesleki tükenmişliğe (burnout) yol açtı.
AI neden çalışmayı azaltmadı, aksine artırdı? Bunun birkaç nedeni olabilir.
(1) İş sorumluluklarının kapsamının genişlemesi. Ürün yöneticileri artık kod yazmaya başladı, araştırmacılar sunucu bakımı yapmaya başladı; insanların iş sorumlulukları artık net değil, bulanıklaştı. Çalışanlar sorumluluk alanlarının dışındaki işleri üstlenmeye başladı ve AI bu dönüşümü mümkün kıldı.
Bu bir zincirleme reaksiyon yarattı. Mühendisler aniden, programcı olmayan meslektaşlarının "vibe coding" yaptığı kodları incelemek, düzeltmek ve onlara rehberlik etmek zorunda kaldıklarını fark etti.
Kendi uzmanlık alanı dışında iş otomasyonu yapan kişiler aslında diğerlerine daha fazla iş yükü getiriyor.
(2) İş/yaşam sınırlarının bulanıklaşması. AI'nın sohbet tabanlı arayüzü işi kolay ve rahat hale getirdi; artık boş bir sayfayla karşı karşıya kalmanın çaresizliği ya da göz korkutucu bir öğrenme eğrisi yok.
Bu nedenle çalışanlar, masalarından ayrılmadan önce (örneğin tuvalete gitmeden) "hızlı ipuçları" göndermeye başladılar, böylece AI onlar yokken bazı küçük işleri halletsin. Birçok kişi dinlenme saatlerinde bile AI'nın çalışması için promptlar girdi. Çalışma dışı saatlerde AI ile yapılan bu işler birikerek dinlenme süresini azalttı ve çalışma saatlerini önemli ölçüde artırdı.
(3) Çoklu görev işlemenin artması. AI, görevlerin arka planda işlenebileceği yanılsamasını verdiği için çalışanlardan aynı anda birden fazla iş akışını yönetmeleri istendi.
Bu görünüşte üretkenliği artırabilir, ancak aslında genellikle sürekli dikkat değiştirme ve daha uzun görev listelerine dönüşür.
(4) Yukarıdaki faktörlerin kendi kendini güçlendiren döngüsü. AI işleri kolaylaştırdı, bu yüzden çalışanlar daha fazla şey yaptı ve bu da işleri basitleştirmek için AI'ya daha fazla bağımlı olmaya yol açtı. Bu döngü tekrarlanarak sonunda tükenmişliğe neden oldu.
Araştırmacılar şunı belirttiler: "Bazı katılımcılar, iş verimlerinin arttığını hissetseler de, daha az yorgun hissetmediklerini, aksine eskisinden daha meşgul olduklarını ifade etti."
(5) Çözüm yöntemleri. Araştırmacılar, AI'nın neden olduğu mesleki tükenmişliği çözmek için şirketlerin çalışanların AI'yı nasıl kullanacaklarını düzenleyen bilinçli önlemler belirlemesi gerektiğini önerdi.
- Önemli kararlar vermeden önce, elinizdeki işi durdurun.
- İş sırasını, bağlam değiştirmeyi azaltacak şekilde düzenleyin.
- Gerçek kişilerarası iletişim için zaman ayırın.
Sözler
1、
Eğer sen güneşsen, ben kara deliğim.
2、
AI model dünyası, içinde beş kurumsal merkez bölgesi ve bir Çin mahallesi olan bir şehre benziyor.
-- 《Tekillik Gittikçe Yaklaşıyor》
3、
AI tamamen bir kara kutudur; bu, sözde "AI mühendisliği" veya "prompt mühendisliği"nin tamamen bir aldatmaca olduğu anlamına gelir. Kara kutuyu bir şekilde akıllıca manipüle edebileceğini iddia eden herkes yalan söylüyor.
AI'nın çalışma mantığını araştıramazsınız; o sadece bir makine tarafından uygulanan "güven bana kardeşim" durumudur.
4、
Bir ekmek makinem var, neredeyse her şeyi hallediyor: yoğurma, mayalama, pişirme. Malzemeleri içine döküyorum, bir düğmeye basıyorum ve üç saat sonra ekmek hazır.
Hmm, üç yıl içinde bu makineyi belki sadece iki kez kullanmışımdır. Aksine, her hafta süpermarketten bir paket dilimlenmiş ekmek alıyorum.
Bu, AI'nın kolayca kod üretebilmesine rağmen SaaS şirketlerinin neden hâlâ gerilemekten uzak olduğunu açıklıyor.
-- 《Neden Kolaylık Her Zaman Kazanır ve SaaS Neden Ölmez》
Geçmiş Yıllardan
Stabilcoinlerin Oyun Teorisi (#357)
Product Hunt'a Fazla Önem Vermeyin (#307)
Jensen Huang'ın Nvidia Hikayesi (#257)
Otomotiv Sektörünün Zirvesi Geçmiş Olabilir (#207)
(Son)