Teknoloji Meraklıları Haftalığı (Sayı 408): Bilmeniz Gereken AI Önbellek Bilgisi
Burada her hafta paylaşmaya değer teknoloji içerikleri kaydedilir, Cuma günleri yayınlanır.
Bu dergi açık kaynaklıdır, katkıda bulunabilirsiniz. Ayrıca 《Kimler İşe Alıyor》 hizmeti mevcuttur, programcı iş ilanları yayınlar. İşbirliği için e-posta ile iletişime geçin (yifeng.ruan@gmail.com).
Kapak Görseli
Zhejiang, Taizhou'daki Jiaojiang Nehir Kıyısı Kamusal Alanı ekolojik yeşil koridoru, su yüzeyinden yayılan dalgaların kıyıya vurup tepecikler oluşturmasını simgeliyor. (via)
Bilmeniz Gereken AI Önbellek Bilgisi
Büyük modellerin fiyatı, esas olarak Token giriş fiyatı ve çıkış fiyatıdır; bunu anlamak kolay.
Ancak bir de "giriş Token'ı önbellek isabet fiyatı" var, bu nedir?
Yukarıdaki görsel DeepSeek V4 Flash modelinin fiyatlandırmasıdır. Önbellek isabetli giriş fiyatının yalnızca 2 fen olduğu, isabetsiz giriş fiyatının tam ellide biri olduğu görülüyor!
Neden bu kadar büyük fark var? Önbelleği tam olarak kullanıp maliyeti düşürebilir miyiz?
Bu konuları ben de eskiden pek bilmiyordum, son zamanlarda bir makale okudum ve sonunda kafamda netleşti. Bugün paylaşacağım.
（1）Model girişinin ücretlendirme nedeni
Bilindiği gibi, büyük model kullanırken önce bir prompt (istem) olması gerekir.
Büyük model, prompt'u Token'lara ayırır, Token'ları vektör değerlerine dönüştürür ve ardından tüm Token'lar arasındaki dikkat (attention) ilişkisini hesaplar.
Bu adım çok fazla hesaplama gücü tüketir, bu nedenle model şirketleri giriş Token'ları için ücret alır.Prompt'unuz ne kadar çoksa, giriş Token ücreti de o kadar yüksek olur.
（2）Giriş önbelleğinin işlevi
Çok turlu diyaloglar ve uzun süreli görevlerde, her turda önceki adımların girdi-çıktı sonuçlarının modele gönderilmesi gerekir.
Düşünebiliriz ki, her turda eklenen bu prompt'lar değişmez ve daha önce işlenmiştir. Modelin bu "önekleri" her seferinde tekrar hesaplamasına hiç gerek yoktur; önceki hesaplama sonuçlarını önbelleğe alıp, bir dahaki sefere kullanmak yeterlidir.
Önbelleğin gerekli olmasının nedeni budur; gereksiz hesaplama gücü tüketimini büyük ölçüde azaltır ve model işlemeyi hızlandırır.
Bu aynı zamanda ucuz olmasının da nedenidir, çünkü önbellek isabet ettiğinde neredeyse hiç hesaplama gücü harcanmaz; alınan ücret aslında depolama alanı ücretidir.
（3）Önbelleğin süresi
Önbelleğin bir zaman sınırı vardır; uzun süre saklamak anlamsızdır. Bir süre bu önbellekler kullanılmazsa, sunucu önbelleği siler.
Önceki referans makaleye göre yapılan testlerde, şirketlerin önbellek saklama süreleri farklıdır.
- Anthropic: 5 dakika
- DeepSeek: 10 dakika
- OpenAI: 10 dakika ~ 30 dakika arasında kademeli olarak geçersiz olur
- Google: 1 saat içinde kademeli olarak geçersiz olur
DeepSeek örneğini ele alalım; 10 dakika içinde önbellek geçerlidir, isabette yalnızca 2 fen alınır. Diyalog aralığı çok uzun olursa, bir sonraki giriş ile önceki arasında 10 dakikayı aşarsa, önbellek silinir; model önceki turun prompt'unu alınca yeniden hesaplamak zorunda kalır ve ücret 1 yuan olur.
（4）Önbelleği geçerli tutmak
Önbellek isabeti ile isabetsizliği arasında büyük fiyat farkı olduğundan, kullanıcıların AI Agent araçları genellikle önbellek saklama süresini mümkün olduğunca uzatmanın yollarını arar.
Kullanıcı uzun süre işlem yapmadığında ve çıkış yapmadığında, çoğu AI Agent her 30 saniyede bir sunucuya otomatik olarak bir istek gönderir ve önbelleğin aktif kalmasını sağlar.
Bazı modellerde özel önbellek aktivasyon arayüzü vardır, bazılarında yoktur. Bu durumda kaba bir yöntem kullanılabilir; Agent, önceki prompt'u otomatik olarak tekrar gönderir ve önbelleğin aktif kalmasını sağlar.
Ancak aktivasyon istekleri de ücret doğurur. Her 30 saniyede bir gönderilirse, 10 dakika giriş yapılmazsa 20 aktivasyon isteği gönderilmiş olur. Zamanla maliyet az değildir.
Daha önce söylediğimiz gibi, şu anda çeşitli modellerin gerçek önbellek süresi en az 5 dakikadır; bu nedenle 30 saniyede bir aktivasyon isteği çok sık görünüyor. Bu yüzden en son öneri, her 4 dakikada bir önbelleği otomatik olarak aktive etmeye değiştirilebileceğidir.
Teknoloji Haberleri
1、Bluetooth tanımalı trafik kamerası
Bir Amerikan girişim şirketi, yalnızca plaka tanıma değil aynı zamanda Bluetooth cihazlarını da tanıyabilen bir trafik kamerası çıkardı.
Karayolundaki trafik kameraları genellikle yalnızca plakayı çekebilir, aracı kimin sürdüğünü tanıyamaz.
Bu yeni kamera bu sorunu çözebiliyor. Ayrıca Bluetooth sinyallerini yakalayarak Bluetooth cihazının MAC adresini plakayla ilişkilendirebiliyor, böylece araçta kimin olduğunu tahmin etmeye yardımcı oluyor.
Ayrıca Bluetooth dışında, anahtar kartlarındaki ve evcil hayvan çiplerindeki RFID etiketlerini ve araç içi WIFI SSID'sini de yakalayabiliyor, böylece tahminin güvenilirliğini daha da artırıyor.
2、Ses dalgasıyla yangın söndürme
Yangın söndürmek için su dışında ses dalgaları da kullanılabilir.
Fizik kanıtlamıştır ki, güçlü düşük frekanslı ses dalgaları (30Hz ~ 60Hz) yangın söndürmede kullanılabilir; prensip, ses dalgalarının oksijen akışını engelleyebilmesi ve ısı yayılımını hızlandırmasıdır.
Bir Amerikan girişim şirketi son zamanlarda bir ses dalgası yangın söndürme cihazı üretti ve piyasaya sürmeye hazırlanıyor. Mutfak yangın söndürme senaryosunu başarıyla gösterdiler.
Görüldüğü gibi hoparlör ocağa doğru güçlü düşük frekanslı ses dalgaları yayınca yangın sönüyor. Şirket, bu cihazın yağmurlama sistemlerinin yerini almasını umuyor; bundan sonra yangın çıktığında tavandaki hoparlörler sadece ses çalacak.
Ancak, birkaç dezavantajı var ve yaygınlaşması zor olabilir. Öncelikle, hoparlörün hacmi oldukça büyük, aksi halde ses dalgası yoğunluğu yetersiz kalır; ayrıca ses dalgaları hızla zayıfladığı için ateş kaynağına oldukça yakın olması gerekir. Bu da yalnızca küçük ve dağınık yangınlar için kullanılabileceği, geniş alana yayılmış büyük yangınlar için kullanılamayacağı anlamına gelir.
Bir Amerikan uçak üreticisi, en büyük özelliği lombozu olmayan yeni tip bir özel jet çıkardı (aşağıdaki görsel).
Kabinin içi tamamen kapalı ve penceresizdir.
Bunun yerine, birbirine bağlı LCD ekranlar, uçağın dışındaki yüksek çözünürlüklü kameraların çektiği görüntüleri oynatıyor.
Şirket, pencerelerin kaldırılmasının uçağı daha hafif ve dış yüzeyini daha pürüzsüz yaparak hava direncini ve yakıt tüketimini azaltacağını söylüyor. Üstelik yolcular başlarını uzatmak zorunda kalmadan koltuğundan tüm yüksek irtifayı görebilir, dar bir pencere görüşü yerine uçak pilotunun görüş açısına sahip olabilirler.
Bilim insanları algoritmalar kullanarak dünya üzerindeki en uzun görüş hattını belirledi; yani bir noktadan başka bir noktanın görülebildiği en uzun mesafe.
Bu, Kırgızistan'daki (Çin sınırına yakın) Pik Dankova Zirvesi'nden güneye bakıldığında, Çin'in Kunlun Dağları'nın derinliklerinin net biçimde görülebildiği 530 kilometrelik mesafedir.
Genel olarak, yükseklik ne kadar yüksek ve hava ne kadar berraksa, görüş mesafesi o kadar uzun olur.
Pik Dankova Zirvesi yaklaşık 6000 metre yüksekliktedir; güneyi tam olarak alçak Qaidam Havzası çölüdür ve daha ötede yine 6000 metrenin üzerinde Kunlun Dağları vardır. Bu nedenle, birbirinden yüzlerce kilometre uzaklıktaki bu iki yüksek dağ birbirini görebilir.
Makaleler
1、Yaygın görev yürütme araçları (İngilizce)
Komut satırında görev yürütmek için farklı yöntemler seçilebilir; örneğin kendi Bash script'inizi yazmak veya make, just, mise gibi görev yürütme araçlarını kullanmak.
2、Script ile dosyaları GitHub'a nasıl yüklenir (İngilizce)
GitHub, kullanıcıların issue ve pull request'lere dosya yüklemesine izin verir; bu makale script içinde nasıl yükleme yapılacağını öğretiyor.
3、HTML yerine Canvas (İngilizce)
Birçok karmaşık web sayfası HTML kullanmaz, sayfayı Canvas ile sunar; kullanıcının gördüğü aslında bir görseldir. Bu makale Canvas sayfalarının avantajlarını ve dezavantajlarını ve ne zaman uygun olduğunu tartışıyor.
4、Benim sunucum bir telefon (İngilizce)
Yazar, Android telefonunu nasıl bir Linux sunucusu olarak kullandığını anlatıyor (Termux kullanarak).
"(Android telefonumda) sekiz ARM çekirdeği, 8GB RAM, 128GB flash depolama, WiFi 6, 5G modem ve dahili pil var; tüm bunlar, performansı gereğinden fazla olan ve çekmecede atıl duran bir SoC çipinde toplanmış. Ve parasını zaten ödedim. Tozunu aldıktan ve biraz kurcaladıktan sonra bu telefonu sunucuya dönüştürmeye karar verdim."
5、Asansör algoritması (İngilizce)
Bu makale asansör algoritmasını tanıtıyor; oldukça basit yazılmış, kod örneği yok ama animasyonlar var ve bu sorunun karmaşıklığının nerede olduğunu açıklıyor (bekleme süresini nasıl kısaltırsınız).
Araçlar
Docker'ın resmi olarak yayınladığı sandbox aracı. Docker konteynerlerini sandbox olarak kullanır ve AI Agent'lerin alt sistemden izole bir şekilde içeride çalışmasını sağlar.
Kendi sunucunuzda barındırabileceğiniz bir SSL sertifika yönetim sistemi. Sertifikaları otomatik olarak alabilir ve birden çok bulut hizmet sağlayıcısını destekler.
Bu araç, Cron görevlerini grafiksel bir arayüzle yönetmenizi sağlar.
Linux komut satırı için bir program. Silinen dosyaları ileride geri getirmek üzere saklayan bir çöp kutusu işlevi sunar. Tanıtım yazısına bakabilirsiniz.
Yerel bilgisayara kurulan bir uzak sunucu yönetim paneli. Tüm işlemler SSH ile yapılır; sunucuya herhangi bir şey kurulması gerekmez. (@gna1280072 gönderisi)
Markdown metinlerini paylaşım kartlarına dönüştürür. 16 yerleşik temayla birlikte gelir; otomatik sayfalama ve mizanpaj yapar, tüm seti tek seferde görsel veya PDF olarak dışa aktarabilir. (@pangxiaobin gönderisi)
2026 yılı 12 Ağustos'taki tam güneş tutulmasını harita üzerinde simüle eder. Belirli bir konumda tutulmanın ne zaman başladığını, doruğa ulaştığını ve sona erdiğini, ayrıca gökyüzünün nasıl görüneceğini gösterir. (@DophinL gönderisi)
Hafif ve platformlar arası bir veritabanı yönetim aracı. 79'dan fazla veritabanını destekler ve AI ile MCP'ye bağlanabilir. (@t8y2 gönderisi)
Yapay Zeka ile İlgili
Cloudflare bu hafta dahili bir AI aracını açık kaynak olarak yayınladı. Adında "OS" geçse de aslında tarayıcıda kullanılıyor.
Kurum içi bir AI portalı olan araç; çalışanlara AI ajanları, dahili uygulamalar, bilgi yönetimi ve otomasyon süreçleri dahil olmak üzere birleşik AI hizmetleri sunmak için tasarlanmış.
Çevrimiçi metinden lehçe sesi üreten araç. Şu anda 16 lehçe ve 63 ses tınısı destekliyor. (@ldbmcs gönderisi)
Bir VS Code eklentisi. AI sohbet kutusunu bir Markdown dosyasına dönüştürür; kullanıcının girdileri ve AI'ın çıktıları otomatik olarak bu dosyada görünür.
Bu site, doğal dil kullanarak diğer web sitelerinin verilerini çekmenizi ve API çıktısına dönüştürmenizi sağlar. Ücretsiz kullanım hakkı dakikada 5 istektir.
Kaynaklar
60 tür böceğin 3D teşhis rehberi. Döndürülebilir, yakınlaştırılabilir ve etiket noktalarına tıklanabilir. Böceklerin vücut yapısını, yaşam döngüsünü ve ekolojik rollerini tanıtır. (@xr843 gönderisi)
Bu seri; diyagramlar ve sezgisel açıklamalarla dağıtık sistemlerin arkasındaki temel düşünceleri derinlemesine inceliyor. (@lichuang gönderisi)
- Islık Çalma Alıştırma Aracı (HowToWhistle)
Islık çalma pratiği için çevrimiçi bir araç. Üflediğiniz perdeyi gerçek zamanlı algılar, mevcut notayı ve hedef sese olan farkı gösterir. (@0647-cyber gönderisi)
Görseller
Amerikalı bir koleksiyoner yalnızca ataş topluyor. Bu parçalar bir araya geldiğinde ortaya sanatsal bir görünüm de çıkıyor.
Birçok şey süslü olmadığında, süslü olduğundan daha güzeldir.
Greko-Romen heykeller bugün çok zarif görünüyor; ancak ilk yapıldıklarında hepsi boyanmıştı ve oldukça şatafatlı görünüyorlardı.
Yukarıdaki görsel, Roma İmparatoru Augustus'un heykeli; ilk yapıldığında boyalıydı.
Seçme Yazı
- Hollanda ve Çin (İngilizce)
Ben Hollandalıyım ve Çin'de sekiz yıl yaşadım. O günlerde taksiciler ve iş arkadaşlarım bana hep "Hollanda mı Çin mi daha iyi?" diye sorardı.
Şimdi Hollanda'ya yerleştim; ama bu kez de bana "Çin'deki hayatı özlüyor musun?" diye soruyorlar.
Bu iki soruyu yanıtlamak da kolay değil. Bunlar birbirinden çok farklı iki yaşam; karşılaştırması çok zor.
Şanghay'da yaşarken Hollanda'nın eski teknolojisini küçümserdim — banka kartları, devletin kâğıt mektupları, vasat altyapı. Hollanda'ya döndükten sonra ise Çin'in lüks elektrikli otomobillerini ve pratik batarya değiştirme özelliğini gerçekten özledim. Ama Hollanda'nın bisiklet altyapısı muhteşem; güneşli günlerde bisiklete binmek ise tarifsiz bir keyif.
Çoğu Hollandalı Şanghay halkından daha varlıklı; ama evlerinde klima yok. Daha küçük, daha eski ve daha az donanımlı arabalar kullanıyorlar. Toplu taşıma ise kıyaslandığında berbat durumda. Telefonlar daha küçük, çözünürlüğü daha düşük ve daha yavaş — televizyonlar da öyle. Dükkânlar pazar günleri kapalı; insanlar hâlâ nakit veya banka kartıyla ödeme yapıyor.
Bir keresinde Hollanda bankamı aramak istemiştim. Web sitesinde telefon numarasını bulmak için çok uğraştım, sonra da telefonda 15 dakika sıra bekleyip 10 saniyede çözülebilecek bir soru sordum. Oysa Çin'de banka uygulamasındaki sohbet özelliğiyle anında müşteri hizmetlerine ulaşabiliyorsunuz.
Hollanda'da umumi tuvaletler de azdır; çünkü bakım maliyeti çok yüksek ve hükümet bu masrafa girmek istemiyor. Özel bakıcı veya temizlikçi de çok daha az; fiyatları son derece pahalı. Bu yüzden yeniden tam zamanlı ev yemeklerine döndük. Dışarıda yemek yemek pahalı, paket servis seçenekleri az ve teslimat çok yavaş.
Buna karşılık Hollandalıların boş zamanı daha fazla ve evleri daha büyük; genellikle ön ve arka bahçelerinde çim alanlar vardır. Fiyatların (hem mallarda hem iş gücünde) daha yüksek olması nedeniyle Hollanda'da ikinci el pazarı çok daha gelişmiştir — bisiklet, araba, mobilya gibi ürünler yeniden kullanılır, tamir edilir ya da ömürleri mümkün olduğunca uzatılır.
Şanghay'da bebek ürünlerini internetten satın alır, en yeni oyuncakların veya yapay zekâ donanımlı bebek kameralarının tanıtımlarını okurduk. Hollanda'da ise annem babam benim çocukken kullandığım oyuncakları, beşiği ve yemek takımlarını hâlâ saklıyor — otuz yılı aşkın bir süre sonra bugün benim çocuğum bunları kullanıyor.
Genel olarak Hollanda; ölçeği daha küçük, teknoloji düzeyi daha düşük bir toplum. Küçüklük şöyle kendini gösteriyor: Belediye binasında tek bir hizmet penceresi var; oysa Şanghay'da her birinde onlarca servis masası bulunan yüzlerce vatandaş hizmet merkezi var. Bildiğim kadarıyla yaşadığım kasabada yalnızca bir ATM ve küçük bir kütüphane var.
Bana kalırsa Hollanda, insanların tutumlu bir yaşam sürdüğü, bol zamana sahip bir ülke; Çin ise hızla değişen, çabuk ve aceleci bir ülke; insanlar fırsatları kapmak için birbiriyle yarışıyor.
En baştaki soruya dönersek — Hollanda mı Çin mi daha iyi — cevabım hâlâ aynı: Her iki ülkenin de kendine göre güçlü ve zayıf yanları var; iki yaşam biçimi de birbirinden tamamen farklı.
Sözler
1、
Yapay zekanın kazandırdığı zaman tatil yapmak için değil, daha fazla ürün geliştirmek için kullanılmalıdır. Sizler bu gezegendeki en heyecan verici şeyi yapıyorsunuz.
-- Andrew Bosworth, Meta şirketinin CTO'su, çalışanların yapay zekanın getirdiği üretkenlik artışının daha fazla tatile dönüştürülüp dönüştürülemeyeceği sorusuna yanıt olarak.
2、
Bazı insanlar distilasyonu zararlı bir davranış olarak tanımlamaya çalışıyor, ancak bence "gözlemlenebilen her şeyden öğrenme" ilkesi korunmalıdır.
-- Mark Zuckerberg, Meta şirketinin kurucusu
3、
Büyük modelleri yerelde çalıştırmak için birçok neden var, ancak tasarruf etmek bunların arasında değil.
Şu anda, OpenCode Go paketi kullanıcıları DeepSeek Flash v4'ü çalıştırmak için günde ortalama 1,14 dolar harcıyor. Aynı işlevi yerelde çalıştırmak için çift DGX mimarisi kullanmanız gerekir; günlük maliyet 10 katına çıksa bile, maliyeti karşılamak 24 yıl alır.
-- Dax Raad, OpenCode kurucusu
4、
Bir fikri kabul etmemek ama yine de onun üzerine düşünmeye istekli olmak, iyi eğitimli olmanın bir işaretidir.
-- Aristoteles
Geçmiş Yıllardan
Dark Web Tor Güvenli mi? (#361)
Düşük Faiz Oranları ve Uzun Vadeli Projeler (#311)
Hackathon'un Doğru Yolu (#261)
Sanal Ürünler GSYİH'yi Artırabilir (#211)
(Son)