• tüm silikon plakadan tek bir işlemci çıkartan, plaka boyutlu işlemci teknolojisini sonunda hayata geçiren şirket.

    1,2 trilyon transistörlük, 400.000 (dörtyüzbin) çekirdekli wafer scale engine-1 işlemcisini kullanan, iki milyon dolarlık cerebras cs-1 ile milyarlarca dolarlık süperbilgisayarları (uygun workloadlarda elbette) geride bırakabiliyor.

    2,5 trilyon transistörlük, 850.000 core'lu wse-2'yi de yakında piyasaya sürecek. geliyor gelmekte olan*.
  • bir ara gundemimize aldik ama su an icin cok nis bir kitleye hitap ediyor. 70 milyar parametreli gpt'yi (1.4 trilyon token) 2.5 milyon dolara, 85 gunde train edebiliyormus.

    bizim korkumuz su oldu: biraz 70 milyari, 20-30 milyar seviyelerinde bile bir suru sacmalikla ugrasiyorsun. bunun arasindaki her deney mukemmel bir sekilde dokumante edilmemis, ama ustunde ne oldugunu biliyoruz. ornegin bloom (bigscience) ve glm-130b train edilirken, 2000'den fazla node calistirmanin imkansiz oldugunu fark ediyor arastirmacilar. bu yuzden linux kernel'ini hackleyip tcp parametreleriyle oynuyorlar.

    bu ustteki adreste bir suru baska sorun da anlatilmis. ama mesaj acik: cok cok buyuk isler yapacaksaniz sorunlari bastan kabul edeceksiniz. ve bu sorunlar deneylerinizi aksatacak. bu durumlara pratik yapmanin en guzel yolu ucuz bir donanimda calismaktir. yalniz bu hardware'i kullandiginizda ne olacagini cok bilmiyorsunuz. pytorch destegi daha nisan 2022'de gelmis. basit data pipeline'larla nasil calisacak bilmiyorsunuz, bir sey ters gittiginde debugging nasil yapilir bilmiyorsunuz (cunku kimse yok kullanan en azindan cok insan yok diyelim). aha bu yuzden kan aglaya aglaya pahali cloud saglayicilarin eline bakiyoruz hala.

    yine de teknoloji olarak boyle sirketlerin gelismesini cok istiyorum. biktim nvidia'dan da cuda'sindan da yetti artik 15 yildir domine edilmemeli bir piyasa. her yil yuzde 10 gelismeden, 450 watt ceken ekran kartlarindan daha iyisini hak ediyor bu endustri.
  • cs-2 uzerinde egitilmis 7 gpt modelini huggingface'de yayinlamistir.

    https://huggingface.co/cerebras
  • https://www.cerebras.net/
hesabın var mı? giriş yap