Birkaç gün önce ortağım Pablinux onlara söyle Trend Yapay Zeka modelinin yerel olarak nasıl kurulacağı. Bu yazımda DeepSeek'ten daha iyi olduğunu düşündüğüm modelleri listeleyeceğim ve bunları bilgisayarımıza nasıl kurup çalıştıracağımızı anlatacağım.
Siyasi sempati veya antipatileri bir kenara bırakırsak, Çin hükümetinin bu hareketi Sun Tzu'ya layık bir diplomatik pazarlama şaheseriydi. Donald Trump'ın "Çin Malı İçindeki Fil" tarzının aksine, ChatGPT ile aynı özellikleri ücretsiz sunan ve daha az kaynak tüketen bir model duyurdular. Bunu sadece konuyu takip edenlerimiz biliyor. Uzun zamandır pek çok başka açık kaynaklı model (Meta gibi Kuzey Amerika şirketlerinden bazıları) mevcut ve DeepSeek'in performansı yalnızca en yaygın kullanımların %5'inde ChatGPT ile karşılaştırılabilir.
Büyük ölçekli dil modelleri
ChatGPT, DeepSeek ve diğerleri Büyük Ölçekli Dil Modelleri olarak adlandırılır. Temel olarak Kullanıcının, başka bir insanla iletişim kurmak için kullanılan dile benzer bir dil kullanarak bilgisayarla etkileşime girmesine olanak tanırlar. Bunu başarmak için, onlara halihazırda sahip oldukları bilgilerden yeni bilgiler üretmelerini sağlayacak büyük miktarda metin ve kuralla eğitim verilir.
Başlıca kullanım amacı soruları cevaplamak, metinleri özetlemek, çeviri yapmak ve içerikleri yeniden üretmektir.
DeepSeek'ten daha iyi modeller ve bunları yerel olarak nasıl kuracağınız
Pablinux gibi Ollama'yı kullanacağız. Bu, Linux terminalinden farklı açık kaynak modellerini kurmamızı, kaldırmamızı ve kullanmamızı sağlayan bir araçtır. Bazı durumlarda tarayıcı grafiksel arayüz olarak kullanılabilir, ancak bu makalede bunu ele almayacağız.
Ollama'nın uygun bir kullanıcı deneyimi sunması için özel bir GPU'ya sahip olması en iyisidirÖzellikle parametresi daha fazla olan modellerde. Ancak daha az güçlü olanları Raspberry Pi'de kullanılabilir ve ben 7 milyar parametreli modelleri 6 gigabayt ve özel GPU'su olmayan bir bilgisayarda test ettiğimde, bilgisayar herhangi bir aksama olmadan çalıştı. 13 milyarın birinde aynı şey olmadı.
Parametreler, modelin veriler arasında ilişkiler kurmak ve örüntüler oluşturmak için kullandığı kurallardır. Parametre ve veri ne kadar çoksa model o kadar güçlü olur; parametresi az olanlar ise Tarzan gibi İspanyolca konuşur.
Ollama'yı şu komutlarla kurabiliriz
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Modeli şu komutla kurabiliriz:
ollama pull nombre_del modelo
Ve şununla çalıştırın:
ollama run nombre_del_modelo
Bunu şu şekilde kaldırabiliriz:
ollama rm nombre_del_modelo
Yüklü modelleri şu şekilde yazarak görebiliriz:
ollama list
Aşağıda en ilgi çekici bulduğum modellerin küçük bir listesi bulunmaktadır: Mevcut modellerin tam listesi burada bulunabilir burada:
lama2-sansürsüz
Llama, Meta tarafından oluşturulmuş genel amaçlı bir modeldir. Bu versiyonda orijinal projenin geliştiricilerinin hukuki veya siyasi nedenlerle getirdiği tüm kısıtlamalar kaldırılmıştır.. 8GB'lık hafif versiyonu ve 64GB'lık tam versiyonu olmak üzere iki versiyonu bulunmaktadır. Soru cevaplamak, metin yazmak veya kodlama görevlerinde kullanılabilir.
Şunlarla kurulur:
ollama pull llama2-uncensored
Ve şöyle çalışır:
ollama run llama2-uncensored
kodeklem
CodeGemma, çeşitli programlama görevlerini gerçekleştirmenize olanak tanıyan hafif ancak güçlü şablonların bir seçimidir kodun nasıl tamamlanacağı veya sıfırdan nasıl yazılacağı. Doğal dili anlar, talimatları takip edebilir ve matematiksel muhakeme yapabilir.
3 çeşidi mevcuttur:
- Öğretmek: Doğal dili koda dönüştürür ve talimatları takip edebilir:
- Kodu: Mevcut kodun parçalarından kod tamamlayın ve oluşturun.
- 2b: Daha hızlı kod tamamlama görevi.
Tynillama
Adından da anlaşılacağı üzere orijinal Meta modelinin daha küçük versiyonudur.. Yani çok iyi sonuçlar vermeyebilir ama bir Yapay Zeka modelinin basit bir donanımda nasıl çalıştığını görmek istiyorsanız denemeye değer. Sadece 1100 milyar parametresi var.
Modelleri yerel olarak kullanmak, gizlilik ve sansürsüz ve tarafsız versiyonlara erişim gibi avantajlara sahiptir; ancak bazı durumlarda bu durum gülünç sonuçlar doğurabilir. Microsoft'un yapay zekası benim için bir dachshund resmi oluşturmayı reddetti çünkü "kaltak" terimini rahatsız edici buldu. En büyük dezavantajı ise donanım gereksinimleri. Tek yapmanız gereken modelleri deneyip, ihtiyaçlarınıza uygun olanı ve elinizdeki ekipmanla çalışabilecek olanı bulmak.