Geçtiğimiz hafta sizlerle paylaştığımız bir haberimizde VNGRS isimli bir yazılım şirketi tarafından geliştirilen Türkçe odaklı büyük dil modeli Kumru'yu duyurduğundan bahsetmiştik. Bu yapay zekâ, sıradan bilgisayarlarda bile yerleşik olarak çalışabiliyor olmasıyla dikkat çekmişti.Ancak kullanıcı testleri, Kumru'nun verdiği yanıtların beklendiği gibi olmadığını ortaya koydu. Sosyal medyada viral hâle gelen durum, geliştirici ekibin de dikkatinden kaçmadı. Hâl böyle olunca konuyla ilgili açıklamalarda bulunan VNGRS, Kumru'nun neden "garip" çalıştığını, cevapların neden çoğu zaman yanlış olduğunu açıkladı. Dilerseniz şimdi VNGRS tarafından yapılan açıklamalara tek tek bakalım.İşte Kumru'yla ilgili açıklamanın tamamı:Kumru, ChatGPT'ye rakip mi?Kumru bir ChatGPT alternatifi değil. Kumru’yu son kullanıcıya yönelik değil kurum içi senaryolar için geliştirmeye devam ediyoruz. Henüz versiyon 0.2.1 ve şu an için yetkinlikleri sınırlı. Web sayfası Kumru’yu sadece denemek için hazırlanmış bir arayüz, ürünün kendisi değil. Bu sebeple lütfen Kumru’dan ChatGPT’nin yaptığı şeyleri beklemeyin, yetkinlikleri ve yapım amaçları farklı.Kumru, matematikte neden bu kadar kötü?Dil modelleri, kelime ve kelimeciklerden (token) oluşan metinleri işler ve üretirler. Bildiklerini ise eğitildikleri devasa metin derlemlerinden istatistiki olarak öğrenirler. Kendi içlerinde bir hesap makinesi mekanizmasına da sahip değiller. Tüm bunların sonucu matematik işlemleri yapmayı bilmeyen, ancak neyi bilip bilmediğini de bilmeyen, o yüzden de konu matematiğe gelince bolca hata yapan geveze bir ürün.ChatGPT ve benzeri erken modeller de ilk zamanlarda çok fazla matematik hatası yapıyordu. İlerleyen yıllarda gelişmiş pekiştirmeli öğrenme yöntemleri ile mevcut yeteneklerine kavuştular. Kumru da benzer şekilde pekiştirmeli öğrenme aşamasından geçtikten sonra matematikte daha başarılı olacak.Dolayısıyla bu bağlamda da ChatGPT/Gemini alternatifi değil.Kumru son kullanıcılara (B2C) yönelik bir ürün mü?Hayır. Bu, kurum-içi kurumsal kullanım (B2B) için geliştirilmiş bir ürün.Neden böyle bir modele ihtiyaç var?Türkiye'de özellikle finans gibi sektörlerde faaliyet gösteren pek çok kurum, veri güvenliğine dair regülasyonlar sebebiyle ChatGPT gibi hizmetleri kullanamıyor. Kurum-içi (on-premise) kullanılabilecek açık dil modellerinden büyük olanların gereksinim duyduğu donanım yatırım maliyeti yüksek, küçük olanların ise Türkçe yetenekleri yetersiz çünkü Türkçe, bu modellerin ana dili değil. Biz de buradaki bu açığı doldurmak için, büyük donanım yatırımları gerektirmeden çalışabilecek, ana dili Türkçe olan Kumru modelini eğittik.Verdiği bilgilerde neden hata yapabiliyor?Yapay zekâ modellerine dair çözülmesi en zorlu problemlerden biri hatalı bilgi vermesi, yani halüsinasyonlar. Yapay zekâ eğitilirken farklı aşamalardan geçiyor ve son aşama olan pekiştirmeli öğrenme (reinforcement learning from human feedback) ile bu halüsinasyonlar en aza indirgeniyor. OpenAI'ın ChatGPT'den önce 2022 başında sunduğu davinci-001 modeli de pekiştirmeli öğrenme aşamasından henüz geçmemişti ve bu yüzden bol miktarda halüsinasyon görüyordu. Kumru da, aynı davinci-001 modeli gibi, henüz pekiştirmeli öğrenme aşamasından geçmediği için hatalı bilgiler verebiliyor.Sıfırdan geliştirilen model ne demek?Daha önce hiçbir veriye maruz kalmamış bir yapay zeka modelinin sıfırdan inşa edilip tüm eğitim süreçlerinden geçirilip eğitilmesi anlamına geliyor. Yani boş bir arsa alıp üstüne kaba mimari planı olan bir binayı, istediğiniz malzemeyi kullanarak, detay tasarım kararlarını vererek sıfırdan inşa etmeye benziyor.Bunun alternatifi; LLaMA, Gemma, Qwen gibi aynı anda pek çok dilde eğitilmiş modelleri alıp istenen dilde ya da alanda bir miktar daha eğitmek ve ince ayar yapmak. Bu da hazır bir binayı alıp renove etmeye benzetilebilir, ancak bunun da dezavantajları var ve biz de bu sebeple ilkini seçtik.Model mimarisi nedir? Mistral ne demek?Model mimarisi, derin öğrenme (deep learning) modelini oluşturan katmanların (layer) ne tür olduğunu ve hangi sırayla kullanıldığını tanımlamak için kullanılıyor. Arsa ve bina benzetmesinden gidersek, Mistral, binanın kaba mimarisinin nasıl olduğunu tanımlıyor, örn: bahçeli bir müstakil ev.Kumru'nun güçlü ve zayıf olduğu işler neler?Kumru, yaratıcı yazım işlerinde daha başarılı. Ona sağlanan metin ve dökümanları anlayıp özetlemek, soru cevaplamak, başka şekilde yeniden yazmak, başlık atmak, etiketlemek, tasnif etmek gibi işler için çok uygun ve kendisinden daha büyük LLaMA ve Gemma gibi açık modellerden daha başarılı.Ezbere dayalı sorularda daha zayıf çünkü küçük bir model (7.4 milyar parametre) olmasına bağlı kapasitesi -hafızası- sınırlı. Matematikte kötü çünkü pekiştirmeli öğrenme aşamasından geçmedi. Kodlama biliyor ama bu konudaki eğitim verisi sınırlı olduğu için bu konuda iddialı değil.Verdiğim kelimedeki harfleri sorunca yanlış cevap veriyor, neden?Popüler dil modelleri için işledikleri metindeki en küçük birim kelime ya da kelimeciktir, buna token diyoruz. Bu sebeple, bir metni işlerken onu oluşturan karakterleri görmezler. Bu sebeple de verilen kelimeyi oluşturan harflere dair bir soru sorulduğunda sıklıkla hata yaparlar. 2024 yılında ChatGPT gibi modellere "strawberry" kelimesinde kaç adet r harfi olduğunu sormak popüler bir benchmark haline gelmişti ve en iyi modeller dahi hata yapıyordu.2 milyar ile 7 milyar arasındaki fark nedir?Eğitim verisi, bağlam uzunluğu (context length) ve tokenizer açısından iki model de birebir aynı spesifikasyonlara sahip. Tek fark modellerin boyutları. Dil modellerinin kabiliyetleri ve hafızaları, sahip oldukları parametre sayısıyla paralellik gösterdiği için büyük model daha çok biliyor ve daha hünerli diyebiliriz.Model, daha önceden eğitilmiş bir Mistral ya da LLaMA üzerine ince ayar yapılarak mı elde edildi?Hayır! Model mimarisinin Mistral olması, önden eğitilmiş (pre-trained) bir Mistral modelinin alınıp eğitilmeye devam edildiği (continual pre-training) ya da ince ayar (fine-tuning) yapıldığı anlamına gelmiyor. Kumru, tokenizer'ı ve model weight'leri ile uçtan uca tamamen sıfırdan yaratıldı ve eğitildi.LLaMA gibi bir modeli continual pre-training yapmak yerine neden sıfırdan eğittiniz?Continual pre-training gayet makul bir strateji ve Türkiye'deki pek çok grup da bunu yapıyor. Ancak dezavantajı, orijinal modelin tokenizer'ının kullanılmasını gerektirmesi. Bu da hem eğitim esnasında, hem de kullanım esnasında metinler işlenirken, Türkçe bir tokenizer'a göre daha fazla token harcanması ile sonuçlanıyor. Netice olarak modeli eğitme ve kullanma maliyeti ve süresi 2 katına kadar artıyor.Pre-trained bir modelin embedding matrix'ini ve tokenizer'ını ameliyat edip Türkçe'ye uyarlamak mümkün, ama bu da yalnızca bir yere kadar etkili, ve model ile tokenizer arasındaki bağı koparmış oluyorsunuz. Biz bunun yerine Türkçe'nin ihtiyaçlarını da göz önünde bulundurarak pretokenization regex'i, kod ve matematik desteği de olan ve tüm dizayn kararlarını bilinçli bir şekilde verdiğimiz modern bir Türkçe LLM tokenizer'ı geliştirmeyi ve Kumru'yu bununla eğitmeyi seçtik. Tüm bu adımları baştan sona yapmanın getirdiği tecrübeye bağlı bilgi birikimi de cabası.Mimari olarak neden LLaMA, Gemma, QWen gibi alternatifler varken neden Mistral seçtiniz?Projeye 2024 ortasında başladığımız zamanlarda açık-kaynak modellerde LLaMA ve Mistral başı çekiyordu. Özellikle Mistral, sliding window teknolojisi ile başlarda özellikle uzun bağlama sahip metinleri işler ve üretirken çok başarılı görünüyordu. LLaMA modeli ise yayınladığı detaylı teknik raporlarla bir büyük dil modelinin uçtan uca nasıl eğitildiği konusuna ışık tutuyordu. Mistral modeli, v0.3 ile sliding window teknolojisini artık kullanmamaya karar verdi çünkü uzun bağlamlarda hatalara sebep olduğu fark edildi. Bu fark ortadan kalkınca Mistral v0.3 ile LLaMA-3 mimarileri birebir aynı hale geldi. Dolayısıyla Mistral seçimimiz bu iki modelin başarısına, birbirlerinin tıpatıp aynısı olmalarına ve geliştirme sürecine ışık tutan LLaMA-3 teknik makalesine dayanıyor.Hangi verileri kullandınız?İçerikleri Mart 2024 tarihine dek üretilmiş Türkçe web derlem başta olmak üzere wikipedia, haber metinleri gibi literatürdeki veriler ile %5 oranında da İngilizce web ve kod derlemlerini kullandık.Geliştirme haritanız nasıl?İlk hedefimiz modelin yaptığı hataları en aza indirmek için pekiştirmeli öğrenme aşamasından geçirmek. Paralelde görselleri ve taratılmış dökümanları işleme kabiliyeti kazandırarak Kumru'yu multimodal bir model haline getirmek için bir image encoder entegrasyonunu çalışıyoruz. Bunun yanında Kumru'nun daha büyük ve maharetli versiyonlarını da daha büyük ve güncel verisetleri ile eğitmeyi planlıyoruz.Şu anda OpenAI'ın 2022 başında duyurduğu davinci-001 modeli ile aynı aşamadayız. O yüzden OpenAI'ın GPT modellerinin ayak izlerini takip ederek ilerliyoruz diyebiliriz.7 milyarlık modeli de açık kaynak yayınlayacak mısınız?Daha büyük ve multimodal modeller ürettikçe 7 milyarlık versiyondan başlayarak eski modelleri yayınlamayı planlıyoruz.Kumru ile ilgili detaylı bilgi için: