Investing.com — Amazon (NASDAQ:AMZN), Bedrock Akıllı İstek Yönlendirme hizmetinin genel kullanıma sunulduğunu duyurdu. Aralık ayında tanıtılan bu araç, aynı model ailesindeki farklı temel modeller arasında istekleri etkili bir şekilde yönlendirmek için tek bir sunucusuz uç nokta sunuyor. Bu sistem, her model için bir isteğin yanıt kalitesini dinamik olarak tahmin ediyor. Ardından isteği maliyet ve yanıt kalitesine göre en uygun modele yönlendiriyor.
Son birkaç ay içinde Amazon, akıllı istek yönlendirmede çeşitli iyileştirmeler gerçekleştirdi. Bu geliştirmeler müşteri geri bildirimleri ve kapsamlı iç testlerden yola çıkılarak yapıldı. Amaç, büyük dil modelleri (LLM’ler) arasında Amazon Bedrock Akıllı İstek Yönlendirme aracılığıyla otomatik ve optimal yönlendirmeyi kolaylaştırmak. Bu araç, her model ailesindeki model davranışlarını derinlemesine anlıyor. Farklı model setleri, görevler ve istemler için yönlendiricileri eğitmede son teknoloji yöntemleri içeriyor.
Kullanıcılar artık Amazon Bedrock Akıllı İstek Yönlendirme’yi Amazon Bedrock tarafından sağlanan varsayılan istem yönlendiricileriyle kullanabilir. Ayrıca kendi istem yönlendiricilerini de yapılandırabilirler. Bu, performansı iki aday LLM’nin performansı arasında doğrusal olarak ayarlamaya olanak tanıyor. Her model ailesi için varsayılan istem yönlendiricileri Amazon Bedrock tarafından sağlanıyor. Bu yönlendiriciler önceden tanımlanmış ayarlarla geliyor. Belirli temel modellerle kutudan çıktığı gibi çalışacak şekilde tasarlanmıştır. Herhangi bir yönlendirme ayarı yapılandırma gereği olmadan kullanıma hazır bir çözüm sunuyorlar.
Amazon Bedrock Akıllı İstek Yönlendirme artık Amazon Nova, Anthropic ve Meta ailelerinden daha fazla modeli destekliyor. Bunlar arasında Anthropic’in Claude ailesi, Llama ailesi ve Nova ailesi bulunuyor. Kullanıcılar ayrıca belirli ihtiyaçlara ve tercihlere göre kendi yönlendirme yapılandırmalarını da tanımlayabilirler.
Amazon, eklenen bileşenlerin ek yükünü %20’den fazla azaltarak yaklaşık 85 milisaniyeye indirdi. Yönlendirici, görevde aynı temel doğruluğu korurken öncelikli olarak daha az maliyetli modeli çağırdığından, kullanıcılar ek yüke rağmen her zaman daha büyük ve daha pahalı modeli kullanmaya kıyasla genel bir gecikme ve maliyet avantajı bekleyebilirler.
Bu makale yapay zekanın desteğiyle oluşturulmuş, çevrilmiş ve bir editör tarafından incelenmiştir. Daha fazla bilgi için Şart ve Koşullar bölümümüze bakın.
