-
İstifadəçi adı:
kaizen -
Ad Soyad:
Kaizen.az -
Məqalə sayı:
170
Dərc olunma tarixi
04.07.2025 TexnologiyaBaxış sayı
22
Oxunma müddəti
6 dəq
Böyük dil modelləri (Large Language Models – LLMs), çox böyük miqdarda məlumat üzərində əvvəlcədən öyrədilmiş (pre-trained) dərin öyrənmə modelləridir (deep learning models). Bu modellərin əsasını transformer (tərcümədə: çevirməçi, lakin süni intellektdə bu, özünəxas bir neyron şəbəkə arxitekturasıdır) adlanan bir sinir şəbəkəsi (neural network) təşkil edir. Bu transformerlər özündə kodlayıcı (encoder) və dekodlayıcı (decoder) adlı iki hissəni birləşdirir və bu hissələr öz-özünə diqqət (self-attention) mexanizmi vasitəsilə işləyir.
Kodlayıcı və dekodlayıcılar mətndəki sözləri və ifadələr arasındakı əlaqələri anlaya və mənanı çıxara bilir.
Transformer əsaslı böyük dil modelləri nəzarətsiz təlimə (unsupervised learning) qadirdir, lakin daha doğru desək, bu modellər öz-özünü öyrənmə (self-learning) yolu ilə işləyirlər. Bu üsul vasitəsilə transformerlər dil qaydalarını, qrammatikanı və ümumi biliyi öyrənirlər.
Əvvəlki nəsil sinir şəbəkələri olan təkrarlanan sinir şəbəkələri (Recurrent Neural Networks – RNN) girişləri ardıcıl şəkildə işləyirdilər. Halbuki, transformerlər bütün giriş ardıcıllığını paralel şəkildə emal edə bilir. Bu isə GPU (qrafik prosessor vahidləri) vasitəsilə təlimin sürətlənməsinə imkan yaradır.
Transformer arxitekturası çox böyük modellərin qurulmasına imkan verir — bəzən bu modellər yüz milyardlarla parametrdən ibarət olur. Belə modellər internetdən və ya Common Crawl (50 milyarddan çox veb səhifəni əhatə edən məlumat bazası), Wikipedia (təxminən 57 milyon səhifəlik ensiklopediya) kimi mənbələrdən əldə edilmiş böyük miqdarda məlumatı qəbul edə bilir.
Böyük dil modelləri inanılmaz dərəcədə çevikdir. Tək bir model müxtəlif və fərqli tapşırıqları yerinə yetirə bilir – məsələn, sualları cavablandırmaq, sənədləri xülasələmək (summarization), dilləri tərcümə etmək və ya cümlələri tamamlayıb davam etdirmək.
Bu modellər kontent yaratma (generative content) sahəsini və insanların axtarış sistemlərindən, virtual assistentlərdən necə istifadə etməsini dəyişmək potensialına malikdir.
Baxmayaraq ki, mükəmməl deyillər, LLM-lər çox az giriş məlumatı ilə belə doğru nəticələr verə bilirlər və bu da onların gücünü göstərir. Onlar insan dilində yazılmış istənilən sorğuya əsaslanaraq yeni məzmun yarada (generativ AI), məntiqi cavablar verə və müxtəlif sahələrdə tətbiq oluna bilər.
Nümunə olaraq:
OpenAI GPT-3 modeli 175 milyard parametrə malikdir. Bu modelin "qohumu" olan ChatGPT verilmiş məlumatlardan nümunələr götürərək insana bənzər, oxunaqlı və mənalı mətnlər yarada bilir.
Claude 2 modeli haqqında dəqiq parametr sayı bilinmir, lakin bu model bir dəfəyə 100.000 token (yəni yüzlərlə səhifəlik texniki sənəd və ya kitab) qəbul edə bilir.
AI21 Labs tərəfindən yaradılmış Jurassic-1 modeli 178 milyard parametrə sahibdir və 250.000 tokenlik söz hissəcikləri ilə işləyə bilir.
Cohere Command modeli 100-dən çox dildə işləyə bilir.
LightOn Paradigm modeli GPT-3-dən daha yüksək imkanlara sahib olduğunu iddia edir.
Bu modellərin hər biri üçün API-lər mövcuddur – bu, proqramçılara öz tətbiqlərində LLM-dən istifadə imkanı verir.
Burada əsas olan sözlərin necə təmsil olunmasıdır. Əvvəlki üsullarda hər söz sadəcə bir rəqəm kimi cədvəldə göstərilirdi. Lakin bu üsul, məsələn, "ev" və "mənzil" kimi yaxınmənalı sözlərin bir-birinə bənzədiyini dərk edə bilmirdi.
Bu problemi həll etmək üçün söz yerləşdirmələri (word embeddings) adlı yanaşma tətbiq edildi. Bu zaman sözlər çoxölçülü vektorlar şəklində təmsil olunur və mənaca yaxın olan sözlər eyni məkan daxilində bir-birinə yaxın yerləşir.
Transformer modelləri bu vektorları kodlayıcı vasitəsilə oxuyur, sözlər arasındakı qrammatik və mənalı əlaqələri anlayır, sonra isə dekodlayıcı vasitəsilə bu biliyi tətbiq edərək uyğun cavablar və ya yeni məzmun yaradır.
1. Kopiraytinq (copywriting):
GPT-3, ChatGPT, Claude, Llama 2 və Jurassic kimi modellər orijinal mətnlər yaza bilir. AI21 Wordspice isə cümlələrin stil və tərzini yaxşılaşdırmaq üçün təkliflər verir.
2. Bilik bazasından suallara cavab (knowledge base answering):
Bu, bilgiyə əsaslanan təbii dil emalı (knowledge-intensive NLP) adlanır. Məsələn, bir model rəqəmsal arxivdə saxlanan məlumat əsasında suallara cavab verə bilər.
3. Mətn sinifləndirmə (text classification):
LLM-lər oxşar məna və duyğuya sahib mətnləri qruplaşdıra bilir. Müştəri rəyi analizi, sənəd axtarışı və oxşar tapşırıqlarda istifadə olunur.
4. Kod generasiyası (code generation):
Amazon CodeWhisperer və OpenAI Codex kimi LLM-lər Python, JavaScript, Ruby və s. dillərdə kod yaza bilir. Həmçinin SQL sorğuları, Shell komandaları və sayt dizaynı üçün də istifadə edilə bilir.
5. Mətn generasiyası (text generation):
Natamam cümlələrin tamamlanması, məhsul sənədlərinin hazırlanması, hətta uşaq nağıllarının yazılması kimi sahələrdə də tətbiq olunur.
Transformer əsaslı sinir şəbəkələri çox böyükdür. Bu şəbəkələrdə yüz minlərlə düyün (node) və qat (layer) mövcuddur. Hər düyünün digərinə ağırlıq (weight) və meyl (bias) ilə birləşməsi vardır. Ağırlıqlar, meyllər və söz yerləşdirmələri birlikdə model parametrləri adlanır.
Modelin ölçüsü, təlimdə istifadə olunan məlumatın miqdarı və parametrlərin sayı arasında empirik bir əlaqə mövcuddur.
Model böyük və keyfiyyətli məlumat bazasında öyrədilir. Təlim zamanı model növbəti sözü (tokeni) düzgün proqnozlaşdırmağı öyrənir. Bu da parametrlərin iterativ şəkildə tənzimlənməsi ilə həyata keçirilir.
Təlimdən sonra modellər az miqdarda nümunə ilə müxtəlif tapşırıqlara uyğunlaşdırıla bilər. Bu mərhələyə incə tənzimləmə (fine tuning) deyilir.
Üç əsas öyrənmə üsulu mövcuddur:
Zero-shot learning – Model xüsusi təlim görmədən müxtəlif suallara cavab verir.
Few-shot learning – Bir neçə nümunə göstərilməklə modelin performansı artırılır.
Fine-tuning – Əlavə məlumatla modelin parametrləri yenidən öyrədilir.
1. Artan imkanlar:
Yeni versiyalar daha dəqiq cavablar verəcək, yanlışı və qərəzi daha az olacaq.
2. Audio və video təlimi:
Təkcə mətn deyil, həm də video və səs üzərindən təlim modelləri inkişaf etdirəcək. Bu, avtonom avtomobillər və süni intellekt sistemləri üçün yeni imkanlar yaradacaq.
3. İş mühitinin dəyişməsi:
LLM-lər monoton və təkrarlanan işləri avtomatlaşdıra bilər – məsələn, sənədləşmə, müştəri dəstəyi, chatbotlar və s.
4. Daha inkişaf etmiş səsli assistentlər:
Alexa, Siri, Google Assistant kimi virtual köməkçilər LLM-lərlə daha ağıllı olacaq və mürəkkəb sorğuları anlaya biləcək.
Amazon Bedrock — LLM-lərlə generativ AI tətbiqlərini yaratmaq və genişləndirmək üçün ən asan yoldur. Burada Amazon və aparıcı startapların LLM-lərinə API vasitəsilə çıxış təmin olunur.
Amazon SageMaker JumpStart — Əvvəlcədən öyrədilmiş (pretrained) modellər, alqoritmlər və ML həlləri ilə yalnız bir neçə kliklə tətbiqlər qurmaq mümkündür. Bu modellər sizin məlumatlarınıza uyğun şəkildə uyğunlaşdırıla və istifadəyə verilə bilər.
İstifadəçi adı:
kaizenAd Soyad:
Kaizen.azMəqalə sayı:
170
04.05.2023
Texnologiya
28.10.2021
Texnologiya
19.11.2021
Texnologiya
Bildiyiniz kimi, bu yaxınlarda Facebook-un qurucusu və baş direktoru Mark Zukerberq ,Facebook adının şirkətin gələcəyini adekvat şəkildə təsvir etmədiyini və ad dəyişikliyini təsdiqlədi və “Metaverse”haqqında bəzi məlumatlar verdi.İnsanlarda “Metaverse” nədir? ,Hansı xüsusiyyətlələrə malikdir? və s kimi suallar yarandı.Gəlin bu suallara cavab tapmağa çalışaq.
