Ðàçáåð¸ìñÿ ñìåëåå â ëîãèêå áîëüøèõ ÿçûêîâûõ ìîäåëå

Ðàçáåð¸ìñÿ ñìåëåå â ëîãèêå áîëüøèõ ÿçûêîâûõ ìîäåëåé (LLM)
×ÒÎ ÒÀÊÎÅ LLM?
ÁÎËÜØÈÅ ßÇÛÊÎÂÛÅ ÌÎÄÅËÈ (LARGE LANGUAGE MODELS, LLM) — ÝÒÎ ÍÅÉÐÎÑÅÒÅÂÛÅ ÀËÃÎÐÈÒÌÛ, ÎÁÓ×ÅÍÍÛÅ ÍÀ ÊÎËÎÑÑÀËÜÍÛÕ ÌÀÑÑÈÂÀÕ ÒÅÊÑÒÎÂÛÕ ÄÀÍÍÛÕ ÄËß ÐÀÁÎÒÛ Ñ ÅÑÒÅÑÒÂÅÍÍÛÌ ßÇÛÊÎÌ. ÈÕ ÊËÞ×ÅÂÀß ÇÀÄÀ×À — ÏÎÍÈÌÀÒÜ È ÃÅÍÅÐÈÐÎÂÀÒÜ ÑÂßÇÍÛÅ, ÊÎÍÒÅÊÑÒÓÀËÜÍÎ ÐÅËÅÂÀÍÒÍÛÅ ÎÒÂÅÒÛ ÍÀ ×ÅËÎÂÅ×ÅÑÊÈÅ ÇÀÏÐÎÑÛ.
 ÎÒËÈ×ÈÅ ÎÒ ÊËÀÑÑÈ×ÅÑÊÈÕ ÈÈ ÑÈÑÒÅÌ, ÒÐÅÁÎÂÀÂØÈÕ Æ¨ÑÒÊÈÕ ÏÐÀÂÈË È ÐÓ×ÍÎÃÎ ÏÐÎÃÐÀÌÌÈÐÎÂÀÍÈß, LLM ÑÏÎÑÎÁÍÛ:
• ÈÇÂËÅÊÀÒÜ ÑÌÛÑË ÈÇ ÒÅÊÑÒÎÂÛÕ ÄÀÍÍÛÕ;
• ÀÄÀÏÒÈÐÎÂÀÒÜÑß Ê ÍÎÂÛÌ ÇÀÄÀ×ÀÌ;
• «Ó×ÈÒÜÑß» ÍÀ ÏÐÈÌÅÐÀÕ ÁÅÇ ÏÎËÍÎÃÎ ÏÅÐÅÎÁÓ×ÅÍÈß.
ÊÀÊ ÓÑÒÐÎÅÍÀ ËÎÃÈÊÀ LLM: ÊËÞ×ÅÂÛÅ ÌÅÕÀÍÈÇÌÛ
ÎÑÍÎÂÀ ÐÀÁÎÒÛ ÑÎÂÐÅÌÅÍÍÛÕ LLM — ÀÐÕÈÒÅÊÒÓÐÀ ÒÐÀÍÑÔÎÐÌÅÐΠ(TRANSFORMER), ÏÐÅÄÑÒÀÂËÅÍÍÀß Â 2017 ÃÎÄÓ. Ũ ÃËÀÂÍÛÉ ÝËÅÌÅÍÒ — ÌÅÕÀÍÈÇÌ ÂÍÈÌÀÍÈß (ATTENTION MECHANISM), ÊÎÒÎÐÛÉ ÏÎÇÂÎËßÅÒ ÌÎÄÅËÈ:
• ÀÍÀËÈÇÈÐÎÂÀÒÜ ÑÂßÇÈ ÌÅÆÄÓ ÑËÎÂÀÌÈ Â ÏÐÅÄËÎÆÅÍÈÈ, ÄÀÆÅ ÅÑËÈ ÎÍÈ ÓÄÀËÅÍÛ ÄÐÓà ÎÒ ÄÐÓÃÀ;
• «ÂÇÂÅØÈÂÀÒÜ» ÂÀÆÍÎÑÒÜ ÊÀÆÄÎÃÎ ÑËÎÂÀ ÎÒÍÎÑÈÒÅËÜÍÎ ÄÐÓÃÈÕ;
• ÓËÀÂËÈÂÀÒÜ ÑËÎÆÍÛÅ ÇÀÂÈÑÈÌÎÑÒÈ Â ÄËÈÍÍÛÕ ÒÅÊÑÒÀÕ.
ÏÐÎÖÅÑÑ ÐÀÁÎÒÛ LLM ÌÎÆÍÎ ÐÀÇÁÈÒÜ ÍÀ ÝÒÀÏÛ:
1. ÒÎÊÅÍÈÇÀÖÈß — ÐÀÇÁÈÅÍÈÅ ÂÕÎÄÍÎÃÎ ÒÅÊÑÒÀ ÍÀ ÌÈÍÈÌÀËÜÍÛÅ ÅÄÈÍÈÖÛ (ÑËÎÂÀ, ×ÀÑÒÈ ÑËΠÈËÈ ÑÈÌÂÎËÛ).
2. ÝÌÁÅÄÄÈÍÃÈ — ÏÐÅÎÁÐÀÇÎÂÀÍÈÅ ÒÎÊÅÍΠ ×ÈÑËÎÂÛÅ ÂÅÊÒÎÐÛ, ÎÒÐÀÆÀÞÙÈÅ ÑÅÌÀÍÒÈ×ÅÑÊÎÅ ÇÍÀ×ÅÍÈÅ È ÑÂßÇÈ ÑËÎÂ. ÍÀÏÐÈÌÅÐ, ÂÅÊÒÎÐÛ ÄËß «ËÎÄÊÀ», «ÊÎÐÀÁËÜ» È «ÊÀÒÅл ÁÓÄÓÒ ÁËÈÇÊÈ Â ÌÍÎÃÎÌÅÐÍÎÌ ÏÐÎÑÒÐÀÍÑÒÂÅ.
3. ÎÁÐÀÁÎÒÊÀ ÒÐÀÍÑÔÎÐÌÅÐÎÌ — ÀÍÀËÈÇ ÂÅÊÒÎÐΠ×ÅÐÅÇ ÑËÎÈ ÍÅÉÐÎÑÅÒÈ Ñ ÌÅÕÀÍÈÇÌÎÌ ÂÍÈÌÀÍÈß. ÊÀÆÄÛÉ ÑËÎÉ ÂÛßÂËßÅÒ ÇÀÂÈÑÈÌÎÑÒÈ ÐÀÇÍÎÃÎ ÓÐÎÂÍß: ÎÒ ÃÐÀÌÌÀÒÈ×ÅÑÊÈÕ ÑÂßÇÅÉ ÄÎ ÀÁÑÒÐÀÊÒÍÛÕ ÑÌÛÑËÎÂÛÕ ÏÀÒÒÅÐÍÎÂ.
4. ÏÐÅÄÑÊÀÇÀÍÈÅ ÑËÅÄÓÞÙÅÃÎ ÒÎÊÅÍÀ — ÎÑÍÎÂÍÀß ÇÀÄÀ×À ÌÎÄÅËÈ ÍÀ ÝÒÀÏÅ ÎÁÓ×ÅÍÈß. ÍÀÏÐÈÌÅÐ, ÄËß ÔÐÀÇÛ «ÊÎØÊÀ ÑÈÄÅËÀ ÍÀ…» LLM ÂÛ×ÈÑËßÅÒ ÂÅÐÎßÒÍÎÑÒÈ ÏÐÎÄÎËÆÅÍÈß («ÊÐÛØÅ», «ÊÎÂÐÈÊÅ», «ÄÅÐÅÂÅ»).
5. ÃÅÍÅÐÀÖÈß ÎÒÂÅÒÀ — ÏÎÑËÅÄÎÂÀÒÅËÜÍÎÅ ÏÐÅÄÑÊÀÇÀÍÈÅ ÒÎÊÅÍÎÂ ÄÎ ÇÀÂÅÐØÅÍÈß ÎÒÂÅÒÀ (ÍÀÏÐÈÌÅÐ, ÏÎ ÑÏÅÖÈÀËÜÍÎÌÓ ÒÎÊÅÍÓ «ÊÎÍÅÖ ÏÐÅÄËÎÆÅÍÈß»).
ÏÎ×ÅÌÓ LLM «ÏÎÍÈÌÀÞÒ» ÊÎÍÒÅÊÑÒ?
ËÎÃÈÊÀ LLM ÑÒÐÎÈÒÑß ÍÀ ÂÅÐÎßÒÍÎÑÒÍÎÌ ÏÐÎÃÍÎÇÈÐÎÂÀÍÈÈ: ÌÎÄÅËÜ ÍÅ «ÇÍÀÅÒ» ÇÍÀ×ÅÍÈÉ ÑËÎÂ, ÍÎ ÓÑÂÀÈÂÀÅÒ ÑÒÀÒÈÑÒÈ×ÅÑÊÈÅ ÇÀÊÎÍÎÌÅÐÍÎÑÒÈ ÈÕ ÓÏÎÒÐÅÁËÅÍÈß. ÍÀÏÐÈÌÅÐ:
• ÎÍÀ ÎÒËÈ×ÀÅÒ «ÂÀÑß ÏÎÄÀÐÈË ÌÀØÅ ÖÂÅÒÛ» ÎÒ «ÌÀØÀ ÏÎÄÀÐÈËÀ ÂÀÑÅ ÖÂÅÒÛ», ÀÍÀËÈÇÈÐÓß ÏÎÐßÄÎÊ ÑËÎÂ È ÈÕ ÐÎËÈ Â ÏÐÅÄËÎÆÅÍÈÈ.
• Ó×ÈÒÛÂÀÅÒ ÎÒÄÀ˨ÍÍÛÅ ÑÂßÇÈ:  ÒÅÊÑÒÅ «ÕÎÒß ÎÍ ÓÑÒÀË, ÎÍ ÏÐÎÄÎËÆÈË ÐÀÁÎÒÓ» ÌÎÄÅËÜ ÑÂßÇÛÂÀÅÒ «ÎÍ»  ÎÁÅÈÕ ×ÀÑÒßÕ, ÄÀÆÅ ÅÑËÈ ÌÅÆÄÓ ÍÈÌÈ ÄÅÑßÒÊÈ ÑËÎÂ.
ÊËÞ×ÅÂÎÉ ÏÀÐÀÌÅÒÐ — ÊÎÍÒÅÊÑÒÍÎÅ ÎÊÍÎ (ÎÁÚ¨Ì ÒÅÊÑÒÀ, ÊÎÒÎÐÛÉ ÌÎÄÅËÜ ÌÎÆÅÒ Ó×ÈÒÛÂÀÒÜ ÎÄÍÎÂÐÅÌÅÍÍÎ). ÍÀÏÐÈÌÅÐ, GPT 4 ÎÁÐÀÁÀÒÛÂÀÅÒ ÄÎ 128000 ÒÎÊÅÍÎÂ, ×ÒÎ ÏÎÇÂÎËßÅÒ ÀÍÀËÈÇÈÐÎÂÀÒÜ ÁÎËÜØÈÅ ÄÎÊÓÌÅÍÒÛ.
ÎÃÐÀÍÈ×ÅÍÈß ËÎÃÈÊÈ LLM
ÍÅÑÌÎÒÐß ÍÀ ÂÏÅ×ÀÒËßÞÙÈÅ ÑÏÎÑÎÁÍÎÑÒÈ, LLM ÈÌÅÞÒ ÏÐÈÍÖÈÏÈÀËÜÍÛÅ ÎÃÐÀÍÈ×ÅÍÈß:
• ÎÒÑÓÒÑÒÂÈÅ ÈÑÒÈÍÍÎÃÎ ÏÎÍÈÌÀÍÈß. ÌÎÄÅËÈ ÎÏÅÐÈÐÓÞÒ ÑÒÀÒÈÑÒÈ×ÅÑÊÈÌÈ ÏÀÒÒÅÐÍÀÌÈ, À ÍÅ ÑÌÛÑËÎÌ. ÎÍÈ ÌÎÃÓÒ ÃÅÍÅÐÈÐÎÂÀÒÜ ÏÐÀÂÄÎÏÎÄÎÁÍÛÅ, ÍÎ ËÎÆÍÛÅ ÓÒÂÅÐÆÄÅÍÈß («ÃÀËËÞÖÈÍÀÖÈÈ»).
• ÇÀÂÈÑÈÌÎÑÒÜ ÎÒ ÄÀÍÍÛÕ ÎÁÓ×ÅÍÈß. ÇÍÀÍÈß ÌÎÄÅËÈ ÎÃÐÀÍÈ×ÅÍÛ ÑÐÅÇÎÌ ÈÍÔÎÐÌÀÖÈÈ, ÍÀ ÊÎÒÎÐÎÌ ÎÍÀ ÎÁÓ×ÀËÀÑÜ. ÍÀÏÐÈÌÅÐ, LLM ÍÅ ÇÍÀÞÒ Î ÑÎÁÛÒÈßÕ ÏÎÑËÅ ÄÀÒÛ ÇÀÂÅÐØÅÍÈß ÎÁÓ×ÅÍÈß.
• ×ÓÂÑÒÂÈÒÅËÜÍÎÑÒÜ Ê ÔÎÐÌÓËÈÐÎÂÊÀÌ. ÍÅÇÍÀ×ÈÒÅËÜÍÎÅ ÈÇÌÅÍÅÍÈÅ ÇÀÏÐÎÑÀ ÌÎÆÅÒ ÏÐÈÂÅÑÒÈ Ê ÊÀÐÄÈÍÀËÜÍÎ ÐÀÇÍÛÌ ÎÒÂÅÒÀÌ.
• ÏÐÅÄÂÇßÒÎÑÒÜ. ÌÎÄÅËÈ ÌÎÃÓÒ ÂÎÑÏÐÎÈÇÂÎÄÈÒÜ ÑÒÅÐÅÎÒÈÏÛ È ÎØÈÁÊÈ ÈÇ ÎÁÓ×ÀÞÙÈÕ ÄÀÍÍÛÕ.
• ÍÅÏÐÎÇÐÀ×ÍÎÑÒÜ ÐÅØÅÍÈÉ. ÌÅÕÀÍÈÇÌ ÂÍÈÌÀÍÈß ÄÀ¨Ò ËÈØÜ ÏÐÈÁËÈÇÈÒÅËÜÍÎÅ ÏÐÅÄÑÒÀÂËÅÍÈÅ Î ÒÎÌ, ÊÀÊ ÌÎÄÅËÜ ÏÐÈÕÎÄÈÒ Ê ÂÛÂÎÄÓ.
ÏÐÀÊÒÈ×ÅÑÊÎÅ ÏÐÈÌÅÍÅÍÈÅ ËÎÃÈÊÈ LLM
ÏÎÍÈÌÀÍÈÅ ÏÐÈÍÖÈÏΠÐÀÁÎÒÛ LLM ÏÎÇÂÎËßÅÒ ÝÔÔÅÊÒÈÂÍÅÅ ÈÕ ÈÑÏÎËÜÇÎÂÀÒÜ:
• ÏÐÎÌÏÒ ÈÍÆÈÍÈÐÈÍà — ÑÎÑÒÀÂËÅÍÈÅ ÒÎ×ÍÛÕ ÇÀÏÐÎÑÎÂ, Ó×ÈÒÛÂÀÞÙÈÕ ËÎÃÈÊÓ ÌÎÄÅËÈ. ÍÀÏÐÈÌÅÐ, ÐÀÇÁÈÅÍÈÅ ÑËÎÆÍÎÉ ÇÀÄÀ×È ÍÀ ØÀÃÈ ÈËÈ ÓÊÀÇÀÍÈÅ ÔÎÐÌÀÒÀ ÎÒÂÅÒÀ.
• ÍÀÑÒÐÎÉÊÀ ÏÀÐÀÌÅÒÐÎÂ ÃÅÍÅÐÀÖÈÈ:
O ÒÅÌÏÅÐÀÒÓÐÀ — ÐÅÃÓËÈÐÓÅÒ ÑËÓ×ÀÉÍÎÑÒÜ (ÍÈÇÊÎÅ ÇÍÀ×ÅÍÈÅ ; ÒÎ×ÍÛÅ ÎÒÂÅÒÛ, ÂÛÑÎÊÎÅ ; ÊÐÅÀÒÈÂÍÎÑÒÜ).
O TOP P — ÎÃÐÀÍÈ×ÈÂÀÅÒ ÂÛÁÎÐ ÒÎÊÅÍΠÍÀÈÁÎËÅÅ ÂÅÐÎßÒÍÛÌÈ.
• ÄÎÎÁÓ×ÅÍÈÅ (FINE TUNING) — ÀÄÀÏÒÀÖÈß ÌÎÄÅËÈ Ê ÑÏÅÖÈÔÈ×ÅÑÊÈÌ ÇÀÄÀ×ÀÌ ÍÀ ÓÇÊÈÕ ÍÀÁÎÐÀÕ ÄÀÍÍÛÕ.
ÂÛÂÎÄ
ËÎÃÈÊÀ LLM — ÝÒÎ ÑÈÍÒÅÇ ÌÀÒÅÌÀÒÈ×ÅÑÊÎÉ ÑÒÐÎÃÎÑÒÈ (ÂÅÊÒÎÐÍÛÅ ÏÐÅÄÑÒÀÂËÅÍÈß, ÌÅÕÀÍÈÇÌÛ ÂÍÈÌÀÍÈß) È ÑÒÀÒÈÑÒÈ×ÅÑÊÎÉ ÃÈÁÊÎÑÒÈ (ÂÅÐÎßÒÍÎÑÒÍÎÅ ÏÐÎÃÍÎÇÈÐÎÂÀÍÈÅ). ÕÎÒß ÌÎÄÅËÈ ÍÅ ÎÁËÀÄÀÞÒ ÑÎÇÍÀÍÈÅÌ ÈËÈ ÈÑÒÈÍÍÛÌ ÏÎÍÈÌÀÍÈÅÌ, ÈÕ ÑÏÎÑÎÁÍÎÑÒÜ ÓËÀÂËÈÂÀÒÜ ÊÎÍÒÅÊÑÒ È ÃÅÍÅÐÈÐÎÂÀÒÜ ÑÂßÇÍÛÅ ÒÅÊÑÒÛ ÎÒÊÐÛÂÀÅÒ ÎÃÐÎÌÍÛÅ ÂÎÇÌÎÆÍÎÑÒÈ — ÎÒ ÀÂÒÎÌÀÒÈÇÀÖÈÈ ÐÓÒÈÍÍÛÕ ÇÀÄÀ× ÄÎ ÑÎÇÄÀÍÈß ÊÐÅÀÒÈÂÍÎÃÎ ÊÎÍÒÅÍÒÀ.
ÎÄÍÀÊÎ ÂÀÆÍÎ ÏÎÌÍÈÒÜ: LLM — ÝÒÎ ÈÍÑÒÐÓÌÅÍÒ, ÒÐÅÁÓÞÙÈÉ ÊÐÈÒÈ×ÅÑÊÎÃÎ ÏÎÄÕÎÄÀ. ÈÕ «ÐÀÑÑÓÆÄÅÍÈß» ÍÓÆÍÎ ÏÐÎÂÅÐßÒÜ, À ÐÅÇÓËÜÒÀÒÛ — ÀÄÀÏÒÈÐÎÂÀÒÜ ÏÎÄ ÊÎÍÊÐÅÒÍÛÅ ÖÅËÈ. ÒÎËÜÊÎ ÒÀÊ ÌÎÆÍÎ ÐÀÑÊÐÛÒÜ ÏÎÒÅÍÖÈÀË ÝÒÈÕ ÒÅÕÍÎËÎÃÈÉ, ÈÇÁÅÃÀß ËÎÂÓØÅÊ ÈËËÞÇÎÐÍÎÉ «ÐÀÇÓÌÍÎÑÒÈ».