???? ??? ??? ?? ???? ?? ?? ?? ???? ?? ? ????. 
?? ?? ??? ??? ?? ???? ??? ??3? ? ?? ???? ‘??? ?? ??‘??.
??? ??? “???? ??? LLM(??? ?? ??) ? ?? ??? ??? ??”??.
80? ? ? 700? ? ???? ??? ? ?? ??? ???? ??3? ?? ?? ?????? ??? ??? ?????, ?? ????? ??? ??? ?? ??? ?? AI? ?? ???? ? ??.
??? ? ? ?? ? ? ???? ?, ?? ?? ?? ? ?? ??? ??? ??? ??? ??? ???? ??? ??? ?? ????.
??3? ??? ??? ??? ?? ?? LLM? ??? ?? ??? GPT 3.5 ? ???(Gemini)? ??? ??? ?? ???? ??? ? ?? ???.
?????? ??? ??? ??? ??? ?? ??? ???? ??? ????? ??? ????.
??3? ?? ??? ?? ?
?? ??? ???? ? ??? ?? ??? ?? 2 ??? ?? ??? ??????? ?? ???? ? ??? ???? ???.
“??? 8B ? 70B ????? ??3 ??? ?? 2? ?? ?? ?????, ?? ??? LLM ??? ?? ??? ??? ??? ????.
“?? ??? ?? ??? ?? ??? ?? ?? ? ????? ?? ?? ??? 8B ? 70B ???? ???? ???? ??? ????”?? ???? ????.
??? ??? ???? ?? ? ?? ?? ??? ???? ?? ???? ????? ???. ?? ??, ??3? ????? ?? ??? ???? ??? 15? ? ??? ???? ?? ??????, ?? ?? 2? ??? ??? ???? 7? ? ? ???.
????? ?? ??? ??? ???? ??? ?? ??? ???? ? ???? ???? ??, NSFW ??, ??? ?? ?? ???, ??? ???? ?? ??? ??? ?????? ????.
???, ??2? ??3? ?? ? ??? ??? ??? ?? AI ?????? ?? ??? ? ??? ?? ??. ??2? ?? ????? ?GPT? ???? ?? ?? ???? ???? ???? ????, ?? AI? ???? ? ??? ???? ? ??? ??.
?? ??, ???, ??, ????, ???, ????, ?????, ????, ????, ????????, ???, ???, ????? ????? ????, ?????, ???(WhatsApp), ????? ?? AI ? ??3? ???? ? ??.
? ??? ?? AWS, ??????(Databricks), ?? ????, ?????(Hugging Face), ??(Kaggle), IBM ??X(IBM WatsonX), ??????? ??(Microsoft Azure), ???? NIM, ???????(Snowflake)??? ??? ? ?? ? ????.
??3? ??? ?? ??? ??? ???? ??
??3? ??? ??? LLM ???? ?? ??? ??? ????. ?? ?? ???? ?? ? ??? ???? ??? ?? ??? ?? ???? ?? ?? ? ??? ???? ???.
???????(Domino Data Lab)? ?? ???? ? ??(Kjell Carlsson) ??? ?????? ??? ???:
“???? ???? GenAI ??????? ????? ?? ????? ??3? ???? ??? ? ???? ?? ?? ??????.”
“?????? ????? ?? ??? ?? ??? GPT-4 ? ????? ??, ??3? ??? ??, ?? ?? ? ??? ? ?? ??? ? ????? ???? ? ?? ?? ?? ?? ??? ????.”
??, ??? ‘????? ?? ??‘? ???? ?? ??????? ?? ? ?? ?? ??? ??? ? ???, ???? ???? ??? ??? ???? ??? ??? ? ??? ?? ????? ???.
??, ?? ?? ??? ? ?? ???? ??? ??? ? ????. ??? ????? ???? ?? ?? ??? ? ?? ??? ??.
??? ??? ?? ?? ??? ?? ??
?? ?? ???? ?? ? ??? (??? ????) ?? ?? ????, ?? ???? ??? ? ?? ? ?? ??? LLM? ???.
??? ???? ???? ClearML? CEO?? ?? ???? ?? ???(Moses Guttmann)? ?????? ???? ?? ??? ?? ???:
“??? ?? ??? ?? ??3? ??? ?? ?? ?? AI ???? ??? ????? ??? ??? ?? ??.”
“?? ?? ??? ??? ? ?? ??? ???????, ??3? ?? ????? ??? ??? ???? ????? ??? ?????? ????. ??? ??? ??? ???? AI? ??? ??? ??? ? ?? ??? ??? ??? ????? ??.”
???? ??? ??? ????? ?? ???? ?? ?? ??? ?? ???? ???? ???? ???? AI ???? ???? ?? ???? ??.
???, ?????????(Allen Institute for AI ?? AI2)? ?? ?? ?? ?????? ????(Luca Soldaini)? ?? ?? ?? ????? ???? ???? ???? ???? ??? ? ?? ???? ????? ???.
????? ?????? ??? ???:
“?? ? ?? ??? ???? ???? ?? ?? ????, ?? ?? ????? ???, ??, ??, ??, ?? ? AI ?????? ?? ?? ??? ?? ???? ????.”
“?? ?? ????? ??? ??? ?? ??? ??? ???? ?? ??? ???? ??? ??? ??? ?? ?? ?? AI ??? ? ???? ? ??.”
??? ?? ??3? ??
2023?? ?? ?? ??? ?? Llama 2, Falcon 180B, Mistral 7B? ?? ??? ??????, ?? ?? ??? ??3? ???? ???? ???.
??? ??? ?? ??? ???, ??3 8B? MMLU, GPQA, HumanEval, GSM-8K ? MATH ?? ?????? ??? ??? AI ??? ?? 7B? ???? AI? ???? 7B?? ??? ????.
??? ?? ??3 70B? ?? ?? ?????? ??? ?? 1.5 ? ??? 3 ???? ?? ?? ??? ?? ???? ??? ??? ????. ?? ?????, ??3 70B? MMLU, HumanEval, GSM-8K? ?? ?????? ??? ?? 1.5 ? ??? 3 ??? ?? ?? ??? ?????, GPQA ? MATH? ?? ??????? ???? ???.
??, LLM? ??? ??? ? ?????? ?? ???? ??? ???? MMLU ??? ???? ??3? 82.0?? GPT -4? 86.4?, ??? ???(Gemini Ultra)? 90?? ?? ??? ?? ? ? ??. ?? ?? ?? ??? ???? ?? ?? ?? ??? ?? ???? ??? ????.
??3 8B vs ?? 7B-IT?? ???? 7B ?????
| ???? | ??3 8B? | ?? 7B-IT | ???? 7B ????? |
| MMLU? | 68.4 | 53.3 | 58.4 |
| GPQA? | 34.2 | 21.4 | 26.3 |
| HumanEval? | 62.2 | 30.5 | 36.6 |
| GSM-8K? | 79.6 | 30.6 | 39.9 |
| MATH? | 30.0 | 12.2 | 11.0 |
??3 70B vs ??? ?? 1.5? ??? 3 ???
| ???? | ??3 70B? | ??? ?? 1.5? | ??? 3 ???? |
| MMLU? | 82.0 | 81.9 | 79.0 |
| GPQA? | 39.5 | 41.5 | 38.5 |
| HumanEval? | 81.7 | 71.9 | 73.0 |
| GSM-8K? | 93.0 | 91.7 | 92.3 |
| MATH? | 50.4 | 58.5 | 40.5 |
??
??3? ???? ????? ? ????. ?? AI ????? ??? ??? ??? ??? ? ?? ????, ?? ?? ?? ??? ?? ??? ??? ???? ??? ???? ??? ? ??.
??, ?? ?? ??3? ??? ?? ???? GPT-4 ? ???? ?? ???? ??? ???, ?? ??? ??? ??? ???? ????.
