У INSAIT мы рады выпусціць BgGPT-7B-Instruct-v0.2, мадэль, якая выкарыстоўваецца ў дадатку для чата BgGPT: https://chat.bggpt.ai. Гэтая мадэль, частка серыі мадэляў BgGPT, з’яўляецца палепшанай версіяй той, якую мы выпусцілі некалькі тыдняў таму.
BGGPT-7B-Instruct-v0.2 па-ранейшаму з’яўляецца мадэллю 7B, якая вельмі хутка стварае тэкст і можа працаваць на большасці апошніх персанальных камп’ютараў. Ён таксама пастаўляецца з дазвольнай і камерцыйнай ліцэнзіяй Apache 2.0. Мадэль заснавана на Mistral-7B, але была падрыхтавана на значным аб’ёме даных і ў спалучэнні з іншымі дасягненнямі (якія будуць апублікаваныя на даследчых канферэнцыях) можа перасягнуць значна большыя мадэлі па балгарскіх задачах. Выдаткі на навучанне BGGPT-7B-Instruct-v0.2 цалкам паходзяць з прыватных сродкаў і ахвяраванняў. Глядзіце паведамленне ў блогу для BGGPT-7B-Instruct-v0.1, які мы выпусцілі раней.
Гісторыя поспеху BgGPT
Усяго за 2 тыдні BGGPT-7B-Instruct-v0.1 ужо быў прыняты рознымі кампаніямі, якія адзначылі, што з дапамогай усяго некалькіх гадзін працы і невялікіх вылічальных і фінансавых рэсурсаў для тонкай налады, ён можа дасягнуць прадукцыйнасці GPT-4 па канкрэтнай задачы на балгарскай мове.
Ацэнка і тэсты
Як і ў выпадку з многімі іншымі моўнымі мадэлямі, мы ацэньваем на аснове набору стандартных тэстаў, перакладзеных на балгарскую, а таксама на англійскую мову:
- Winogrande challenge [1] : праверка разумення свету
- Hellaswag [2] : праверка завяршэння прапановы
- ARC Challenge [3] : праверка лагічных разваг
- MMLU [4] : у тым ліку пытанні з некалькімі варыянтамі адказу па многіх дысцыплінах
- MathQA [5] : тэставанне матэматычных разваг
- GSM8K [6] : рашэнне задач з некалькімі варыянтамі адказу па матэматыцы ў сярэдняй школе
- TriviaQA [7] : праверка ведаў дробязяў
- bgGLUE [8] : уключае некалькі заданняў па балгарскай мове
Гэтыя тэсты правяраюць лагічныя развагі, матэматыку, веды, разуменне мовы і іншыя навыкі мадэлі.
Вынікі ацэнкі
Наступныя графікі паказваюць прадукцыйнасць BgGPT-7B-Instruct-v0.2. Ён пераўзыходзіць мадэлі такога ж памеру ў балгарскіх тэстах, у тым ліку паляпшаючы папярэднюю версію BgGPT-7B (BGGPT-7B-Instruct-v0.1). Ён таксама перасягнуў нашмат большы Mixtral-8x7B-Instruct-v0.1 на балгарскіх тэстах. Ён таксама не страціў ведаў англійскай мовы і па некаторых паказчыках параўнальны або лепшы за мадэлі Google Gemma-7B, Mistral-7B, Llama-7B і іншыя.
Перспектывы
Заўважце, што, хаця мадэль цалкам канкурэнтаздольная ў параўнанні з бясплатнымі мадэлямі з адкрытым зыходным кодам, асабліва па памеры, яна ўсё яшчэ не на ўзроўні платных камерцыйных прапаноў. Тым не менш, нават на сучасным узроўні, гэта можа быць карысна для многіх прыкладанняў.
Спасылкі
- Роўэн Цэлерс, Ары Хольцман, Ёнатан Біск, Алі Фархадзі і Еджын Чой. Hellaswag: Ці сапраўды машына можа скончыць ваш сказ? https://arxiv.org/abs/1905.07830
- Пітэр Кларк, Ісаак Коўхі, Орэн Эцыёні, Тушар Хот, Ашыш Сабхарвал, Карыса Шонік і Ойвінд Тафіёрд. Думаеце, вы вырашылі, адказаўшы на пытанне? паспрабуйце arc, выклік разважанняў ai2. https://arxiv.org/abs/1803.05457
- Дэн Хендрыкс, Колін Бернс, Стывен Басарт, Эндзі Зу, Мантас Мажэйка, Доун Сонг і Джэйкаб Стэйнхардт. Вымярэнне масавага шматзадачнага разумення мовы. https://arxiv.org/abs/2009.03300
- Аіда Аміні, Саадыя Габрыэль, Шанчуань Лін, Рык Канцэль-Кедзёрскі, Еджын Чой і Хананэ Хаджышырзі. MathQA: да інтэрпрэтацыйнага вырашэння матэматычных тэкставых задач з фармалізмам на аснове аперацый https://arxiv.org/abs/1905.13319
- Карл Коб, Вінет Косараджу, Махамад Баварыян, Марк Чэн, Хіву Джун, Лукаш Кайзер, Маціяс Плаперт, Джэры Турэк, Джэйкаб Хілтан, Рэічыра Накано і інш. Навучанне верыфікатараў рашэнню тэкставых матэматычных задач. https://arxiv.org/abs/2110.14168
- Мандар Джошы, Юнсол Чой, Дэніэл С Уэлд і Люк Зэтлмоер. Triviaqa: буйнамаштабны дыстанцыйна кантраляваны набор даных для разумення прачытанага. https://arxiv.org/abs/1705.03551
- Мамчыл Хардалаў, Пепа Атанасава, Тодар Міхайлаў, Галія Ангелава, Кірыл Сімаў, Пеця Асенава, Весялін Стаянаў, Іван Койчаў, Прэслаў Накаў і Драгамір Радеў. bgGLUE: тэст ацэнкі агульнага балгарскага разумення мовы. У матэрыялах 61-га штогадовага сходу Асацыяцыі камп’ютэрнай лінгвістыкі (том 1: доўгія артыкулы), старонкі 8733–8759 https://bgglue.github.io/
Крынiца:
https://bggpt.ai/blogen/#blog-post-1
