GPT-4 — Вікіпедія

GPT-4 (Generative Pre-trained Transformer 4) — мультимодальна велика модель мови, створена компанією OpenAI, четверта в серії GPT. Випущена 14 березня 2023 року і доступна для користувачів платної версії ChatGPT — ChatGPT Plus^[4]. Як трансформер, GPT-4 була попередньо навчена прогнозувати наступний токен (використовуючи окрім загальнодоступних даних також «дані, ліцензовані сторонніми постачальниками»), а потім допрацьована за допомогою навчання з підкріпленням на базі відгуків людей^[5].

В технічному звіті GPT-4 не вказано розмір моделі, посилаючись на «конкурентне середовище і наслідки для безпеки великомасштабних моделей»^[5]. The Verge цитував плітки, що ніби-то GPT-4 суттєво збільшить кількість параметрів з 175 мільярдів в GPT-3 до 100 трильйонів, які генеральний директор OpenAI Сем Альтман назвав «повною маячнею»^[6]. Представники США Дон Бейер і Тед Лью підтвердили для New York Times, що Альтман відвідував Конгрес США в січні 2023 року для того, щоб продемонструвати GPT-4 та його покращені «елементи керування безпекою» порівняно з іншими моделями ШІ^[7].

Компанія OpenAI написала в своєму блозі, що «GPT-4 надійніший, креативніший та здатний обробляти набагато складніші інструкції, ніж GPT-3.5»^[4]. Нова модель може читати, аналізувати чи генерувати до 25 000 слів тексту, що значно більше ніж попередня версія технології^[8][9].

Газета Нью-Йорк таймс писала, що модель GPT-4 продемонструвала вражаючі покращення в точності порівняно з GPT-3.5, отримала можливість узагальнювати складні тексти, коментувати зображення, пройшла адвокатський екзамен і декілька стандартних тестів, але все ж мала схильність до галюцинацій у відповідях^[10].

Компанія OpenAI критикувалась багатьма дослідниками машинного навчання за рішення приховати технічні дані про процес навчання моделі, зокрема розмір та джерела навчальних даних, витрати електроенергії, інформацію про обладнання та методи навчання. Деякі дослідники висловили думку, що приховування джерел даних, які використовувались для навчання, ускладнить перевірку безпеки ШІ (зокрема, як і чому в GPT-4 трапляються галюцинації)^[11].

Генеральний директор компанії Lightning AI, Вільям Фалькон, так прокоментував звіт OpenAI: «Я думаю усіх турбує те, що OpenAI створили цілий документ приблизно в 90 сторінок. Створюється враження, ніби модель відкрита та академічна, але це не так. Вони практичного нічого там не описали»^[12]. Фалькон також вказав, що звіт OpenAI «замаскований під дослідження» і «це стане поганим прецедентом»

GPT-4 доступний як API та для користувачів ChatGPT Plus.

Компанія Microsoft підтвердила, що версії Bing, які використовували GPT, насправді використовували GPT-4 до його офіційного релізу^[13]. 17 березня 2023 року Microsoft розповіла про плани подальшої інтеграції GPT-4 в свої продукти, анонсувавши Microsoft 365 Copilot, «який буде вбудований в програми, які мільйони людей використовують кожного дня: Word, Excel, PowerPoint, Outlook, Teams та інші»^[14].

Duolingo інтегрували GPT-4 в свій додаток і додали дві нові функції: «Рольові ігри» і «Поясни мою відповідь». Функціонал поки що доступний лише для тих, хто вивчає французьку мову чи іспанську з англійської^[15].

Картина, згенерована за допомогою AI-алгоритму XFutuRestyle, розробленого українцем Олегом Жинтичкою на базі GPT-4, стала частиною експозиції на міжнародній виставці цифрового мистецтва у Лондоні, де серед 42 творів лише один був створений за допомогою штучного інтелекту^[16].

GPT-4, як і його попередники, використовує різноманітні джерела даних для покращення розуміння мови та можливостей створення. Проте точні набори даних, які використовуються для його навчання, не були конкретно розкриті OpenAI через міркування конфіденційності. Тим не менш, можна зробити висновок з його продуктивності та загальних практик OpenAI, що його навчання включало великий корпус цифрового тексту^[17].