Повертаємось до наших ембедінгів. Цього разу приклад використання BERT для файнтюнінга датасета про…
Повертаємось до наших ембедінгів. Цього разу приклад використання BERT для файнтюнінга датасета про пиво 🍺 — це колаб від Андреа.
Чому не приклад використання для контенту всього сайту? Тому що BERT потребує досить якісних даних на вході, класної архітектури, а також навантажує систему, потребує великих обчислювальних ресурсів. Зазвичай на всьому сайті його ніхто не використовує або робить вигляд, нібито використовує, а насправді юзає щось інше. Але просили приклад саме з BERT, то ось, отримуєте.
Що таке файнтюнінг? Це налаштування вже навченої моделі під свої потреби. Тобто є якась загальна модель, наприклад, BERT, а ви донавчаєте її семантичної схожості саме сортів пива. Наприклад, щоб вона потім допомагала вам підбирати в магазі пива схожий товар в блоці Related Products.
Що потрібно для користування кодом в прикладі 🟢 Доступ до Data.World. 🟢 Токен Jina.ai. 🟢 Доступ до Atlas від Nomic AI, якщо плануєте робити візуалізації. Але я рекомендую їх робити і показувати колегам або якщо ви на когось працюєте, то біг босу. Вони іноді таке люблять.
Ви можете адаптувати код під себе, просто змінивши датасет.
Цей код зберігає зафайнтюнену модель і може робити inference, коли ви додаєте нові продукти в систему.