Обучение детей и обучение ИИ

Немного шуток на тему:

«Чем отличается учитель, обучающий живых детей от ML-инженера (специалиста, обучающего искусственный интеллект)» :)

***

Живой учитель: «Дети, откройте учебник на странице 42».
ML-инженер: «Так, у нас 42 гигабайта сырых данных, половина из них мусор. Где дядя с разметкой?»

***

Учительница: «Петров, ты не выучил стихотворение, садись, два».
ML-инженер: «Модель показала loss 0.9 на валидации... увеличиваем learning rate и запускаем еще 100 эпох, пока она не перестанет ошибаться или пока не сгорит сервер».

***

Учитель: «Я поставлю тебе двойку в дневник и родители тебя накажут».
ML-инженер: «Я применю к тебе penalty function - если ты ошибёшься, вес твоего нейрона уменьшится. Страдай, матрица».

***

ML-инженер: «Моему кластеру нужно водяное охлаждение, иначе всё зависнет».
Учительница начальных классов: «Я держусь на остывшем растворимом кофе и валидоле уже тридцать два года».

***

ML-инженер: «Моей модели потребовалось 10 000 эпох, чтобы научиться отличать собаку от пирога!»
Учитель: «Я повторила правило про "жи/ши" десять тысяч раз, а Петров всё равно пишет "жыраф". Но у Петрова, в отличие от твоего ИИ, хотя бы папа спонсор школы».

***

ML-инженер использует attention mechanism. Учитель всю карьеру пытается его включить командой «Так, внимание на доску!»

***

У ИИ контекстное окно измеряется токенами. У пятиклассника - секундами до звонка.

***

ML-инженер сохраняет checkpoint. Учитель: «Запишите это, пожалуйста. Нет, Саша, сфотографировать доску -  это не checkpoint».

***

ML-инженер масштабирует вычисления, добавляя GPU. Учитель масштабирует обучение, говоря: «Кто понял - объясните соседу».

***

ML-инженер тратит часы на подбор системного промпта, чтобы ИИ не выдавал чушь.
Учитель 15 минут подбирает слова, чтобы класс открыл тетради и записал число: «Класс, число пишем. Посередине. Да, сегодняшнее. Нет, не карандашом».

***

У ML-инженера: падает процесс, надо уменьшить batch size.
У учителя: на шестом уроке в пятницу тридцать человек просто синхронно смотрят стеклянными глазами в стену и тихо гудят. Перезагрузка только в понедельник.

***

Data Augmentation глазами школьника: «Я не тупо списал у соседа, я заменил три слова синонимами, отзеркалил график и добавил шум в виде пятна от чая»

***

ML-инженер собирает терабайты разметки от сотен асессоров.
Учитель просто медленно берёт красную ручку, открывает дневник и смотрит на Вовочку тяжелым взглядом. Скорость сходимости алгоритма 0,3 секунды.

***

ML-инженер хвастается, что его модель мультимодальная (понимает аудио, текст и видео).
Учитель мечтает, чтобы класс держал включенной хотя бы одну модальность: «Вы либо на доску смотрите, либо меня слушаете, но не надо вместо этого жевать стёрку!»

***

ИИ для работы нужны киловатты чистой энергии и охлаждение жидким азотом.
Школьникам для разгона до третьей космической скорости на перемене нужны: одна сосиска в тесте, компот и уверенность, что дежурные их не догонят.

***

ML-инженер удаляет шум из датасета. Учитель просит шум выйти к доске.

***

ML-инженер добавляет модели память. Учитель пока пользуется фразой «откройте тетрадь и посмотрите».

***

ML-инженер может откатить модель до предыдущей версии. Учитель не может откатить класс до состояния «сентябрь, они ещё боялись разговаривать».

***

ML-инженер видит 98% accuracy и подозревает утечку данных. Учитель видит 98% правильных ответов и подозревает примерно то же самое.

***

ML-инженер может запустить обучение ночью и уйти домой. Вот тут учитель перестаёт смеяться...

Желаю всем хорошего настроения ;)