Новый комедийный триллер «киборг-тупица»
Недавно я подробно разобрал функционал крохотной языковой модели тиндергпт с 3
нейронами на выходе. Но сам чувствовал, что модель порой работает чуть сложнее,
а сегодня вообще поразился связному и прикольному посту. Но подпись все
расставила по своим местам. Это с нуля поработала большая модель, настоящий
гпт.
И тут я сообразил, как крохотной модели удавалось порой имитировать модель
размером поболе. Способ называется дистилляцией (не путать с самогоноварением).
Суть - малая модель обучается не на данных реального мира, а на ответах большой
модели. В результате, не обладая возможностями большой модели, малая учится
имитировать мышление большой. Учитывая, что все свободное от феминизма время
тиндер проводит, обучаясь у чатагпт, их некоторое сходство получает наконец
объяснение.
2026-07-09 в 16:40
2 просмотров 57