Семен (sim0nsays) wrote,
Семен
sim0nsays

Model compression

Сегодняшний концепт "хозяйке на заметку" называется model compression - http://arxiv.org/pdf/1312.6184.pdf

Оказывается, что хотя deep nets на многих задачах лучше, чем shallow nets (просто нейронные сети с несколькими полными уровнями)...
Но если shallow nets обучать не на реальных данных, а на "галюцинациях" deep net, они начинают работать лучше!
Настолько лучше, что сравниваются с некоторыми deep nets с тем же количеством параметров (разумеется, менее мощные, чем те, которые галлюцинируют)
http://public.closedcircles.com/posts/model-compression
Tags: data
  • Post a new comment

    Error

    default userpic
  • 8 comments