Slimming DenseNet · Ediția nr. 3 · liuzhuang13slimming · GitHub

Comentarii

Copiați linkul Citat răspuns

densenet

haithanhp comentat 23 decembrie 2017

Vă mulțumesc pentru o muncă grozavă. Am văzut că ați valorificat factorii de scalare ai normalizării în lot pentru a tăia greutățile de intrare și de ieșire la straturile de conv. la cel al stratului convoluțional anterior pentru tăiere. Deci, Cum poți tăia greutăți în acest caz?

Apropo, când raritatea antrenamentului DenseNet este terminată cu lambda 1e-5, observ că mulți factori de scalare nu sunt suficient de mici pentru tăiere. Acest lucru afectează performanța rețelei comprimate?

Textul a fost actualizat cu succes, dar s-au întâlnit aceste erori:

liuzhuang13 comentat 28 decembrie 2017

Multumesc pentru interesul tau. Tundem canalele în funcție de factorii de scalare ai BN și, după acest proces, stabilim factori mici (și părtiniri) la 0, apoi vedem ce canale putem tăia fără a afecta rețeaua. Aceasta se aplică tuturor structurilor de rețea. În DenseNet, de fapt, dimensiunea factorilor de scalare se potrivește cu dimensiunea convoluției, datorită structurii „pre-activare”.

Parametrul lambda necesită reglare pentru diferite seturi de date și hiperparametri (de exemplu, rata de învățare), deci este posibil să fie necesar să vedeți performanța finală.