What Makes a Good Prune?

What Makes a Good Prune? Maximal Unstructured Pruning for Maximal Cosine Similarity는 2024년 ICLR에서 발표된 논문으로, 신경망의 Unstructured Pruning을 평가하고 수행하는 새로운 접근법을 제안하였다.
이 논문의 주요 초점은 Cosine Similarity를 활용하여, 원본 모델과 Pruned 모델의 표현 능력을 최대한 유지하면서 복잡성을 줄이는 것이다.

기존의 L1 노름 기반 Pruning이나 Random Pruning과는 다르게, 이 접근법은 파라미터 벡터의 방향성을 보존하는 데 중점을 둔다.
이 방식은 Pruning 후에도 모델이 원본 네트워크의 기능적 특성을 더 잘 유지하도록 설계되었다.
해당 실험에서는 모델의 정확도, Parameter Size, Inference Time 등을 측정하고 기존 방법들과 비교하는 작업을 진행하였다.

---

Citation

@inproceedings{
  mason-williams2024what,
  title={What Makes a Good Prune? Maximal Unstructured Pruning for Maximal Cosine Similarity},
  author={Gabryel Mason-Williams and Fredrik Dahlqvist},
  booktitle={The Twelfth International Conference on Learning Representations},
  year={2024},
  url={https://openreview.net/forum?id=jsvvPVVzwf}
}