Unityで困ることの一つが、シンプルなプロジェクトでもすぐGBをこす大きなファイルサイズです。
みてみると大半がLibraryフォルダでした。
どうやらLibraryはキャッシュのようなので消してもファイル読み込みで再生成されるようです。
Unityプロジェクトで消しても良いファイル - SATOXのシテオク日記 (hatenadiary.jp)
[Unity] Libraryに含まれるCacheを削除してプロジェクト容量を削減する - JoyPlotドキュメント
【Unity】Libraryフォルダがめちゃくちゃ重くなった話 - SAT-BOX BLOG (hatenablog.jp)
ただあくまで自己責任となります。
残したいけどディスクサイズを使ってまで...という場合がいいかもしれません。