PrismML發布Bonsai 27B，270億參數AI模型首次適配iPhone

據Decrypt報道，PrismML發布Bonsai 27B模型，這是首個能夠在消費級智能手機上運行的270億參數AI模型。該模型被壓縮至3.9GB，可在iPhone 17 Pro Max上以每秒11個token的速度運行。三進制變體壓縮至5.9GB，在M5 Pro筆記本上達到每秒26個token。壓縮技術基於加州理工學院知識產權，將每個模型權重從16位浮點精度降至僅正1或負1，二進制變體比全精度模型小14倍。在15項基准測試中，三進制Bonsai 27B平均得分80.49，達到全精度模型94.6%的性能。該模型以Apache 2.0許可證免費發布。