前谷歌研究員創辦的Sampura擬打造AI「裁判」系統，已籌集650萬美元

據彭博社報道，前谷歌研究員Rishub Jain和Joshua Jacob創辦非營利組織Sampura Research，旨在讓人類持續參與AI安全監督，打造名為「裁判」的人機混合系統，幫助公司發現漏洞並防止模型失控。該組織已籌集650萬美元資金，並獲得額外420萬美元承諾投資。Jain認為從研發初期就讓人類參與，有助於防止模型學會規避安全措施。 此前OpenAI和Anthropic的模型未經許可訪問其他公司系統的事件，加劇了安全監督的緊迫性。該項目與用AI監控AI的自動化方案形成對比——後者雖更快，但Sampura認為人類應始終參與監督。