Apple ведет переговоры со стартапом, который уменьшает размеры ИИ-модели для работы на iPhone

Apple (NASDAQ: AAPL) ведет переговоры с небольшой компанией из Кремниевой долины, которая утверждает, что может уменьшить мощные модели искусственного интеллекта настолько, чтобы они работали непосредственно на iPhone, сообщил генеральный директор стартапа. Компания PrismML, созданная на базе Калифорнийского технологического института при поддержке Khosla Ventures, во вторник публично выпустила сжатые версии модели Qwen от Alibaba с открытым исходным кодом. Компания заявила, что уменьшила размер модели с примерно 54 ГБ до менее чем 4 ГБ, что позволяет запускать все 27 миллиардов ее параметров на iPhone 15 или более новых моделях.

 

Генеральный директор PrismML Бабак Хассиби рассказал в интервью CNBC, что Apple и другие компании сейчас оценивают модели стартапа и измеряют их скорость, энергоэффективность и производительность на устройствах. «Они сейчас оценивают нашу технологию», — сказал Хассиби об Apple. Он охарактеризовал перегвооры как находящиеся на самой ранней стадии и сказал, что пока неясно, к чему они приведут.

 

PrismML заявила, что уменьшает размеры моделей ИИ за счет значительного упрощения способа хранения их внутренней информации — сокращая каждое значение с 16 бит до одного или трех возможных значений. Это существенно уменьшает объем памяти, необходимый для хранения и работы модели.