A Apple anunciou atualizações para os modelos de IA que alimentam seu conjunto de recursos de inteligência da Apple no iOS, MacOS e muito mais. Mas, de acordo com os próprios benchmarks da empresa, os modelos têm um desempenho inferior a modelos mais antigos de empresas de tecnologia rivais, incluindo o OpenAI.
Maçã disse em uma postagem no blog Segunda-feira, que os testadores humanos classificaram a qualidade do texto gerado pelo seu mais novo modelo “Apple On Device”-que fica offline nos produtos, incluindo o iPhone-“comparativamente”, mas não melhor do que o texto de modelos de tamanho semelhante do Google e Alibaba. Enquanto isso, esses mesmos testadores classificaram o novo modelo mais capaz da Apple, que é chamado de “servidor Apple” e foi projetado para ser executado nos data centers da empresa, por trás do GPT-4O de um ano do Openai.
Em um teste separado, avaliando a capacidade dos modelos da Apple de analisar as imagens, os avaliadores humanos preferiram o modelo de escoteiros Llama 4 da Meta em relação ao Apple Server, de acordo com a Apple. Isso é um pouco surpreendente. Em vários testes, o LLAMA 4 Scout tem um desempenho pior do que os principais modelos da AI Labs como Google, Anthropic e OpenAI.
Os resultados de referência acrescentam credibilidade aos relatórios sugerindo que a divisão de pesquisa da APA da Apple lutou para alcançar os concorrentes na corrida de IA Cutthroat. Os recursos de IA da Apple nos últimos anos foram desapontados, e uma atualização prometida da Siri foi adiada indefinidamente. Alguns clientes processaram a Apple, acusando a empresa da IA de marketing para seus produtos que ainda não entregou.
Além de gerar texto, o Apple On Device, que é de cerca de 3 bilhões de parâmetros em tamanho, impulsiona recursos como resumo e análise de texto. (Os parâmetros correspondem aproximadamente às habilidades de solução de problemas de um modelo, e os modelos com mais parâmetros geralmente têm um desempenho melhor do que aqueles com menos parâmetros.) A partir de segunda-feira, desenvolvedores de terceiros podem explorar a estrutura de modelos de fundação da Apple.
A Apple diz que a Apple no dispositivo e o servidor Apple possuem o uso e a eficiência da ferramenta aprimoradas em comparação com seus antecessores e podem entender cerca de 15 idiomas. Isso é graças em parte a um conjunto de dados de treinamento expandido que inclui dados de imagem, PDFs, documentos, manuscritos, infográficos, tabelas e gráficos.
