O Uptime Industries está apostando na infraestrutura de IA local com um dispositivo portátil “AI-in-a-Box” chamado Lemony AI.
O tamanho de um sanduíche, Lemonia AI Pode supostamente executar um grande modelo de idioma (LLM), agentes de IA e fluxos de trabalho de IA em um nó. Cada limão requer apenas 65 watts de poder para executar, o equivalente a carregar um laptop e pode ser empilhado e conectado para formar aglomerados de IA maiores.
Sascha Buehrle, co-fundador e CEO da Uptime, disse ao TechCrunch que cada nó pode sustentar um LLM em até 75 bilhões de parâmetros em tamanho e pode hospedar modelos de código aberto ou versões adaptadas de modelos fechados. Em um cluster de nós de limão, cada dispositivo pode executar um modelo diferente.
O Uptime está sendo lançado com parcerias com a IBM e a JetBrains para proporcionar a seus clientes acesso mais fácil aos modelos de IA, incluindo os modelos fechados da IBM.
Como a maioria das startups de tecnologia, a idéia de Lemony AI surgiu de um projeto paralelo: os co-fundadores do tempo de uptime, Buehrle e Ivan Kuleseshov, estavam tentando descobrir se eles poderiam distribuir modelos de linguagem no Raspberry Pi Micro Computers e, embora isso não estivesse relacionado a AI gerativo, quando funcionou, eles começaram a tentar ver mais o que o RAM.
Quando eles perceberam que a execução de modelos em dispositivos locais poderia provar a chave para desbloquear mais adoção de IA pelas organizações-digamos, empresas que não desejam usar modelos baseados em nuvem-começaram a criar um dispositivo próprio. Eles imaginaram que ficarem pequenos, com ênfase na privacidade de dados, poderia fazer com que as empresas adotassem a IA mais rapidamente.
“Precisamos construir algo pequeno que possa entrar facilmente nas equipes e quais [does] Não exige nenhuma tomada de decisão em toda a organização-trazendo soluções generativas de IA no local para as equipes de negócios, basicamente ”, disse Buehrle. Clusters de dispositivos pequenos e poderosos podem ajudar o sistema a crescer de acordo com as necessidades de um cliente, acrescentou.
A empresa diz que já viu forte demanda dos negócios em indústrias fortemente regulamentadas, como finanças, saúde e direito.
“Tudo fica na sua caixa”, disse Buehrle. “Então, seus documentos, seus arquivos, seus e -mails – os modelos estão hospedados na caixa, os agentes estão funcionando localmente na caixa e nada está saindo da caixa.”
Até agora, o Uptime levantou US $ 2 milhões em uma rodada de financiamento de sementes liderada por True Ventures, com a participação da Alumni Ventures, Jetbrains e alguns investidores anjos. A empresa usará os fundos para desenvolver ainda mais seus dispositivos.
A startup diz que o plano agora é obter o software que desenvolveu para seus computadores micro ai, Lemony OS, trabalhar no hardware de outras empresas, como o Nvidia DGX Spark. Ele também deseja expandir o software de seu foco atual e único para um que pode ser usado pelas equipes.
A Lemony AI custa US $ 499 por mês para usar e pode ser acessada por até cinco usuários.
