Dopo che un ricercatore di Anthropic ha lasciato il mestiere temendo che l’IA potesse essere catastrofica, alcuni esperti hanno deciso di agire. Il duo di fondatori e ‘cognati’ Rune Kvist e Rajiv Dattani ha lanciato Artificial Intelligence Underwriting Company (AIUC), un’azienda che punta a portare la sicurezza dell’IA nelle grandi corporate. Il problema è che, come spiega Kvist, l’IA diventa più veloce e intelligente, rendendola sempre più difficile da controllare. Il rischio non è che l’IA ‘diventi malvagia’ in senso cinematografico, ma che diventi imprevedibile e non affidabile in contesti lavorativi sensibili. Per affrontare questo, AIUC sta prendendo un modello collaudatissimo – quello della cybersecurity – e lo adatta ai rischi dei sistemi AI. Hanno creato uno standard chiamato AIUC-1, ispirato allo standard SOC 2 (usato dalle banche e dai data center). L’idea è semplice, ma geniale: quando un’azienda acquista un ‘agente AI’ per, diciamo, gestire i clienti o analizzare dati sensibili, non può più fidarsi solo della promessa del fornitore. Serve una terza parte neutrale che attesti l’affidabilità del sistema. Il processo di auditing è un bel circo tecnologico: AIUC assembla un consorzio di leader in sicurezza e chiede loro: ‘Cosa vi spaventa quando comprate un agente AI?’ Questo feedback modella i test. Quindi, il sistema lancia l’agente attraverso circa 5.000 simulazioni, testando scenari di ‘jailbreaks’ (dove l’IA viene ingannata) o perdite di dati. Il risultato è un rapporto dettagliatissimo che mappa non solo dove l’agente è sicuro, ma anche esattamente dove c’è un buco nero di vulnerabilità. E per finire il colpo, l’AI viene usata per testare l’AI, e gli umani verificano il report finale. L’obiettivo è chiaro: dare alle grandi aziende e ai settori critici una cartina di tornasole assoluta sull’affidabilità dei modelli di intelligenza artificiale.
🇬🇧 Summary in English
In the wake of an Anthropic researcher quitting out of existential AI fears, a group of experts—founders Rune Kvist and Rajiv Dattani—have launched a startup, Artificial Intelligence Underwriting Company (AIUC). Their mission? To bring robust safety measures to enterprises deploying sophisticated AI agents. As Kvist explains, the core problem is that while AI is getting smarter, it’s also becoming fundamentally harder to control once it’s in use. The threat isn’t necessarily a Hollywood-style ‘AI rebellion,’ but rather unpredictability and unreliability within crucial corporate functions. AIUC tackles this by adapting a proven methodology: the cybersecurity audit. They’ve created the AIUC-1 standard, which is modeled after established frameworks like SOC 2 (commonly used by banks and data centers). The concept is elegantly simple: when a company buys an AI agent for tasks like customer support or data analysis, they can no longer rely solely on the provider’s word. They need an independent, third-party certification. The audit process itself is a tech spectacle. AIUC gathers a consortium of security leaders to pinpoint real-world fears: ‘What would freak you out if you bought an AI agent?’ These fears then shape the rigorous testing. The system subjects the agent to about 5,000 simulations, stress-testing it for scenarios like ‘jailbreaks’ (where the AI is tricked) and data leaks. The result is a comprehensive report that highlights exactly where the agent is safe and, critically, where the vulnerabilities lie. Adding a neat layer of recursion, AI is used to run the tests and analyze the data, while human experts validate the final findings. The goal is clear: to give critical industries and large enterprises a crystal-clear assessment of an AI agent’s trustworthiness before they sign the adoption papers.
Leggi l’articolo originale su TechCrunch →
Fonte: TechCrunch | Argomento: Tech News
#tecnologia #innovazione #technews