Lassítani kéne. Hogy legyen valami átláthatóság, az Anthropic három területre javasol metrikákat, és saját belső adatokat is közölt:
- A kutatás-fejlesztés automatizáltsága. Mekkora részt végez az AI, és mennyi emberi irányítást igényel? Augusztusban Claude a munka 26%-ában már vezető szerepet vitt, emberi felügyelettel. Februárban ez még 1% alatt volt. Teljes önállóságot egyetlen vizsgált területen sem mértek.
- Az AI-ágensek felügyelete. A műveletek mekkora részét ellenőrzik, milyen gyorsan vizsgálják felül őket, és milyen arányban blokkolják vagy jelölik további vizsgálatra? A vizsgált belső platformon minden művelet áthaladt az automatikus ellenőrzésen; augusztusban 0,002%-ukat blokkolták. A teljes lefedettség azonban önmagában nem bizonyítja, hogy minden veszélyes viselkedést felismernek.
- A számítási kapacitás elosztása. Mennyi erőforrás jut biztonsági munkára? A vizsgált héten a kutatás-fejlesztési számítási kapacitás 6%-a, az AI által végzett kutatás-fejlesztésén belül 12%-a szolgált ilyen célt. Ez ráfordítást mér: a biztonsági munka eredményességét önmagában nem mutatja meg.
Klassz, hogy a gyorsulás és az ellenőrzés végre együtt jelenik meg, de nekem még ez kevésnek tűnik. Eddig ezek csak vállalati önmérések. Publikus és kötelező incidens riportok lesznek? Jó lenne átfogó szabályozás a teljes iparágra, minél gyorsabban és minél előbb.