Cisco zaprezentowało nowe narzędzie open source, o nazwie Model Provenance Kit. Zostało ono zaprojektowane, aby pomóc organizacjom radzić sobie z potencjalnymi problemami związanymi z używaniem modeli AI pochodzących od stron trzecich.

Autor: 4 min czytania

Narzędzie przeznaczone jest głównie dla organizacji, które często korzystają z modeli AI dostępnych w repozytoriach, m.in. w Hugging Face. Skala tego zjawiska jest ogromna – w repozytoriach znajdują się już miliony modeli.

Chociaż modele te mogą przynosić wiele korzyści, organizacje często nie śledzą zmian w nich wprowadzanych. Dodatkowo, mimo że repozytoria podkreślają znaczenie kart modeli i metadanych, poziom utrzymania zapewniany przez ich twórców bywa różny, co wpływa na użytkowników końcowych.

Cisco zwraca również uwagę, że deklaracje składane przez twórców modeli – dotyczące m.in. pochodzenia modelu, jego podatności czy jakości danych treningowych – często nie są weryfikowane.

Czynniki te mogą prowadzić do różnych problemów związanych z bezpieczeństwem, zgodnością i odpowiedzialnością prawną. Na przykład przedsiębiorstwa mogą nieświadomie korzystać z modeli, które zostały „zatrute” lub takich, które są podatne na manipulację.

„Jeśli słabości modeli nie zostaną uwzględnione, mogą się dalej rozprzestrzeniać – niezależnie od tego, czy dotyczą wewnętrznego chatbota, aplikacji agentowej czy narzędzia skierowanego do klientów” – wyjaśnia Cisco. „Podobnie organizacja może wdrożyć model, który zawiera podatności w danych treningowych, co czyni go nieodpowiednim do zakładanego zastosowania lub podatnym na manipulację”.

„Podatności są dziedziczone i utrzymują się w aplikacjach generatywnych oraz agentowych. Bez informacji o pochodzeniu modelu organizacje nie mogą w łatwy sposób prześledzić incydentu od źródła ani ustalić, które inne modele w ich środowisku są również dotknięte problemem” – tłumaczy Cisco.

Dodatkowo, w przypadku incydentu z udziałem modelu AI, reagowanie i usuwanie skutków stają się trudniejsze bez wglądu w jego pochodzenie.

Inne problemy obejmują ryzyka licencyjne i regulacyjne związane z wymogami dotyczącymi dokumentowania wykorzystania systemów AI oraz zagrożenia dla integralności łańcucha dostaw, wynikające z braku możliwości weryfikacji deklaracji twórców modeli.

Model Provenance Kit od Cisco to nowy zestaw narzędzi oparty na Pythonie wraz z interfejsem wiersza poleceń (CLI) – ma na celu rozwiązanie wyżej opisanych problemów poprzez generowanie „odcisku palca” dla każdego modelu na podstawie sygnałów metadanych, podobieństwa tokenizera oraz innych kryteriów ocen, w tym bezpośredniego porównywania modeli”.

Narzędzie oferuje dwa tryby działania:

  • compare – umożliwia porównanie dwóch modeli w celu identyfikacji wspólnego pochodzenia,
  • scan – próbuje znaleźć najbliższe pochodzenie dla danego modelu, porównując jego „odcisk palca” z bazą danych przygotowaną przez Cisco.

„W miarę jak modele są nieustannie dostrajane, destylowane, łączone i ponownie pakowane, przestały być statycznymi zasobami. Ich pochodzenie jest coraz trudniejsze do prześledzenia i łatwiejsze do ukrycia, a odpowiedź na pytanie «Skąd pochodzi ten model?» wymaga bardziej zaawansowanych metod. Udostępnienie Model Provenance Kit to krok w kierunku podejścia opartego na dowodach do ustalania pochodzenia modeli” – podsumowuje Cisco.

Narzędzie Model Provenance Kit jest dostępne jako open source na GitHubie. Zbiór odcisków palców modeli bazowych od Cisco znajduje się na Hugging Face.