Pemindai pihak ketiga: JFrog

JFrog mendeteksi perilaku berbahaya dalam model machine learning melalui security scanner-nya.

Contoh laporan untuk danger.dat

Kami bermitra dengan JFrog untuk menyediakan pemindaian guna membuat Hub lebih aman. File model dipindai oleh pemindai JFrog dan kami menampilkan hasil pemindaian pada antarmuka Hub.

Scanner JFrog dibangun dengan tujuan untuk mengurangi false positive. Memang, apa yang saat ini kami amati adalah bahwa kode yang terkandung di dalam bobot model tidak selalu berbahaya. Ketika kode terdeteksi dalam sebuah file, scanner JFrog akan mem-parsenya dan menganalisisnya untuk memeriksa penggunaan yang berpotensi berbahaya.

Berikut adalah contoh repositori yang dapat Anda lihat untuk melihat fitur tersebut dalam aksi: mcpotato/42-eicar-street.

Pengingat keamanan model

Untuk membagikan model, kami melakukan serialisasi struktur data yang digunakan untuk berinteraksi dengan model, guna memfasilitasi penyimpanan dan transportasi. Beberapa format serialisasi rentan terhadap eksploitasi berbahaya, seperti eksekusi kode arbitrer (terutama pickle), sehingga membagikan model berpotensi menjadi berbahaya.

Karena Hugging Face telah menjadi platform populer untuk berbagi model, kami ingin melindungi komunitas dari hal ini, sehingga kami mengembangkan alat seperti picklescan dan mengintegrasikan pemindai pihak ketiga.

Pickle bukanlah satu-satunya format yang dapat dieksploitasi, lihat referensi tentang bagaimana seseorang dapat mengeksploitasi lapisan Keras Lambda untuk mencapai eksekusi kode arbitrer.

Update on GitHub