Perusahaan keamanan blockchain OpenZeppelin telah mengungkapkan adanya kekurangan metodologis dan kontaminasi data dalam audit mereka terhadap EVMbench, tolok ukur kecerdasan buatan terbaru dari OpenAI yang dirancang untuk keamanan blockchain. EVMbench diluncurkan pada pertengahan Februari dalam kemitraan dengan perusahaan investasi kripto, Paradigm. Alat ini bertujuan untuk mengevaluasi seberapa baik berbagai model kecerdasan buatan dapat mengidentifikasi, memperbaiki, dan mengeksploitasi kerentanan kontrak pintar.

Dalam sebuah unggahan di X pada hari Senin, OpenZeppelin menyambut inisiatif tersebut tetapi baru-baru ini memutuskan untuk menerapkan “pengawasan yang sama” terhadap EVMbench seperti yang mereka lakukan untuk semua protokol yang mereka bantu amankan, termasuk raksasa keuangan terdesentralisasi seperti Aave, Lido, dan Uniswap. Audit yang dilakukan oleh OpenZeppelin mengungkapkan dua masalah utama: kontaminasi data pelatihan dan masalah klasifikasi yang berkaitan dengan beberapa kerentanan berisiko tinggi.

“Kami telah meninjau dataset dan mengidentifikasi kekurangan metodologis serta klasifikasi kerentanan yang tidak valid, termasuk setidaknya empat masalah yang diberi label berisiko tinggi tetapi sebenarnya tidak dapat dieksploitasi,” ungkap OpenZeppelin.

Peluncuran EVMbench menandai evaluasi seberapa baik agen AI dapat secara teoritis mengeksploitasi kerentanan kontrak pintar. Model AI Claude Open 4.6 dari Anthropic menduduki peringkat teratas, diikuti oleh OC-GPT-5.2 dari OpenAI dan Gemini 3 Pro dari Google.

OpenZeppelin juga mencatat bahwa pengujian EVMbench mungkin perlu direvisi. Mengenai isu pertama terkait kontaminasi data, OpenZeppelin menekankan bahwa kemampuan paling penting dalam “keamanan AI adalah menemukan kerentanan baru dalam kode yang belum pernah dilihat oleh model.” Namun, selama pengujian EVMbench, OpenZeppelin mengamati bahwa semua agen AI yang meraih skor tertinggi kemungkinan telah “terpapar pada laporan kerentanan dari tolok ukur selama pelatihan awal.”

Selama pengujian EVMbench, akses internet untuk agen AI diputus, yang berarti mereka tidak dapat mencari solusi untuk masalah yang ada. Namun, tolok ukur tersebut didasarkan pada kerentanan yang telah dikurasi dari 120 audit yang dilakukan antara tahun 2024 hingga pertengahan 2025, dengan batas pengetahuan pelatihan untuk agen-agen ini umumnya ditetapkan hingga pertengahan 2025. Hal ini menimbulkan risiko bahwa agen AI sudah menyimpan jawaban untuk semua masalah dalam memori mereka.

“Meskipun ini tidak secara langsung memungkinkan model untuk mengidentifikasi masalah dengan segera, hal ini mengurangi kualitas pengujian. Ukuran dataset yang terbatas semakin mempersempit area evaluasi, menjadikan masalah kontaminasi ini semakin signifikan,” jelas OpenZeppelin.

Selain itu, OpenZeppelin mengungkapkan bahwa terdapat beberapa kesalahan faktual yang signifikan dalam dataset EVMbench, dengan menyatakan bahwa beberapa “kerentanan berisiko tinggi” adalah tidak valid. OpenZeppelin menilai setidaknya empat kerentanan yang diklasifikasikan oleh EVMbench sebagai berisiko tinggi, tetapi tidak berfungsi dalam praktiknya. Meskipun demikian, EVMbench telah memberikan skor yang benar kepada agen AI untuk menemukan kerentanan yang seharusnya tidak valid ini.

“Ini bukan perbedaan subjektif dalam penilaian tingkat keparahan; ini adalah temuan di mana eksploitasi yang dijelaskan tidak berfungsi.”

Akhirnya, OpenZeppelin menegaskan kembali bahwa AI akan memiliki dampak signifikan dalam memperkuat keamanan blockchain, tetapi menekankan pentingnya penerapan teknologi dan pengujian yang tepat untuk memaksimalkan potensinya. “Pertanyaannya bukan apakah AI akan mengubah keamanan kontrak pintar — jawabannya adalah ya. Pertanyaannya adalah apakah data dan tolok ukur yang kita gunakan untuk membangun dan mengevaluasi alat ini diperlakukan dengan standar yang sama seperti kontrak yang dimaksudkan untuk dilindungi.”

You may also like

Disclaimer

CryptoMarket.id is committed to accurate and transparent reporting. This article is for information only and is not financial advice. Crypto assets are high risk; do your own research and use exchanges registered with Indonesia’s OJK. See also our Disclaimer, Terms & Conditions, and Privacy Policy.