您当前的位置:首页 > 电脑百科 > 程序开发 > 开源程序 > 百科

微软开放AI安全风险评估工具Counterfit源代码

时间:2021-05-06 13:01:43  来源:雷锋网  作者:

近日,微软开源了AI安全风险评估工具Counterfit,该工具旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示,Counterfit可以使组织进行评估,以确保其业务中使用的算法是可靠和可信赖的。

当前,人工智能技术正越来越多地应用在医疗,金融和国防等受监管的行业中。但是,组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现,部分企业用户表示,他们没有合适的资源,以确保他们的AI系统的稳定性和安全性。

微软表示,Counterfit诞生于该公司评估AI系统是否存在漏洞的需求,目的是主动保护AI服务。该工具起初是专门为目标AI模型编写的攻击脚本集,然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层,Counterfit是一个命令行实用程序,为对抗性框架提供了一层,并预先加载了可用于逃避和窃取模型的算法。Counterfit寻求使安全社区可以访问已发布的攻击,同时提供一个界面,通过该界面可以构建,管理和发起模型攻击。

当使用Counterfit在AI系统上进行渗透测试时,安全团队可以选择默认设置,设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用Counterfit的内置自动化功能进行扫描,并可以选择多次扫描,以创建操作基准。

Counterfit还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样,遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部,微软将Counterfit用作其AI红色团队运营的一部分,并在AI开发阶段中使用,以在漏洞投入生产之前发现漏洞。该公司还表示,它已经与多家客户进行了Counterfit的测试,其中包括航空航天巨头空客公司(Airbus),该公司正在开发基于Azure AI服务的AI平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员Matilda Rhode在一份声明中说:“确保这种技术的安全至关重要,特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上,企业希望人们相信AI是不受操纵,是安全的。1月发布的Gartner的“管理AI风险的5大优先事项”框架中的一项建议是,组织“ 针对攻击性攻击采取特定的AI安全措施,以确保抵抗和复原力。” 这家研究公司估计,到2024年,实施专门的AI风险管理控制的组织将避免负面的AI结果的发生频率是未消除负面结果的两倍。”

根据Gartner的 一份报告,到2022年,所有AI网络攻击中有30%将利用训练数据中毒,模型盗窃或对抗性样本攻击以机器学习为动力的系统(雷锋网雷锋网雷锋网)

本文编译自:
https://venturebeat.com/2021/05/04/microsoft-open-sources-counterfit-an-ai-security-risk-assessment-tool/



Tags:Counterfit源代码   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
近日,微软开源了AI安全风险评估工具Counterfit,该工具旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示,Counterfit可以使组织进行评估,以确保其业务中使用的算法是可...【详细内容】
2021-05-06  Tags: Counterfit源代码  点击:(234)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是等天黑, 今天介绍一个开源免费的监控工具 Uptime Kuma, 简单实用, 主要用来监控 Web 和网络, 和 Prometheus 不一样的是, 它是轻量的, 基于Node.js 和 Vue 3 开发...【详细内容】
2021-12-16  全球技术精选    Tags:监控工具   点击:(13)  评论:(0)  加入收藏
Svelte https://svelte.dev/Svelte 是一种全新的构建用户界面的方法。传统框架如 React 和 Vue 在浏览器中需要做大量的工作,而 Svelte 将这些工作放到构建应用程序的编译阶...【详细内容】
2021-11-09  风吹草低见到喜洋洋    Tags:开源软件   点击:(73)  评论:(0)  加入收藏
开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是 Lilishop 商城系统 基于SpringBoot 研发,B2B2C多用户商...【详细内容】
2021-10-21  GitHub精选    Tags:Lilishop   点击:(225)  评论:(0)  加入收藏
前言一个基于spring boot的JAVA开源商城系统,是前后端分离、为生产环境多实例完全准备、数据库为b2b2c商城系统设计、拥有完整下单流程和精美设计的java开源商城系统https://...【详细内容】
2021-09-17  Java架构师知识    Tags:开源商城   点击:(119)  评论:(0)  加入收藏
Web项目开发中视频播放是一个非常常见的需求,需要播放器能够支持pc端和移动端的使用,并且支持常见的视频格式。我们从github上精选了5款优秀的Html5 播放器插件分享给大家。(排...【详细内容】
2021-09-17  IT宇哥    Tags:播放器   点击:(99)  评论:(0)  加入收藏
本文盘点了 7 月份比较火的几个开源项目,涉及 Java、Python、教程等,这些开源项目分别是:1. 主流技术栈原理2. 数据可视化分析工具3. Spring 手撸专栏4. 接口管理平台5. 直播源...【详细内容】
2021-08-04  一个快乐的摸鱼人    Tags:开源项目   点击:(79)  评论:(0)  加入收藏
今天,要和大家推荐一个Go 编写的开源推荐系统——Gorse。 Gorse 旨在成为一个通用的开源推荐系统,可以快速引入各种在线服务。通过将商品、用户和交互数据导入 Gors...【详细内容】
2021-08-02  程序员吖  今日头条  Tags:推荐系统   点击:(104)  评论:(0)  加入收藏
什么是kubeedge:KubeEdge是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于kubernetes构建,并为网络应用程序提供基础架构支持。云和边缘之间的部署和元...【详细内容】
2021-06-28  pythontaotao    Tags:kubeedge   点击:(225)  评论:(0)  加入收藏
什么是开源?开源(Open Source)全称是:开放源代码。在今天,不仅是软件的源代码,还有硬件的机械图、电路图、PCB图,甚至整个工程项目的源文件,也都是开源的对象。开源的目的,就是让用户...【详细内容】
2021-05-31  机电匠  今日头条  Tags:开源协议   点击:(228)  评论:(0)  加入收藏
近日,微软开源了AI安全风险评估工具Counterfit,该工具旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示,Counterfit可以使组织进行评估,以确保其业务中使用的算法是可...【详细内容】
2021-05-06    雷锋网  Tags:Counterfit源代码   点击:(234)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条