OpenAI宣布允许网站拦截网络爬虫，保障数据隐私

【ITBEAR科技资讯】8月8日消息，随着人工智能技术的迅猛发展，大型语言模型成为AI领域的一大热点。OpenAI旗下的GPT模型在自然语言处理方面取得了显著的进展，但在训练过程中却涉及到一系列问题，如数据隐私和版权等。

据了解，为了训练GPT模型，OpenAI需要大量的网络数据，而互联网上的数据成为主要的获取来源。然而，这种数据获取方式引发了许多争议。一方面，网站运营者担心其网站内容被GPTBot这样的网络爬虫获取，可能涉及隐私信息或侵犯版权。为此，OpenAI近日推出了一个新功能，允许网站运营者通过Robots.txt文件或屏蔽IP地址的方式，阻止GPTBot访问其网站，以保护数据的隐私和版权。

然而，这并不意味着之前从网站上抓取的内容会追溯性地从ChatGPT的训练数据中删除。这也引发了一些网站和创作者的担忧，他们担心其内容未经授权或未付费就被用于训练GPT模型，进而用于商业用途。一些网站已经采取措施限制AI公司免费使用其用户内容的行为，以维护用户的隐私和版权权益。

对于OpenAI而言，确保数据使用的合法性和透明性显得尤为重要。他们在博客文章中表示，使用GPTBot用户代理抓取的网页内容将会被筛选，过滤掉那些需要付费访问、包含个人身份信息(PII)或违反其政策的文本来源。这样的做法旨在提高AI模型的准确性、通用能力和安全性，从而更好地服务用户。

来源：http://www.itbear.com.cn/html/2023-08/467780.html