Pinterest、Indeed 等全球排名前 100 的网站中有 26% 已屏蔽 GPTBot

2023-09-29 09:11 · 收集整理：睿虎网络

睿虎网络(nnphp.com) 9月28日消息:根据人工智能内容检查器和抄袭检查服务 Originality.ai 的最新分析，目前排名前 100 位中至少有 26 个网站（排名前 1000 位则有 242 个）已经屏蔽了 OpenAI 于 8 月 7 日推出的网络爬虫 GPTBot。

这比上个月增加了 250%，当时在排名前 1000 位的网站中，只有 69 家屏蔽了 GPTBot。

是否屏蔽 ChatGPT 一直是许多 SEO 人员面临的重要问题，因为 ChatGPT 没有引用或链接到其来源。我们答应搜索引擎爬取我们的内容，因为存在明显的潜在好处——通过直接链接/引用获取流量。

显然，更多受欢迎的网站决定屏蔽 GPTBot，可能是因为他们不希望 OpenAI 在没有任何形式补偿情况下获取他们数据以帮助练习模型。

12 个热门网站现已屏蔽 GPTBot。在上个月新增的 100 个最受欢迎的网站中，大部分都是发布新闻和信息的网站：

pinterest.com
indeed.com
theguardian.com
sciencedirect.com
usatoday.com
stackexchange.com
alamy.com
webmd.com
dictionary.com
washingtonpost.com
npr.org
cbsnews. com

而有趣的是，在上个月还阻止 GPTBot 的 Foursquare 现在不再阻止了。

那么 CCbot 呢？Common Crawl 的网络爬虫仍然被少数网站（130 个）屏蔽。值得注重的是，Common Crawl 为 OpenAI、Google 和其他公司提供了部分练习数据。

另外，在本次分析中有 1000 个网站中有 67 个 robots.txt 文件未被识别/检查。（这就是为什么在文章开头写了「至少」。）

（举报）

相关推荐
大家在看

要害词：

【腾讯云】11.11云上盛惠！云服务器首年1.8折起，买1年送3个月！

11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

Docker容器镜像
去看看

Docker容器镜像 60元/15天

爆款产品组合购
去看看

爆款产品组合购低至1元

腾讯云x NVIDIA加速计划
去看看

腾讯云x NVIDIA加速计划最高获赠10万元扶持基金

2核2G云服务器
去看看

2核2G云服务器 112元/1年

查看更多相关信息>>

腾讯云 12-20

广告
GPTs Hunter国内版网站地址入口 GPTs聚合网站有哪些

OpenAI大会的发布激发了人们对AIGC创作的热情。在刚发布的72小时里，创作者们积极创建了大量创意GPT分身，截至11月10日19点，第三方GPT商店「GPTsHunter」中的自定义GPT数量已经超过了2000个。由于AI产品信息可能会随时间变化，建议定期查看「Aibase产品库」信息和相关技术新闻网站获取最新GPTs信息。

GPTsHunter GPTs
大家都在等？致态TiPlus7100&Ti600 4TB新品同时开售！大到显眼！

随着存储信息爆炸、影音照片越来越高清、游戏体积越来越大，你是否已经开始有了容量焦虑？日常工作生活中，大家对于4TBSSD的需求越来越大。跟着致态不踩雷，进入致态京东自营旗舰店即可入手适合你的心仪产品~感爱好的朋友们还可在长江存储官网、致态官方微信、致态官方微博获取更多新品信息和动态。
微软Azure新动向：GPT-4 Turbo与GPT-3.5 Turbo全球发布

在微软云开发者大会上，公司首席执行官SatyaNadella公布Azure开放服务即将推出更新的生成式AI模型，为开发者提供更先进、高效的人工智能工具。微软在截至本周的AzureOpenAI服务中引入了新型号，其中包括GPT-4和GPT-3.5Turbo1106的最新版本。这两种新的GPT模型将向大多数客户提供预览版，并通过微软的预配置吞吐量使其更广泛地可访问。
Interbrand全球最佳品牌榜公布三星连续四年蝉联全球TOP5

三星凭借以用户体验为中心的战略与引领AI、6G等未来技术发展获得业界高度认可，品牌价值高达914亿美元，2023年11月21日，三星电子连续第四年荣膺全球品牌咨询公司Interbrand评选的全球最佳品牌排行榜TOP5。Interbrand每年都会发布“全球最佳品牌”榜单，今年榜单中显示，三星电子的品牌价值已达914亿美元，同比去年增长4%。更多最新信息，请登录SamsungNewsroom。
最快移动内存！vivo X100全球首发LPDDR5T

vivoX100不仅首发搭载天玑9300全球首发了LPDDR5T内存。这是全球最快移动内存，根据官方数据，LPDDR5T的速度达到了9.6Gbps。体现在日常使用上，LPDDR5T搭配天玑9300的组合，会让vivoX100游戏加载更快、进入App更快，后台切换更顺畅等等。
微软 Copilot 即将集成GPT-4 Turbo等OpenAI最新工具

微软近期公布其AI助手Copilot将迎来重大升级，整合OpenAI最新工具，尤其是强化版的GPT-4Turbo。GPT-4Turbo在OpenAI的DevDay上公布，被认为是令人期待的进展之一。这也是微软在人工智能领域持续创新的体现，为用户提供更先进的工具和体验。

Copilot AI头条
对标GPTs，微软连夜发布100多项更新！微软CEO：Copilot时代来了

“我们正处于一个转折点，这显然是Copilot的时代。”微软CEOSatyaNadella说道。AzureAIContentSafety现已正式商用，能帮助企业检测和减少有害内容，客户可将其作为AzureOpenAI服务中的内置安全系统，作为Azure机器学习中提示工程的一部分可以将其看作独立的API服务。

Copilot GPTs 微软
荣耀100系列今晚发：全系12GB内存起步最高1TB存储

今晚19:30，荣耀将召开新品发布会，推出荣耀100系列。荣耀100、荣耀100Pro已在荣耀商城上架开启预约，颜色和版本已经提前公布。值得一提的是，荣耀100系列全系均支持OIS光学防抖，可提高成片率、拍夜景更清楚。
GPTs商店应用软件怎么使用？GPTs应用大全合集网站有哪些

OpenAI发布了一款名为ChatGPT的软件，如今他们在上周的开发者大会上再次发布了相似的消息，宣称任何人都可以创建个性化的自然语言聊天机器人，无需编码，用户可以通过在线商店获取。OpenAI将这些专业的AI聊天机器人称为"GPTs"，不再称它们为应用程序。随着GPTs生态系统的成熟和发展，我们可以期待看到更多创新和有用的应用出现在GPT商店中。

GPTs商店 GPTs应用
全球超算排名第2！中国最新申威SW26010-Pro处理器公开展示

在前不久的超算领域顶级会议SC23上，申威向全世界展示了最新的SW20610-Pro处理器。该处理器是神威太湖之光超算所搭载SW20610的升级版本，性能比上一代提高了四倍，同时也是我国具有完全自主知识产权的处理器系列产品。SW26010-Pro的节点级别与富岳A64FX相似，并且SW26010-Pro在使用更少芯片的同时提供更高的FP64吞吐量，其最大FP64吞吐量达到了13.8TFLOPS。

Ollama:本地大语言模型

Ollama是一款本地大语言模型工具，让用户能够快速运行Llama 2、Code Llama和其他模型。用户可以自定义和创建他们自己的模型。Ollama目前支持macOS和Linux，Windows版本即将推出。该产品定位于为用户提供本地化的大语言模型运行环境，以满足用户个性化的需求。

大语言模型本地化自定义模型

AnythingLLM:个性化私人ChatGPT

AnythingLLM是专为企业打造的ChatGPT，具有完整的权限控制、定制和隐私功能。支持多用户权限治理、聊天访问控制等细粒度功能。具备合规性，支持自定义模型，无限制文档使用，全面定制外观和开发者API。

ChatGPT 企业权限控制

DemoFusion:高分辨率图像生成的无门槛解决方案

DemoFusion 是一款无需高额费用的高分辨率图像生成解决方案。通过使用渐进式升采样、跳跃残差和扩张采样等机制，DemoFusion 扩展了开源生成人工智能模型，实现了更高分辨率的图像生成。它具有简单易用的特点，无需调整参数和大量内存，适用于广泛的用户群体。DemoFusion 可以与其他基于潜在扩散模型的应用程序无缝集成，实现可控的高分辨率图像生成。

高分辨率图像生成渐进式升采样

Nudify:AI图像生成与编辑

Nudify是一款AI图像生成与编辑网站，提供多种风格的图像生成，用户可通过文字描述或上传图片进行编辑和生成。其AI技术可帮助用户轻松实现图像的转换和优化，无论是专业摄影师还是个人用户都能轻松使用。用户可加入Nudify社区，与其他创作者互动，分享和探索无限的图像生成和编辑可能性。

AI 图像生成图像编辑

AI Video Editing | Clipchamp:AI视频编辑，轻松创建短视频

Clipchamp AI视频编辑是一个使用AI技术增强视频编辑的工具。它包含自动合成、语音转文字、AI音频增强等功能，可以轻松创建各种类型的短视频。Clipchamp还提供免费使用的功能，无需下载。

AI视频编辑自动合成语音转文字

HandwryttenbySanta:个性化的圣诞老人卡免费发送

Handwrytten by Santa提供免费的个性化圣诞老人卡服务,用户可以在线自定义卡片,添加收件人和寄件人信息,网站会以真实的手写体模拟圣诞老人的笔迹,在卡片上书写圣诞祝福语,并邮寄给指定的收件人。该服务完全免费,专门为用户提供 Festive Santa cards,极大地丰富了用户的节日体验。

免费个性化手写体

Material Palette:从单个图像中提取材料

Material Palette从单个真实世界图像中提取PBR材料（漫反射率、法线和粗糙度）的调色板。该产品提供了一种方法，通过扩散模型将图像的区域映射到材料概念，从而答应采样类似场景中每种材料的纹理图像。随后，利用独立网络将生成的纹理分解为空间变化的BRDF（SVBRDF），为渲染应用提供预备好的材料。该方法利用合成材料库和扩散生成的RGB纹理数据集，通过无监督域自适应实现对新样本的泛化。产品通过合成和真实世界数据集进行了全面评估，并展示了从真实照片估算材料并用于编辑3D场景的方法的适用性。

材料提取 PBR材料纹理生成

Wigglypaint:多汁、抖动的绘图程序

Wigglypaint是一款使用Decker构建的多汁、晃动的绘画程序，与Shake Art和KidPix有着明显的相似之处。选择工具，画一个涂鸦，按需要裁剪，然后保存为GIF。欢迎在下方分享你的创作！该项目是作为Dec(k)-Month jam的一部分制作的。声音效果是使用sfxr和Decker本身创建的。

绘画创作 Decker

Deepgram Aura:人工智能助手的实时文本转语音

Deepgram Aura 是一个创新的文本转语音模型，提供与真人对话相似的音质，速度和成本比其他语音 AI 解决方案更高效。它适用于构建实时的 AI 助手和代理程序，能够以自然的方式与人类交互。Aura 可独立使用，也可以与 Deepgram 的 Nova-2 语音转文本 API 配合使用，为开发人员提供一个完整的语音 AI 平台，帮助他们构建未来的高吞吐量、实时的 AI 助手。

语音 AI 文本转语音实时 AI 助手

MoE 8x7B:MistralAI的新8x7B混合专家（MoE）基础模型，用于文本生成

MistralAI的新8x7B混合专家（MoE）基础模型，用于文本生成。该模型使用混合专家架构，可以生成高质量的文本。该模型的优势是可以生成高质量的文本，可以用于各种文本生成任务。该模型的定价是根据使用情况而定，具体可以参考官方网站。该模型的定位是为了解决文本生成任务中的问题。

文本生成混合专家模型

WonderJourney:从任何地方到任何地方的尽探索

WonderJourney 是一个模块化的场景生成框架，通过用户提供的位置信息，可以生成一系列多样且相互连贯的 3D 场景，形成想象中的 “奇妙之旅”。通过利用语言模型生成场景的文本描述，使用文本驱动的点云生成流程生成连贯的 3D 场景，通过大规模验证模型对生成的场景进行验证。WonderJourney 展示了多样的视觉效果，包括各种类型和风格的场景。

场景生成奇妙之旅 3D 场景

Salee - AI-Driven Network Sales Success:AI-驱动的网络销售成功

Salee是一款AI驱动的网络销售工具，利用GPT 4 Turbo技术进行个性化消息创作和全面的潜在客户分析，提高回复率和转化率。通过Salee的智能分析功能，了解潜在客户的信息并创建有针对性的消息，从而建立更深入的联系。使用Salee，您可以轻松提高回复率、高效进行潜在客户开发，并建立持久的业务关系。

AI 销售个性化

HyperClapper - Engagement Tool with Chat GPT:LinkedIn增强工具，AI驱动的内容生成与增强可见度

HyperClapper是一款用于LinkedIn的增强工具，利用AI生成内容来提高用户的可见度。它集成了ChatGPT 4，可以自动生成适用于LinkedIn的引人注目的内容，并与其他用户分享。HyperClapper还提供实时的参与指标和洞察报告，帮助用户优化其LinkedIn战略。它适用于营销人员和专业人士，希望在LinkedIn上获得更高的可见度。

LinkedIn AI 可见度

Deftship:DeftShip：成功的渐进式运输解决方案

DeftShip是一种定制的云端物流解决方案，旨在为客户节省时间、精力和金钱，同时建设他们的业务。使用DeftShip轻松处理您的运输需求。免费开始获得最佳的运输费率。

运输物流 DeftShip

Vetted AI: Your Shopping Agent:Vetted调查价格历史、产品评论、品牌声誉等，为您提供最佳的购物决策。

Vetted AI: Your Shopping Agent是一款AI购物助手，为您进行广泛的研究，从价格到评论，帮助您始终以最低的价格购买到最好的产品。它可以帮助您：跟踪价格，快速发现符合您需求的产品，获取专家和用户评论的摘要，了解购买前需要考虑的因素，专业地识别品牌，立即比较产品，为您的预算寻找更好的替代品，回答您所有与购物相关的问题。通过安装这个Chrome插件，您同意Vetted的《使用条款和条件》，该条款和条件可以在https://vetted.ai上找到。

购物助手价格跟踪产品比较

FeedLens:AI 助力的应用评论治理

FeedLens 是一款 AI 助力的应用评论治理软件，帮助客户优化应用评论的处理和回复。它可以提取和总结用户的评论，并自动进行相关的回复。通过使用 FeedLens，您可以轻松了解用户需求、与用户进行沟通，并跟踪竞争对手的用户体验。FeedLens 还提供与其他工具的集成，如 Freshdesk 和 Slack，以提高工作效率。它有多个不同的定价计划可供选择，适合独立开发者、快速发展的公司和大型企业。

AI 助力应用评论用户反馈

NSFWGirlfriend:AI女友聊天机器人

NSFWGirlfriend是一款AI女友聊天机器人。它拥有独特的大型语言模型，能够以高度逼真和响应性的方式模拟与成人相关的对话。平台提供多种交互方式，包括文本、语音、图片和视频，提供丰富沉浸式的体验。拥有超过1,000个具有独特特征和个性的角色，让用户可以选择与自己品味相符的虚拟伴侣。

成人虚拟女友聊天机器人

HitPaw Voice Changer:实时AI语音变声器

HitPaw Voice Changer是一款智能辅助工具，可以在任何场景中智能辅助您变成任何声音。它是实现实时变声的最佳语音变声器。

语音变声 AI语音变声最佳语音变声器

Sizzlepop.ai:AI T恤生成器

SizzlePop.AI是一款AI T恤生成器，可快速轻松地创建独特个性化的T恤。它使用AI技术将您的文本转化为图像设计，支持自定义颜色和样式选择。您可以将设计直接打印在T恤上，还可选择其他产品形态如印刷品、马克杯、手机壳和贴纸。SizzlePop.AI有多种定价方案可供选择，支持按月或按年付费，还有非凡优惠活动。

AI T恤个性化设计