https://mp.weixin.qq.com/cgi-bin/announce?action=getannouncement&key=11522142966rk3L2&version=1&lang=zh_CN&platform=2

Scrapling（d4vinci/Scrapling）项目详解

一句话：一体化智能Python爬虫库，主打【自适应防改版+内置反爬+JS渲染三合一】，替代 requests+bs4+playwright+反爬工具组合。

一、项目是做什么的

核心定位

原生整合请求、反爬绕过、JS渲染、DOM解析、自适应选择器、分布式爬虫全套能力，不用手动拼装多类第三方库，解决两大爬虫痛点：

1. 网站改版选择器失效：独有自适应算法，首次抓取记录元素特征，后续页面改class/HTML结构，开启adaptive=True自动重新定位数据，不用改爬虫代码；
2. Cloudflare、人机验证、指纹封禁：内置三层请求引擎，开箱绕过主流反爬，不用额外配置代理指纹、无头浏览器隐藏特征。

三层抓取引擎（按需切换）

附加能力

1. 解析兼容：同时支持CSS/XPath/bs4语法，写法贴近BeautifulSoup、Scrapy Parsel，迁移成本极低；解析速度约bs4的800倍，对标lxml/Scrapy性能；
2. 类Scrapy爬虫骨架：Spider爬虫类、异步并发、断点续爬、自动代理轮换、分页调度，可快速做全站爬虫；
3. CLI命令行：不用写Python代码，终端直接scrapling extract 网址 输出.md导出数据；自带scrapling shell交互式调试；
4. MCP协议接入AI：可对接Cursor/Claude等AI Agent，和你前面看的agency-agents-zh智能体项目联动，AI自动调用爬虫抓网页数据。

二、使用门槛（分3档，新手友好度高）

环境底线：Python≥3.10，Windows/Mac/Linux全平台可用

1、零代码/命令行使用（门槛★☆☆☆☆，零基础）

只用终端命令，不用写Python：

# 最简安装
pip install scrapling
# 全功能安装（含浏览器、反爬全套）
pip install "scrapling[all]"
# 自动下载依赖浏览器
scrapling install
# 终端直接爬取导出
scrapling extract https://xxx.com save.md

适合：非开发，临时抓页面内容、导出表格。

2、单行代码简易爬虫（门槛★★☆☆☆，会基础Python即可）

几行代码完成带反爬+自适应抓取，兼容老bs4写法：

from scrapling.fetchers import StealthyFetcher
# 开启自适应，网站改版自动找元素
page = StealthyFetcher.fetch("目标网址",adaptive=True)
# css选择器提取，就算页面改样式也能抓到
titles = page.css(".title",auto_save=True)

适合：爬虫新手、日常零散数据抓取，替代requests+bs4。

3、大型全站爬虫/二次开发（门槛★★★☆☆，有爬虫基础）

用内置Spider写批量并发爬虫、配置代理池、自定义自适应规则、对接私有代理服务，需要懂异步、爬虫调度，对标Scrapy学习成本，但配置更简单。

三、优缺点&适用人群

优点

1. 不用折腾环境：一键装好浏览器与反爬依赖，告别Playwright驱动、cf-bypass环境配置难题；
2. 维护成本极低：自适应选择器大幅减少因前端改版反复改代码；

3. 全场景通吃：静态/动态/高反爬网站一套库搞定。

   缺点

4. 全量安装会自动下载Chromium/Firefox二进制包，国内网络偶尔下载缓慢；
5. 内存开销：DynamicFetcher启动真实浏览器，批量爬取占用高于纯http库。

适用人群

1. 爬虫新手：不想折腾多库组合，一套代码抓各类网站；
2. 数据运营：用CLI快速抓取电商、资讯数据；
3. AI开发者：搭配agency-agents智能体，让AI自动联网爬取实时网页；
4. 爬虫工程师：替换老旧requests+selenium项目，降低维护成本。

补充：和你上一个项目联动

agency-agents-zh里的爬虫工程师Agent可以直接调用Scrapling，AI自动生成爬虫代码、执行网页抓取，是当下AI+爬虫主流搭配方案。

jnMetaCode/agency-agents-zh 项目说明

一、项目是做什么的

agency-agents-zh 是原版英文 Agency-Agents 的中文本地化开源项目（中文AI专家智能体角色库），由国内社区jnMetaCode维护，核心是211个行业专属AI智能体角色配置，打造一站式AI专家团队，替代零散通用提示词：

1. 角色构成：165个原版英文角色完整汉化 + 46个国内本土定制角色，覆盖18大领域部门：软件开发（前后端、测试、安全、DBA）、产品设计、市场营销、新媒体、金融、跨境电商、政务、医疗合规等；本土角色包含小红书/抖音/B站/微信/飞书/钉钉运营、国内电商操盘等独有角色。
2. 角色设计区别于普通提示词：每个智能体自带人设定位、标准化工作流程、固定交付格式、成果验收指标，不是简单一句“你是XX专家”，AI被激活后会严格按行业规范输出内容（如前端Agent输出规范工程代码、小红书运营Agent输出完整选题+文案+投放方案）。
3. 工具兼容：原生适配16款主流AI代码/对话工具：Cursor、Claude Code、GitHub Copilot、Aider、OpenClaw、Qwen Code等AI编程软件，一键安装即可在对应软件里随时切换专家角色。

4. 两大使用模式

   • 简易用法：直接复制项目内md格式角色文案，粘贴到大模型（GPT/文心/通义千问/Ollama本地大模型）提示词框使用；
   • 深度集成：运行项目自带shell脚本，自动把全部角色批量部署到本地AI工具，自然语言指令激活XX专家即可切换身份，多智能体还能组队分工协作完成复杂任务（如产品→开发→测试流水线）。

二、使用门槛（分两种使用场景，整体门槛偏低）

1. 极简使用（纯复制提示词，零基础可用｜门槛★☆☆☆☆）

不用安装环境、不用代码，打开项目角色文档，挑需要的角色md全文复制，粘贴到任意大模型对话框即可使用。普通人、文案/运营/产品无编程基础也能上手，适合临时写方案、文案、需求文档。

2. 一键集成安装（部署到Cursor/Claude等AI工具｜门槛★★☆☆☆）

基础安装步骤（仅2-3行命令）

git clone https://github.com/jnMetaCode/agency-agents-zh
cd agency-agents-zh
# 自动检测本地已装AI工具，交互式安装角色
./scripts/install.sh

• Windows/Mac/Linux全平台通用，仅需基础电脑操作、会打开终端输命令即可，脚本自动识别本地已安装的Cursor/Claude等软件，不用手动找目录；也可指定单工具安装：./scripts/install.sh --tool cursor。
• 前置条件：提前装好目标AI软件（如Cursor），不需要Python、开发知识。

3. 高阶开发（自定义角色、搭建多Agent协作系统｜门槛★★★☆☆）

如需新增自定义行业智能体、对接私有大模型API、用多智能体自动跑业务流水线：需要基础Python知识、了解大模型API调用规则，适合程序员、AI二次开发人员。

补充成本

项目代码、角色资源完全免费开源，唯一自费项：使用云端大模型（GPT/Claude等）需自备对应API Key；用Ollama本地开源大模型（Llama/Qwen）可零成本全功能使用。

三、适用人群

• 普通从业者：运营、产品、文案、设计师（复制提示词即用）；
• 程序员：前端/后端/测试，搭配Cursor/Copilot提升编码、评审效率；
• AI爱好者：本地部署Ollama+本项目，自建专属AI工作团队。

英语词根词缀默写表（音标+释义+单词｜分三栏：词根/前缀/后缀，左侧原文、中间释义、右侧默写空位）

一、核心词根（母词）【词根｜音标｜含义｜例词(音标+释义)｜默写栏】

1. vis/vid /vɪs/ /vɪd/ = 看见

visible /ˈvɪzəbl/ adj.看得见的；visit /ˈvɪzɪt/ v.参观；revise /rɪˈvaɪz/ v.修订
默写：__________

2. spect/spic /spekt/ /spɪk/ = 看

inspect /ɪnˈspekt/ v.检查；respect /rɪˈspekt/ v.尊重；expect /ɪkˈspekt/ v.期盼
默写：__________

3. dict/dɪk /dɪkt/ = 说话

predict /prɪˈdɪkt/ v.预言；dictionary /ˈdɪkʃənri/ n.词典；indicate /ˈɪndɪkeɪt/ v.表明
默写：__________

4. port /pɔːt/ = 搬运、携带

import /ˈɪmpɔːt/ n.进口；export /ˈekspɔːt/ n.出口；transport /ˈtrænspɔːt/ n.运输
默写：__________

5. mit/miss /mɪt/ /mɪs/ = 派送、送出

submit /səbˈmɪt/ v.提交；admit /ədˈmɪt/ v.准许进入；dismiss /dɪsˈmɪs/ v.解散
默写：__________

6. tract /trækt/ = 拉、抽

attract /əˈtrækt/ v.吸引；contract /ˈkɒntrækt/ n.合同；extract /ɪkˈstrækt/ v.提取
默写：__________

7. ceed/ced/cess /siːd/ /sed/ /ses/ = 行走

succeed /səkˈsiːd/ v.成功；proceed /prəˈsiːd/ v.前进；access /ˈækses/ n.入口
默写：__________

8. cap/cept /kæp/ /sept/ = 抓取、拿

accept /əkˈsept/ v.接受；capture /ˈkæptʃə/ v.捕获；except /ɪkˈsept/ prep.除…之外
默写：__________

9. pos/pon /pɒz/ /pəʊn/ = 安放、放置

expose /ɪkˈspəʊz/ v.暴露；oppose /əˈpəʊz/ v.反对；compose /kəmˈpəʊz/ v.组成
默写：__________

10. fac/fect/fic /fæk/ /fekt/ /fɪk/ = 做、制造

factory /ˈfæktri/ n.工厂；affect /əˈfekt/ v.影响；perfect /ˈpɜːfɪkt/ adj.完美的
默写：__________

11. bio /ˈbaɪəʊ/ = 生命

biology /baɪˈɒlədʒi/ n.生物学；biography /baɪˈɒɡrəfi/ n.传记
默写：__________

12. geo /ˈdʒiːəʊ/ = 土地

geography /dʒiˈɒɡrəfi/ n.地理；geometry /dʒiˈɒmətri/ n.几何
默写：__________

13. scrib/script /skrɪb/ /skrɪpt/ = 书写

describe /dɪˈskraɪb/ v.描述；subscribe /səbˈskraɪb/ v.订阅
默写：__________

14. fin /fɪn/ = 末尾、界限

finish /ˈfɪnɪʃ/ v.完成；final /ˈfaɪnl/ adj.最终的；define /dɪˈfaɪn/ v.下定义
默写：__________

15. pend /pend/ = 悬挂

depend /dɪˈpend/ v.依靠；suspend /səˈspend/ v.悬挂
默写：__________

16. ann /æn/ = 年

annual /ˈænjuəl/ adj.年度的
默写：__________

17. aqu /ækw/ = 水

aquarium /əˈkweəriəm/ n.水族馆
默写：__________

二、常用前缀【前缀｜音标｜词义｜例词｜默写】

否定前缀

1. un- /ʌn/：不、无
   unhappy /ʌnˈhæpi/ 不开心；unfair /ʌnˈfeə/ 不公平
   默写：__________
2. in-/im-/ir-/il- /ɪn/ /ɪm/ /ɪr/ /ɪl/：不
   impossible /ɪmˈpɒsəbl/不可能；illegal /ɪˈliːɡl/非法的；irregular /ɪˈreɡjələ/不规则
   默写：__________
3. dis- /dɪs/：分开、否定
   dislike /dɪsˈlaɪk/讨厌；disappear /ˌdɪsəˈpɪə/消失
   默写：__________

方向/时态前缀

1. re- /riː/：重新、返回
   renew /rɪˈnjuː/ 更新、续期；repeat /rɪˈpiːt/重复；return /rɪˈtɜːn/返回
   默写：__________
2. pre- /priː/：预先、在前
   predict /prɪˈdɪkt/预言；preview /ˌpriːˈvjuː/预习
   默写：__________
3. post- /pəʊst/：在…之后
   postwar /ˈpəʊstwɔː/战后；postpone /pəˈspəʊn/推迟
   默写：__________
4. trans- /trænz/：跨越、穿过
   translate /trænzˈleɪt/翻译；transmit /trænzˈmɪt/传送
   默写：__________
5. inter- /ˈɪntə/：相互、之间
   international /ˌɪntəˈnæʃnəl/国际的
   默写：__________
6. co-/com-/con- /kəʊ/ /kɒm/ /kɒn/：共同、一起
   cooperate /kəʊˈɒpəreɪt/合作；connect /kəˈnekt/连接
   默写：__________

三、常用后缀【后缀｜音标｜词性含义｜例词｜默写】

名词后缀

1. -tion /ʃn/：动作名词
   education /ˌedʒuˈkeɪʃn/教育；action /ˈækʃn/行动
   默写：__________
2. -ment /mənt/：行为结果
   development /dɪˈveləpmənt/发展；agreement /əˈɡriːmənt/协议
   默写：__________
3. -er/-or /ə/ /ɔː/：人/器物
   worker /ˈwɜːkə/工人；doctor /ˈdɒktə/医生
   默写：__________
4. -ist /ɪst/：从业者
   artist /ˈɑːtɪst/艺术家；scientist /ˈsaɪəntɪst/科学家
   默写：__________
5. -ness /nəs/：性质、状态
   happiness /ˈhæpinəs/快乐；darkness /ˈdɑːknəs/黑暗
   默写：__________

形容词后缀

1. -ful /fl/：充满…
   helpful /ˈhelpfl/有用的；careful /ˈkeəfl/细心的
   默写：__________
2. -less /ləs/：无…
   careless /ˈkeələs/粗心；useless /ˈjuːsləs/无用的
   默写：__________
3. -able/-ible /əbl/ /ɪbl/：可…的
   possible /ˈpɒsəbl/可能；acceptable /əkˈseptəbl/可接受的
   默写：__________

动词后缀

-ize /aɪz/：使…化
realize /ˈriːəlaɪz/实现；organize /ˈɔːɡənaɪz/组织
默写：__________

空白自测页（精简版，可直接抄写自测）

英语完整词根词缀大全（词根=母词｜前缀+后缀，分级整理，备考通用）

第一部分：核心词根（词根=单词本源含义，同根一族）

1. 表【看】

1. vis/vid=看见
   visible看得见；visit拜访；revise修订；television电视；visual视觉的
2. spect/spic=看
   inspect检查；respect尊重；expect盼望；suspect怀疑；prospect前景
3. opt=看
   optimist乐观者；optic视力的

2. 表【说】

1. dict/dic=说话
   dictionary词典；predict预言；indicate指示；contradict反驳
2. loqu/log=说话
   dialogue对话；logic逻辑；eloquent雄辩的

3. 表【走/行进】

1. ceed/ced/cess=行走
   succeed成功；proceed前进；access入口；recess休息
2. ambul=行走
   ambulance救护车

4. 表【拿/抓/握】

1. cept/cap/capt=抓取
   accept接受；capture捕获；except除…之外；concept概念
2. prehend=抓
   comprehend理解；apprehend逮捕

5. 表【送/派】mit/miss

submit提交；admit准许进入；dismiss遣散；emit发射；transmit传输

6. 表【拉/抽】tract

attract吸引；contract收缩/合同；extract抽出；distract分心

7. 表【压】press

press按压；express表达；compress压缩；depress压低、抑郁

8. 表【放/安置】pon/pos

compose组成；expose暴露；oppose反对；deposit存放

9. 表【搬运/携带】port

import进口；export出口；transport运输；portable便携的

10. 表【做/制造】fac/fect/fic

factory工厂；affect影响；effect效果；perfect完美

11. 表【生命】bio

biology生物；biography传记；biochemical生化

12. 表【土地】geo

geography地理；geometry几何

13. 表【心】cord/card

cardiac心脏的；accord一致；concord和谐

14. 表【时间】chron

chronology年表；synchronize同步

15. 表【书写/画】scrib/script

describe描述；subscribe订阅；manuscript手稿

16. 表【水】hydr

hydrogen氢；hydrate水合物

17. 表【热】therm

thermos热水瓶；thermal热量的

18. 表【太阳】sol

solar太阳的；solarium日光浴室

19. 表【星星】astro

astronomy天文学；astronaut宇航员

20. 表【法律/公正】jur

justice公正；injure伤害；jury陪审团

21. 表【死亡】mort

mortal致命的；mortgage按揭

22. 表【头】capit

capital首都/资本；captain船长

23. 表【结束/界限】fin

finish完成；final最终；confine限制；define下定义

24. 表【满/充足】ple/plet

complete完整；supply补给；plenty大量

第二部分：高频前缀（加在单词前，改变词义）

一、否定前缀

1. un-：不、无
   unhappy不开心；unfair不公；renew重新更新（re单独前缀）
2. in-/im-/ir-/il-：不（im接b/p/m；ir接r；il接l）
   impossible不可能；illegal非法；irregular不规则；incorrect错误
3. dis-：否定、分开
   dislike讨厌；disappear消失；disagree不同意
4. non-：无、非
   nonsmoker不抽烟的人

二、重复/向后/再 re-：重新、回

renew续期；repeat重复；return返回；rebuild重建；review复习

三、跨/穿过 trans-

transport运输；transmit传送；translate翻译

四、在前 pre-：预先

predict预言；preview预习；prepay预付

五、在后 post-：之后

postwar战后；postpone推迟

六、共同 co-/com-/con-：一起

cooperate合作；connect连接；combine结合

七、超出 over-：过度、超过

overwork过劳；overeat吃多

八、不足 under-：在下、不足

underestimate低估；underground地下

九、之间 inter-：相互

international国际；interview会面

第三部分：万能后缀（放单词末尾，变词性）

一、名词后缀

1. -tion / -sion：动作名词
   education教育；action行动；decision决定
2. -ment：行为结果
   development发展；agreement同意
3. -er / -or：人/器物
   worker工人；doctor医生；computer机器
4. -ist：专业人士
   scientist科学家；artist艺术家
5. -ity：性质
   reality现实；equality平等
6. -ness：状态
   happiness快乐；darkness黑暗

二、形容词后缀

1. -ful：充满…
   helpful有用的；careful细心
2. -less：无…
   careless粗心；useless无用
3. -able / -ible：可…的
   acceptable可接受；possible可能
4. -al：…的
   natural自然的；personal个人的

三、动词后缀

1. -ize：使…化
   realize实现；organize组织

第四部分：拓展小词根（冷门常用）

1. aqu=水：aquarium水族馆
2. ann=年：annual年度
3. pend=悬挂：depend依靠
4. ped=脚：expedition远征
5. nov=新：novel新颖；renovate翻新