.:. 草榴社區 » 技術討論區 » 闲暇之余写了个本站图片下载的小工具
--> 本頁主題: 闲暇之余写了个本站图片下载的小工具 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
kingtor


級別:新手上路 ( 8 )
發帖:213
威望:47 點
金錢:362 USD
貢獻:43 點
註冊:2015-08-19


闲暇之余写了个本站图片下载的小工具



批量下载图片的方法有很多,比如浏览器插件、IDM/迅雷等,都提供批量下载的功能。
之前,一直使用fatkun+IDM来批量下载图片,前者用来获取图片链接,后者用来批量下载图片。
但后来觉得这种方法还是有点不方便,一是fatkun之类的浏览器插件加载图片速度慢,要等到所有图片加载完毕后,才能获取到图片链接;二是使用IDM不便于文件管理,下载的图片都保存在一个文件夹里;三是IDM即便已经设置了沉默下载模式,似乎并不起作用,只要下载失败,就会弹出烦人的对话框提示,尤其是在大批量下载的时候,如果出现错误,弹窗能把电脑卡死。
因此,我一直想找一个好用点的批量下载图片工具,能解决上述痛点。但找了很久,尝试过很多工具,都没有让我满意的,便起了自己写一个的心思,于是就有了这个小工具。
在使用了一段时间后,修正了一些bug,特别是逻辑上的错误,自己感觉能用,毕竟上面提到的几个痛点都解决了。
但我不是专业码农,半瓶子不满一瓶子晃荡的水平,所以这个小工具肯定有很多缺点和疏漏,如果有网友发现后更正并分享给大家,不胜感激!
好了,不多废话了,下面简单介绍一下这个小工具。
一、简介
这是一个简单的图片下载工具,可通过多种方式批量抓取和下载图片。
- 支持通过 http和 aria2两种方式下载网页中的图片。 
- 支持多线程、自动重试、断点续传、文件名规范化、代理等功能,并提供友好的命令行交互界面。 
- 支持批量抓取和关键词抓取页面数据,并通过数据库文件打通与下载模块的联系。 
- 提供根据数据库关键词生成词云图的功能。 
- 提供简单的图片面部检测的功能。
二、运行环境搭建
详见README.html
注意:我已经将aria2c.exe可执行文件打包进scripts文件夹了,无需自行下载,所以在安装好python和相关依赖后,就能直接使用了。
三、使用方法
(一)图片下载功能
1、启动下载工具
双击运行根目录下的“给我下.bat”,启动界面如下:

2、选择下载方式
一共两种下载方式,http和aria2,输入数字1或2选择下载方式。

3、单个网页图片下载
以http下载为例,输入数字1后,提示输入网页地址。

输入网页地址后,提示图片下载失败,失败码是403,应该是图片链接失效,或者图床启动了反爬机制,需要输入验证码才能显示。如果遇到这种情况,就只能手动下载了。
换一个网页地址:

提示该链接已经下载过了,无需重复下载。

再换一个网址:

这下没问题了。
切换到aria2下载模式:

在没有403错误和重复下载的前提下,顺利完成了下载任务,图片下载目录位于根目录下的downloads文件夹,图片保存在以帖子标题为名称的文件夹中。
4、多网页下载
输入多个网页地址,网址之间以空格分隔(不支持换行分隔!!!)







5、关键词下载
输入关键词,关键词将匹配帖子标题,如果标题中含有该关键词,则下载这个帖子。
注意:帖子标题信息保存在根目录下的data文件夹中的data.json,使用关键词下载时,程序将读取data.json中的帖子信息,搜索含有关键词的帖子地址。压缩包里已经有现成的data.json文件,里面保存了20000+的帖子信息,可以直接用。当然你也可以运行“给我爬.bat”来自行抓取帖子信息。
比如,输入关键词”反差“,程序搜索data.json返回了696个符合条件的帖子,然后自动启动下载,直到所有帖子下载完毕。






6、帖子抓取
双击运行”给我爬.bat“,程序将给出论坛各板块的ID和名称,输入想要抓取板块的ID。

抓取的帖子信息将保存在data/data.json中,里面包含了每个帖子的地址、标题、关键词等信息。
为了防止重复抓取,程序会检索data.json中的网页地址,如果发现拟抓取的网页地址已经存在了,就会跳过。当某个板块page所有帖子都抓取过了,就会显示空页,如果连续几个空页,那么就会结束抓取任务。具体几个空页结束任务,可以在配置文件里自行设置。




7、其他一些功能
(1)生成词云图
运行”给我画.bat“,程序将统计data.json中所有帖子关键词的词频,然后生成词云图。


通过词云图,可以了解LSP们的喜好,也可以作为关键词下载的一种参考。
比如,从这张词云图可以看出,LSP们最爱“美女”“少妇”“反差”“母狗”“人妻”。

(2)面部检测
这个功能应该是LSP们的最爱,不解释了。当然,这里只提供最简单的、最基础的面部检测功能,而非面部识别功能。
程序运行后,将检索downloads目录下的所有图片,从中找出有脸的图片,并复制到根目录下在face文件夹中。
(3)关键词搜索
下载了这么多图片后,想欣赏某个关键词的图片怎么办?运行“给我搜.bat”,程序会返回所有标题中含有关键词的帖子本地链接,但由于print函数在某些命令行工具中无法打开本地链接,所以本人更推荐使用everything来实现这个功能。
四、工具下载地址
https://mori.teracloud.jp/share/12816bd556b56ae7
按照下面的提示,不需要登陆即可下载:

压缩包解压后,文件结构如下:

其中:.config目录下是存放各种配置文件、停用词表、关键词表、环境依赖文件、字体文件等;data目录下存放的是数据库文件data.json;scripts目录下存放的是各种脚本文件;下载程序启动后,将会在根目录下自动创建downloads目录;README.html是使用说明文档,强烈建议按照该文档配置运行环境,推荐在windows下使用。


此貼由kingtor重新編輯:2025-05-02 21:34

赞(163)
DMCA / ABUSE REPORT | TOP Posted: 05-03 16:56 樓主 引用 | 發表評論
潇洒在风尘间


級別:精靈王 ( 12 )
發帖:7661
威望:1031 點
金錢:28611 USD
貢獻:10 點
註冊:2023-03-15


大佬真牛逼


點評

    TOP Posted: 05-03 17:07 #1樓 引用 | 點評
    斜阳晚照


    級別:騎士 ( 10 )
    發帖:4296
    威望:430 點
    金錢:15708 USD
    貢獻:0 點
    註冊:2022-07-25

    感谢分享
    TOP Posted: 05-03 17:21 #2樓 引用 | 點評
    李丝雅


    級別:騎士 ( 10 )
    發帖:2180
    威望:340 點
    金錢:1048 USD
    貢獻:121 點
    註冊:2016-10-25

    大佬牛哇
    另外对于有时看不了图的帖子,也可以下载吗?
    TOP Posted: 05-03 17:22 #3樓 引用 | 點評
    蒋婶含阳


    級別:俠客 ( 9 )
    發帖:1364
    威望:137 點
    金錢:7506 USD
    貢獻:300 點
    註冊:2024-05-26

    大佬真,牛逼
    TOP Posted: 05-03 17:45 #4樓 引用 | 點評
    狄昕水


    級別:新手上路 ( 8 )
    發帖:338
    威望:85 點
    金錢:2145 USD
    貢獻:0 點
    註冊:2025-01-25

    感谢分享
    TOP Posted: 05-03 18:06 #5樓 引用 | 點評
    一点心动啊


    級別:俠客 ( 9 )
    發帖:880
    威望:153 點
    金錢:4488 USD
    貢獻:0 點
    註冊:2022-07-04

    真技术
    TOP Posted: 05-03 18:09 #6樓 引用 | 點評
    分裂


    級別:俠客 ( 9 )
    發帖:1966
    威望:198 點
    金錢:272126753 USD
    貢獻:0 點
    註冊:2015-06-11

    技术大佬牛,支持分享技术
    TOP Posted: 05-03 18:09 #7樓 引用 | 點評
    大侠江一


    級別:新手上路 ( 8 )
    發帖:118
    威望:12 點
    金錢:321 USD
    貢獻:0 點
    註冊:2025-04-16

    感谢分享
    TOP Posted: 05-03 18:10 #8樓 引用 | 點評
    wawbt


    級別:俠客 ( 9 )
    發帖:1426
    威望:143 點
    金錢:1394 USD
    貢獻:17 點
    註冊:2014-10-23

    感谢分享
    TOP Posted: 05-03 18:13 #9樓 引用 | 點評
    镜若止水


    級別:新手上路 ( 8 )
    發帖:391
    威望:91 點
    金錢:4651 USD
    貢獻:1 點
    註冊:2022-02-14

    1024
    TOP Posted: 05-03 18:46 #10樓 引用 | 點評
    老A8


    級別:俠客 ( 9 )
    發帖:1845
    威望:230 點
    金錢:3357 USD
    貢獻:0 點
    註冊:2024-10-18


    支持技术分享
    TOP Posted: 05-03 18:57 #11樓 引用 | 點評
    为什么是你


    級別:新手上路 ( 8 )
    發帖:89
    威望:9 點
    金錢:672 USD
    貢獻:0 點
    註冊:2021-02-18

    感谢分享。
    TOP Posted: 05-03 19:17 #12樓 引用 | 點評
    adsl8


    級別:騎士 ( 10 )
    發帖:3809
    威望:381 點
    金錢:8616 USD
    貢獻:0 點
    註冊:2023-11-14

    感谢分享
    TOP Posted: 05-03 19:18 #13樓 引用 | 點評
    大院情怀


    級別:精靈王 ( 12 )
    發帖:7342
    威望:843 點
    金錢:897 USD
    貢獻:36736 點
    註冊:2020-10-18

    反正我也不懂
    TOP Posted: 05-03 19:21 #14樓 引用 | 點評
    行走中的衣架


    級別:精靈王 ( 12 )
    發帖:6417
    威望:1053 點
    金錢:2846 USD
    貢獻:482 點
    註冊:2023-10-03

    感谢分享。
    TOP Posted: 05-03 19:46 #15樓 引用 | 點評
    生煎烧鸡


    級別:精靈王 ( 12 )
    發帖:645
    威望:519 點
    金錢:229346 USD
    貢獻:88888 點
    註冊:2023-09-06

    技术贴啊
    TOP Posted: 05-03 19:55 #16樓 引用 | 點評
    立风大爻爻


    級別:聖騎士 ( 11 )
    發帖:7251
    威望:856 點
    金錢:6127 USD
    貢獻:2076 點
    註冊:2024-11-21


    妥妥的技术大牛!一言不合就单干
    TOP Posted: 05-03 20:25 #17樓 引用 | 點評
    京观


    級別:俠客 ( 9 )
    發帖:2067
    威望:260 點
    金錢:11637 USD
    貢獻:0 點
    註冊:2023-08-08

    不明觉厉
    TOP Posted: 05-03 20:47 #18樓 引用 | 點評
    qsc4esz


    級別:精靈王 ( 12 )
    發帖:16850
    威望:2545 點
    金錢:691986466 USD
    貢獻:158 點
    註冊:2011-06-06

    看看
    TOP Posted: 05-03 21:03 #19樓 引用 | 點評
    kelvin1101


    級別:新手上路 ( 8 )
    發帖:168
    威望:20 點
    金錢:257 USD
    貢獻:0 點
    註冊:2025-04-01

    大佬真的是太牛了
    TOP Posted: 05-03 21:30 #20樓 引用 | 點評
    天蓬大元帅


    級別:風雲使者 ( 13 )
    發帖:5465
    威望:529 點
    金錢:208 USD
    貢獻:345258 點
    註冊:2016-04-18

    聚聚是技术流啊。


    點評

      TOP Posted: 05-03 21:50 #21樓 引用 | 點評
      profesora


      級別:新手上路 ( 8 )
      發帖:64
      威望:7 點
      金錢:586 USD
      貢獻:0 點
      註冊:2023-01-03

      半瓶子不满一瓶子晃荡

      应该改为:

      一瓶子不满半瓶子晃荡

      使用方法、原理都写得很详细,一目了然
      TOP Posted: 05-03 22:00 #22樓 引用 | 點評
      加水


      級別:精靈王 ( 12 )
      發帖:19636
      威望:2441 點
      金錢:150876 USD
      貢獻:12345 點
      註冊:2023-10-24


      感谢分享
      ------------------------
      Y
      TOP Posted: 05-03 22:02 #23樓 引用 | 點評
      爱上烟头


      級別:新手上路 ( 8 )
      發帖:21
      威望:3 點
      金錢:298 USD
      貢獻:0 點
      註冊:2025-04-08

      谢谢分享
      TOP Posted: 05-03 22:21 #24樓 引用 | 點評

      .:. 草榴社區 -> 技術討論區

      快速回帖 頂端
      內容
      HTML 代碼不可用

      使用簽名
      Wind Code自動轉換

      按 Ctrl+Enter 直接提交