.:. 草榴社區 » 技術討論區 » 闲暇之余写了个本站图片下载的小工具
本頁主題: 闲暇之余写了个本站图片下载的小工具字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
kingtor


級別:新手上路 ( 8 )
發帖:213
威望:47 點
金錢:389 USD
貢獻:43 點
註冊:2015-08-19

闲暇之余写了个本站图片下载的小工具

批量下载图片的方法有很多,比如浏览器插件、IDM/迅雷等,都提供批量下载的功能。
之前,一直使用fatkun+IDM来批量下载图片,前者用来获取图片链接,后者用来批量下载图片。
但后来觉得这种方法还是有点不方便,一是fatkun之类的浏览器插件加载图片速度慢,要等到所有图片加载完毕后,才能获取到图片链接;二是使用IDM不便于文件管理,下载的图片都保存在一个文件夹里;三是IDM即便已经设置了沉默下载模式,似乎并不起作用,只要下载失败,就会弹出烦人的对话框提示,尤其是在大批量下载的时候,如果出现错误,弹窗能把电脑卡死。
因此,我一直想找一个好用点的批量下载图片工具,能解决上述痛点。但找了很久,尝试过很多工具,都没有让我满意的,便起了自己写一个的心思,于是就有了这个小工具。
在使用了一段时间后,修正了一些bug,特别是逻辑上的错误,自己感觉能用,毕竟上面提到的几个痛点都解决了。
但我不是专业码农,半瓶子不满一瓶子晃荡的水平,所以这个小工具肯定有很多缺点和疏漏,如果有网友发现后更正并分享给大家,不胜感激!
好了,不多废话了,下面简单介绍一下这个小工具。
一、简介
这是一个简单的图片下载工具,可通过多种方式批量抓取和下载图片。
- 支持通过 http和 aria2两种方式下载网页中的图片。 
- 支持多线程、自动重试、断点续传、文件名规范化、代理等功能,并提供友好的命令行交互界面。 
- 支持批量抓取和关键词抓取页面数据,并通过数据库文件打通与下载模块的联系。 
- 提供根据数据库关键词生成词云图的功能。 
- 提供简单的图片面部检测的功能。
二、运行环境搭建
详见README.html
注意:我已经将aria2c.exe可执行文件打包进scripts文件夹了,无需自行下载,所以在安装好python和相关依赖后,就能直接使用了。
三、使用方法
(一)图片下载功能
1、启动下载工具
双击运行根目录下的“给我下.bat”,启动界面如下:

2、选择下载方式
一共两种下载方式,http和aria2,输入数字1或2选择下载方式。

3、单个网页图片下载
以http下载为例,输入数字1后,提示输入网页地址。

输入网页地址后,提示图片下载失败,失败码是403,应该是图片链接失效,或者图床启动了反爬机制,需要输入验证码才能显示。如果遇到这种情况,就只能手动下载了。
换一个网页地址:

提示该链接已经下载过了,无需重复下载。

再换一个网址:

这下没问题了。
切换到aria2下载模式:

在没有403错误和重复下载的前提下,顺利完成了下载任务,图片下载目录位于根目录下的downloads文件夹,图片保存在以帖子标题为名称的文件夹中。
4、多网页下载
输入多个网页地址,网址之间以空格分隔(不支持换行分隔!!!)







5、关键词下载
输入关键词,关键词将匹配帖子标题,如果标题中含有该关键词,则下载这个帖子。
注意:帖子标题信息保存在根目录下的data文件夹中的data.json,使用关键词下载时,程序将读取data.json中的帖子信息,搜索含有关键词的帖子地址。压缩包里已经有现成的data.json文件,里面保存了20000+的帖子信息,可以直接用。当然你也可以运行“给我爬.bat”来自行抓取帖子信息。
比如,输入关键词”反差“,程序搜索data.json返回了696个符合条件的帖子,然后自动启动下载,直到所有帖子下载完毕。






6、帖子抓取
双击运行”给我爬.bat“,程序将给出论坛各板块的ID和名称,输入想要抓取板块的ID。

抓取的帖子信息将保存在data/data.json中,里面包含了每个帖子的地址、标题、关键词等信息。
为了防止重复抓取,程序会检索data.json中的网页地址,如果发现拟抓取的网页地址已经存在了,就会跳过。当某个板块page所有帖子都抓取过了,就会显示空页,如果连续几个空页,那么就会结束抓取任务。具体几个空页结束任务,可以在配置文件里自行设置。




7、其他一些功能
(1)生成词云图
运行”给我画.bat“,程序将统计data.json中所有帖子关键词的词频,然后生成词云图。


通过词云图,可以了解LSP们的喜好,也可以作为关键词下载的一种参考。
比如,从这张词云图可以看出,LSP们最爱“美女”“少妇”“反差”“母狗”“人妻”。

(2)面部检测
这个功能应该是LSP们的最爱,不解释了。当然,这里只提供最简单的、最基础的面部检测功能,而非面部识别功能。
程序运行后,将检索downloads目录下的所有图片,从中找出有脸的图片,并复制到根目录下在face文件夹中。
(3)关键词搜索
下载了这么多图片后,想欣赏某个关键词的图片怎么办?运行“给我搜.bat”,程序会返回所有标题中含有关键词的帖子本地链接,但由于print函数在某些命令行工具中无法打开本地链接,所以本人更推荐使用everything来实现这个功能。
四、工具下载地址
https://mori.teracloud.jp/share/12816bd556b56ae7
按照下面的提示,不需要登陆即可下载:

压缩包解压后,文件结构如下:

其中:.config目录下是存放各种配置文件、停用词表、关键词表、环境依赖文件、字体文件等;data目录下存放的是数据库文件data.json;scripts目录下存放的是各种脚本文件;下载程序启动后,将会在根目录下自动创建downloads目录;README.html是使用说明文档,强烈建议按照该文档配置运行环境,推荐在windows下使用。


[ 此貼由kingtor重新編輯:2025-05-02 21:34 ]

赞(163)
DMCA / ABUSE REPORT | TOP Posted: 05-03 16:56 發表評論
潇洒在风尘间


級別:精靈王 ( 12 )
發帖:8297
威望:1137 點
金錢:33111 USD
貢獻:10 點
註冊:2023-03-15

大佬真牛逼


點評

    TOP Posted: 05-03 17:07 #1樓 引用 | 點評
    斜阳晚照


    級別:聖騎士 ( 11 )
    發帖:6156
    威望:616 點
    金錢:19903 USD
    貢獻:0 點
    註冊:2022-07-25

    感谢分享
    TOP Posted: 05-03 17:21 #2樓 引用 | 點評
    李丝雅


    級別:騎士 ( 10 )
    發帖:2299
    威望:367 點
    金錢:1305 USD
    貢獻:121 點
    註冊:2016-10-25

    大佬牛哇
    另外对于有时看不了图的帖子,也可以下载吗?
    TOP Posted: 05-03 17:22 #3樓 引用 | 點評
    蒋婶含阳


    級別:聖騎士 ( 11 )
    發帖:5368
    威望:537 點
    金錢:1138 USD
    貢獻:3400 點
    註冊:2024-05-26

    大佬真,牛逼
    TOP Posted: 05-03 17:45 #4樓 引用 | 點評
    狄昕水


    級別:聖騎士 ( 11 )
    發帖:529
    威望:104 點
    金錢:567 USD
    貢獻:25000 點
    註冊:2025-01-25

    感谢分享
    TOP Posted: 05-03 18:06 #5樓 引用 | 點評
    一点心动啊


    級別:俠客 ( 9 )
    發帖:887
    威望:154 點
    金錢:4540 USD
    貢獻:0 點
    註冊:2022-07-04

    真技术
    TOP Posted: 05-03 18:09 #6樓 引用 | 點評
    分裂


    級別:俠客 ( 9 )
    發帖:2094
    威望:211 點
    金錢:272126909 USD
    貢獻:0 點
    註冊:2015-06-11

    技术大佬牛,支持分享技术
    TOP Posted: 05-03 18:09 #7樓 引用 | 點評
    大侠江一


    級別:新手上路 ( 8 )
    發帖:144
    威望:15 點
    金錢:505 USD
    貢獻:0 點
    註冊:2025-04-16

    感谢分享
    TOP Posted: 05-03 18:10 #8樓 引用 | 點評
    wawbt


    級別:俠客 ( 9 )
    發帖:1430
    威望:144 點
    金錢:1398 USD
    貢獻:17 點
    註冊:2014-10-23

    感谢分享
    TOP Posted: 05-03 18:13 #9樓 引用 | 點評
    镜若止水


    級別:新手上路 ( 8 )
    發帖:403
    威望:93 點
    金錢:4723 USD
    貢獻:1 點
    註冊:2022-02-14

    1024
    TOP Posted: 05-03 18:46 #10樓 引用 | 點評
    老A8


    級別:騎士 ( 10 )
    發帖:3101
    威望:356 點
    金錢:6601 USD
    貢獻:0 點
    註冊:2024-10-18

    支持技术分享
    TOP Posted: 05-03 18:57 #11樓 引用 | 點評
    为什么是你


    級別:新手上路 ( 8 )
    發帖:111
    威望:12 點
    金錢:935 USD
    貢獻:0 點
    註冊:2021-02-18

    感谢分享。
    TOP Posted: 05-03 19:17 #12樓 引用 | 點評
    adsl8


    級別:騎士 ( 10 )
    發帖:4856
    威望:486 點
    金錢:11209 USD
    貢獻:0 點
    註冊:2023-11-14

    感谢分享
    TOP Posted: 05-03 19:18 #13樓 引用 | 點評
    大院情怀


    級別:精靈王 ( 12 )
    發帖:7979
    威望:955 點
    金錢:600 USD
    貢獻:39152 點
    註冊:2020-10-18

    反正我也不懂
    TOP Posted: 05-03 19:21 #14樓 引用 | 點評
    行走中的衣架


    級別:精靈王 ( 12 )
    發帖:7358
    威望:2202 點
    金錢:7553 USD
    貢獻:500 點
    註冊:2023-10-03

    感谢分享。
    TOP Posted: 05-03 19:46 #15樓 引用 | 點評
    生煎烧鸡


    級別:精靈王 ( 12 )
    發帖:674
    威望:570 點
    金錢:67 USD
    貢獻:132116 點
    註冊:2023-09-06

    技术贴啊
    TOP Posted: 05-03 19:55 #16樓 引用 | 點評
    立风大爻爻


    級別:精靈王 ( 12 )
    發帖:9472
    威望:1428 點
    金錢:13274 USD
    貢獻:2349 點
    註冊:2024-11-21

    妥妥的技术大牛!一言不合就单干
    TOP Posted: 05-03 20:25 #17樓 引用 | 點評
    京观


    級別:騎士 ( 10 )
    發帖:2811
    威望:315 點
    金錢:14280 USD
    貢獻:0 點
    註冊:2023-08-08

    不明觉厉
    TOP Posted: 05-03 20:47 #18樓 引用 | 點評
    qsc4esz


    級別:精靈王 ( 12 )
    發帖:17059
    威望:2566 點
    金錢:691989542 USD
    貢獻:2158 點
    註冊:2011-06-06

    看看
    TOP Posted: 05-03 21:03 #19樓 引用 | 點評
    kelvin1101


    級別:俠客 ( 9 )
    發帖:677
    威望:141 點
    金錢:1059 USD
    貢獻:0 點
    註冊:2025-04-01

    大佬真的是太牛了
    TOP Posted: 05-03 21:30 #20樓 引用 | 點評
    天蓬大元帅


    級別:風雲使者 ( 13 )
    發帖:5502
    威望:532 點
    金錢:383 USD
    貢獻:345258 點
    註冊:2016-04-18

    聚聚是技术流啊。


    點評

      TOP Posted: 05-03 21:50 #21樓 引用 | 點評
      profesora


      級別:新手上路 ( 8 )
      發帖:67
      威望:7 點
      金錢:622 USD
      貢獻:0 點
      註冊:2023-01-03

      半瓶子不满一瓶子晃荡

      应该改为:

      一瓶子不满半瓶子晃荡

      使用方法、原理都写得很详细,一目了然
      TOP Posted: 05-03 22:00 #22樓 引用 | 點評
      加水


      級別:精靈王 ( 12 )
      發帖:23093
      威望:3255 點
      金錢:177563 USD
      貢獻:12345 點
      註冊:2023-10-24

      感谢分享
      ------------------------
      Y

      TOP Posted: 05-03 22:02 #23樓 引用 | 點評
      爱上烟头


      級別:新手上路 ( 8 )
      發帖:45
      威望:5 點
      金錢:1213 USD
      貢獻:0 點
      註冊:2025-04-08

      谢谢分享
      TOP Posted: 05-03 22:21 #24樓 引用 | 點評
      .:. 草榴社區 » 技術討論區

      電腦版 手機版 客戶端 DMCA
      用時 0.02(s) x2, 08-27 14:57