常见问题常见问题   搜索搜索   会员列表会员列表   团队团队   注册注册    个人资料个人资料   登录查看您的站内信件登录查看您的站内信件   登录登录 

如何使用 phantomjs freebsdchina.js anonsync

 
发表新文章   回复文章    FreeBSD China -> 休闲话题
阅读上一个主题 :: 阅读下一个主题  
作者 留言
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Fri 2017-11-17 20:59:06    发表主题: 如何使用 phantomjs freebsdchina.js anonsync 引用并回复

Very Happy Very Happy Very Happy Very Happy

代码:
[ghw@bitmoe.pts/1] ~/CNPROJ/freebsdchina % phantomjs freebsdchina.js listspam
Updated /usr/home/ghw/CNPROJ/freebsdchina/cache/freebsdchina.spam.json
[]
[ghw@bitmoe.pts/1] ~/CNPROJ/freebsdchina %


这个要咋用来着 Shocked Shocked

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Sat 2017-11-18 00:19:35    发表主题: 引用并回复

把要删的 ID 加到 freebsdchina.spambotIds.json,运行
//下载每个版面第一页贴子的链接和作者
% phantomjs anonsyncdelta

//从刚才下载的内容中找出匹配 freebsdchina.spambotIds.json
//中要删除的 ID 的链接然后保存到 freebsdchina.spam.json
% phantomjs listspam

把用户名密码写到 freebsdchina.account.json,运行
//照着 freebsdchina.spam.json 里面的链接一个个删贴
% phantomjs deletespam

第一次运行会抓取每个版面第一页所有的贴子,有些版的 spam 数量少,
为了减少流量没必要每次都把第一页所有的贴子都重新下载一遍,所以脚本
保存了已经检查过的链接。可以手动清空某个版面,比如
cache/freebsdchina.list.3.*.json 再运行 phantomjs anonsyncdelta
就会把休闲话题版第一页所有的贴全都重新下载一遍……

好了,以后就全拜托你们了。

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Sat 2017-11-18 20:06:43    发表主题: 引用并回复

代码:
[ghw@bitmoe.pts/3] ~/CNPROJ/freebsdchina % time phantomjs freebsdchina.js deletespam
Requested: https://www.freebsdchina.org/forum/forum_27.html
Received: https://www.freebsdchina.org/forum/forum_27.html
doClickButton: page.viewportSize: {
    "height": 768,
    "width": 1024
}
doClickButton: Clicking Button: {
    "left": 626.859375,
    "top": 70
}
Requested: https://www.freebsdchina.org/forum/login.php?sid=82db667f495cef64f59df236e1de3d86
Received: https://www.freebsdchina.org/forum/login.php?sid=82db667f495cef64f59df236e1de3d86
DEBUG doLogin0: https://www.freebsdchina.org/forum/



^C0.272u 0.051s 3:48.56 0.1%    42963+2631k 0+0io 0pf+0w
[ghw@bitmoe.pts/3] ~/CNPROJ/freebsdchina %


Shocked Shocked Shocked

卡住不动

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Sun 2017-11-19 12:15:57    发表主题: 引用并回复

Gehaowu 写到:
代码:
[ghw@bitmoe.pts/3] ~/CNPROJ/freebsdchina % time phantomjs freebsdchina.js deletespam
Requested: https://www.freebsdchina.org/forum/forum_27.html
Received: https://www.freebsdchina.org/forum/forum_27.html
doClickButton: page.viewportSize: {
    "height": 768,
    "width": 1024
}
doClickButton: Clicking Button: {
    "left": 626.859375,
    "top": 70
}
Requested: https://www.freebsdchina.org/forum/login.php?sid=82db667f495cef64f59df236e1de3d86
Received: https://www.freebsdchina.org/forum/login.php?sid=82db667f495cef64f59df236e1de3d86
DEBUG doLogin0: https://www.freebsdchina.org/forum/



^C0.272u 0.051s 3:48.56 0.1%    42963+2631k 0+0io 0pf+0w
[ghw@bitmoe.pts/3] ~/CNPROJ/freebsdchina %


Shocked Shocked Shocked

卡住不动


PhantomJS 2.0 和 2.1 page.frameUrl 的返回不一样,你再更新一下 freebsdchina.js 试试

当初真心不该进 PhantomJS 的坑,这么快就已经过时了……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
mallocbsd
道童


注册时间: 2012-10-24
文章: 206

文章发表于: Thu 2017-11-23 09:57:27    发表主题: 引用并回复

anonymouscoward 写到:

当初真心不该进 PhantomJS 的坑,这么快就已经过时了……


web的东西更新很快吧,现在流行玩儿什么?
你看楼上示威的来了。 Cool

_________________
free( bsd );
返回页首
阅览会员资料 发送站内信件
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Fri 2017-11-24 20:40:05    发表主题: 引用并回复

anonymouscoward 写到:
把要删的 ID 加到 freebsdchina.spambotIds.json,运行
//下载每个版面第一页贴子的链接和作者
% phantomjs anonsyncdelta

//从刚才下载的内容中找出匹配 freebsdchina.spambotIds.json
//中要删除的 ID 的链接然后保存到 freebsdchina.spam.json
% phantomjs listspam

把用户名密码写到 freebsdchina.account.json,运行
//照着 freebsdchina.spam.json 里面的链接一个个删贴
% phantomjs deletespam

第一次运行会抓取每个版面第一页所有的贴子,有些版的 spam 数量少,
为了减少流量没必要每次都把第一页所有的贴子都重新下载一遍,所以脚本
保存了已经检查过的链接。可以手动清空某个版面,比如
cache/freebsdchina.list.3.*.json 再运行 phantomjs anonsyncdelta
就会把休闲话题版第一页所有的贴全都重新下载一遍……

好了,以后就全拜托你们了。


垃圾ID要手工添加? Rolling Eyes Rolling Eyes Rolling Eyes

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Fri 2017-11-24 20:51:13    发表主题: 引用并回复

代码:
Requested(http): https://www.freebsdchina.org/forum/index.php?sid=582ab566da819e96e16a8dd3451e6014
Received: https://www.freebsdchina.org/forum/index.php?sid=582ab566da819e96e16a8dd3451e6014
{
    "error": [
        "Username mismatch: |Gehaowu|"
    ],
    "message": "您上次访问时间是 Fri 2017-11-24 20:48:35\n现在的时间是 Fri 2017-11-24 20:49:19",
    "success": false
}
Login Failed


登陆失败 Shocked Shocked

我都把密码里特殊字符都删掉了,还是会这样

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Fri 2017-11-24 20:52:15    发表主题: 引用并回复

Cool Cool Cool 用户名大小写也有影响 Shocked Shocked Shocked
_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Fri 2017-11-24 22:16:05    发表主题: 引用并回复

mallocbsd 写到:
anonymouscoward 写到:

当初真心不该进 PhantomJS 的坑,这么快就已经过时了……


web的东西更新很快吧,


可以不用 PhantomJS 的理由两年前这贴提到过
https://www.freebsdchina.org/form/viewtopic.php?p=311988#311988
anonymouscoward 写到:
- FreeBSDChina 论坛不需要运行 JavaScript 就能获得完整的 DOM
所以任何有简单 HTTP 库还有 HTML parser 的正常脚本语言都很容易做到
匿懦学习 PhantomJS 主要为了爬其他的站……


PhantomJS 过时是指今年四月看到的这条新闻
Message-Id: <20170413134054.71F1E172CD@mail.anonymous744wjcx.onion>

mallocbsd 写到:

现在流行玩儿什么?
你看楼上示威的来了。 Cool


邮件列表换到 anonymous744wjcx.onion 后你怎么还没加进来啊……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Fri 2017-11-24 22:17:50    发表主题: 引用并回复

Gehaowu 写到:
垃圾ID要手工添加? Rolling Eyes Rolling Eyes Rolling Eyes


因为匿懦认为照着 ID 删不会删错啊,我又没权限恢复被误删的贴。
你也可以修改成凡是匹配 \p{Cyrillic} 的统统删掉,随便改,反正以后删贴全拜托你们了……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Fri 2017-11-24 22:25:12    发表主题: 引用并回复

Gehaowu 写到:
Cool Cool Cool 用户名大小写也有影响 Shocked Shocked Shocked


因为从来就没有需要顾及到论坛可以接受登录用户名大小不一致的情况啊,
反正一直就是只有我一个人拿来随便玩玩的么……

你想怎么改就怎么改吧,别发 pull request 给我,因为发了我也看不到……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Fri 2017-11-24 22:34:08    发表主题: 引用并回复

anonymouscoward 写到:
可以不用 PhantomJS 的理由两年前这贴提到过
https://www.freebsdchina.org/form/viewtopic.php?p=311988#311988

链接应该是这个
https://www.freebsdchina.org/forum/viewtopic.php?p=311988#311988

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
syh
老妖


注册时间: 2010-05-02
文章: 1617
来自: 卡拉赞

文章发表于: Mon 2017-11-27 13:02:06    发表主题: 引用并回复

噫,好像论坛发生灾难了。
_________________
又要毕业了。应该是最后一次。
-------------
audio/mous
ports-mgmt/pkg-rmleaf
Buffer Hint: http://www.vim.org/scripts/script.php?script_id=5272
返回页首
阅览会员资料 发送站内信件
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Mon 2017-11-27 20:19:26    发表主题: 引用并回复

syh 写到:
噫,好像论坛发生灾难了。


Shocked Shocked Shocked

没完没了的,感觉得crond删了。。。 Shocked Shocked Shocked Shocked

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Sat 2017-12-02 21:41:02    发表主题: 引用并回复

Shocked 为啥有些记录删不掉呢。id已经写了的
_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Sat 2017-12-02 23:17:45    发表主题: 引用并回复

Gehaowu 写到:
Shocked 为啥有些记录删不掉呢。id已经写了的


删掉那个版对应的已经下载过的列表
比如休闲话题版 cache/freebsdchina.list.3.*.json
然后重新运行……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Mon 2017-12-18 20:54:37    发表主题: 引用并回复

anonymouscoward 写到:
Gehaowu 写到:
Shocked 为啥有些记录删不掉呢。id已经写了的


删掉那个版对应的已经下载过的列表
比如休闲话题版 cache/freebsdchina.list.3.*.json
然后重新运行……


整个cache都删了呢

代码:
搜索到 651 个符合的内容
FreeBSD China


删完还有那么多
https://www.freebsdchina.org/forum/search.php?search_author=Toogeprex

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
anonymouscoward
道士


注册时间: 2013-08-08
文章: 868

文章发表于: Tue 2017-12-19 18:12:22    发表主题: 引用并回复

最早这脚本是每个版面一页接着一页抓下来直到出现一页不含任何
freebsdchina.spambotIds.json 里 ID 的为止,不过后来为了减少
流量改成了只检查每个版面第一页,所以碰到 spam 占到好几页的
情况你就需要多跑几遍了……

_________________
匿懦的邮件列表
订阅: bsd-talk-subscribe@anonymous744wjcx.onion
退订: bsd-talk-unsubscribe@anonymous744wjcx.onion
返回页首
阅览会员资料 发送站内信件
Gehaowu
老妖


注册时间: 2009-07-13
文章: 3193
来自: www

文章发表于: Wed 2017-12-20 22:28:37    发表主题: 引用并回复

anonymouscoward 写到:
最早这脚本是每个版面一页接着一页抓下来直到出现一页不含任何
freebsdchina.spambotIds.json 里 ID 的为止,不过后来为了减少
流量改成了只检查每个版面第一页,所以碰到 spam 占到好几页的
情况你就需要多跑几遍了……


Very Happy 快好了
我加*/30了 Very Happy Very Happy Very Happy

_________________
BITMOE.com
礼尚多有往来,意美人常在
Simplified Chinese Shell/csh,Traditional Chinese Shell/tcsh
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
从以前的文章开始显示:   
发表新文章   回复文章    FreeBSD China -> 休闲话题 论坛时间为 北京时间
1页/共1

 
转跳到:  
不能发布新主题
不能在这个论坛回复主题
不能在这个论坛编辑自己的文章
不能在这个论坛删除自己的文章
不能在这个论坛发表投票


Powered by phpBB 2023cc © 2003 Opensource Steps; © 2003-2009 The FreeBSD Simplified Chinese Project
Powered by phpBB © 2001, 2005 phpBB Group
Protected by Project Honey Pot and phpBB.cc
silvery-trainer
The FreeBSD China Project 网站: 中文计划网站 社区网站
The FreeBSD China Project 版权所有 (C) 1999 - 2003 网页设计版权 著作权和商标