ETH官方钱包

前往
大廳
主題

我做了一個可以在 Twitter 上自動抓取場次品書的工具

要不要想想你在說什麼 | 2025-02-06 17:52:43 | 巴幣 2 | 人氣 51

我做了一個可以在 Twitter 上自動尋找品書的工具
前幾天在找 FF44 上的品書,但關注的繪師太多,有的也沒有上tag,或是不知道為什麼找不到,總之嫌麻煩,所以就搞了這個工具出來(但搞到最後發現我還是一個一個找比較快?)
想說趕在場次開始前搞出來,雖然這次應該是沒什麼用了,但下一次應該用的了?FF45之類的

先說一下缺點好了,避免有太多期待
這東西有幾個問題
首先,
1. 因為 Twitter 那個超貴的 API,所以沒可能付得起,因此使用抓取的方式處理,但很容易遇到速度限制, 因此可能途中會遇到載入錯誤,我有寫若是遇到這個問題,他會重開或是等個幾分鐘,所以速度不會那麼快,看1100個左右的作者需要3個小時,然後我有設定你可以使用多個帳號來抓,如果一個遇到限制,可以切到另一個
2. 可能跑到一半會爛掉,就是圖片抓不到之類的,但我盡可能處理了
3. 它很依賴關鍵字,它有可能會抓到 Final Fantasy(因為簡寫也是 FF),如果有些繪師的貼文沒有打字,它抓不到(雖然我看通常都會打就是了),我有設定蠻多組關鍵字的,你也可以自訂,但自訂它就會使用你自訂的,如果你只打一個,就只有一個關鍵字
4. 就算關鍵字對了,有可能不是品書相關的,這部分我就不管三七二十一,通通抓下來,因為通常也不多,你看的時候可能要自己篩一下,但應該不會太多...吧?
5. 可能有其他一些有的沒的問題(窩不知道,如果我沒遇到我就測不到)
6. 你需要自己把安全搜尋關掉,對,你在你的帳號裡面,要先把安全搜尋關掉,因為品書很多都...對

目前為止,大部分都可以抓的到
簡單說,這東西只能省你力氣
省不省時間我就不確定了

目前我測的結果是 1100 多個作者需要 3 個小時左右

使用方法基本上如下面這樣
1.如果你平常有在用python之類的,想要直接執行,那到 release 的地方,直接下載 source code 或是用 git clone 即可,下載回來後
使用
pip install -r requirements.txt

接著使用
playwright install

執行
python main.py
應該就可以執行了

2.如果沒什麼想法的話,那可以使用執行檔,一樣到 release 的地方
這次是使用資料夾的形式提供,因為裡面有包含瀏覽器,太大了,包成單個 exe 會超慢

首先建議下載下來的東西,都另外放在新建的一個資料夾裡面
然後你放的地方的路徑不要有中文會比較好

下載 OshinagakiFinder_dist.zip,下載後解壓縮,接著點進去剛解壓的那個資料夾,找到OshinagakiFinder_dist.exe,執行它就可以了

啟動後,會提示你要做什麼,基本上就是照著做就好
先使用登入驗證,因為搜尋需要登入,若是沒登入,底下的選項你用的時候,應該會在某個階段跳錯誤,另外,登入資料都是存在使用者那邊,我看不到,請放心

1 的部分你選了,就照著登入就好

2 的話你會看到這些
選項 1 會用你剛登入的帳號去抓你有跟隨的人,並加進資料庫,
選項 2 你可以自己打作者的網址進去,若是你有用過 1 ,他會往後面加
選項 3 跟 4 是查尋用的

3 的話你會看到這些
選項 1 進去直接打第幾屆就好,例如 44 就是 FF44,但他預設會找從"現在"開始,往前一個月,所以你找 FF43,應該找不到
選項 2 則是完全交由使用者輸入關鍵字,會把我原本訂的關鍵字暫時屏蔽掉,這個你可以用來搜尋 CWT 或是 CM 之類的,可以自訂多組

最後輸出完後會有一個叫做 output.html 的檔案,這就是它剛抓到的所有東西
可能像這樣

如果這張圖片有問題我在撤掉

所有圖片會先存起來
大概像這樣
應該說這就是剛工具有抓到的圖片(這是範例)
前面 1100 多個大概有 150 張吧,畢竟很多日本繪師不會參加 FF

以上,大概是這樣

最後,若是這個程式執行有 bug 或是有想加的功能,都可以在這邊跟我說,或是可以到 github 那邊留 issue,若可以的話,有想參與優化或修正也歡迎在 github 提 PR,感謝

另外,附上一些免責聲明,雖然底下描述得比較可怕,但主要是我不確定你電腦的環境長怎樣,怕有一些我沒想到的事情會發生,另外其實 GitHub 上有原始碼,有疑慮的話也可以直接看沒問題:

本軟體「按現狀」提供,使用者需自行承擔使用風險。開發者不對任何數據丟失、系統損壞或其他損失負責。
本工具僅供個人與學術研究用途,請勿用於任何商業用途或侵權行為。
開發者不對使用本工具導致的任何問題負責,包括但不限於帳號封鎖、數據遺失、API 限制等。
使用本工具即表示您同意自行承擔使用風險。

更新相關
開發者無義務提供任何形式的技術支持或定期更新,但歡迎用戶通過論壇或 GitHub 提交建議和問題

感謝看到最後的各位

另有之前做的另一個工具
有興趣可以看看
我做了一個可以尋找精華影片在原直播中時間軸的工具

創作回應

更多創作