ETH官方钱包

創作內容

2 GP

針對巴哈和噗浪的Python爬蟲─目錄

作者:SystemCall│2023-07-06 23:28:29│巴幣:102│人氣:385
針對巴哈姆特和噗浪的 Python 爬蟲
Python crawler for Gamer and Plurk
Player_SystemCall

2023 7 4
我把整個製作流程做成一份 PDF 文件囉,
不過除了程式碼和參考資料的連結可以複製外,
其他都不可以複製就是了。

目錄

  (一)需求
  (二)流程圖
  (三)前置作業
  (一)Google Sheets API
  (二)Google Sheets
三、Python 程式
  (三)副程式
    1. 時間之取得
    2. 連線測試
    3. 追蹤天數之取得
    4. 月份最後一天之取得
    5. 裝置網路卡資訊(MAC 位址、IPv4 IPv6)之取得
    6. 裝置使用者名稱之取得
    7. 網際網路(外網)IP 之取得和版本判定
    8. 網際網路 IP 所在地區資料之取得
  (四)主程式的共用段
    1. 取得起始時間和裝置資訊
    2. 使用 Google sheets API 憑證開啟試算表
    3. 獲取運作天數
    4. 結束
  (五)對巴哈姆特 Gamer 的程式碼
    1. 副程式
    2. 主程式:取得起始時間和裝置資訊
    3. 主程式:從小屋原始碼取得每日流量、好友人數和追蹤者人數
    4. 主程式:取得追蹤者名單及其相關資訊
    5. 主程式:取得好友名單及其相關資訊
    6. 主程式:使用 Google sheets API 憑證開啟試算表
    7. 主程式:獲取運作天數
    8. 主程式:寫入追蹤者和好友的人數及人氣流量數
    9. 主程式:對照追蹤者和朋友的資料後寫入名單和裡面帳號的相關資訊
    10. 主程式:寫入程式執行時的相關細節
    11. 主程式:結束
  (六)對噗浪 Plurk 的程式碼
    1. 副程式
    2. 主程式:取得起始時間和裝置資訊
    3. 主程式:從個人頁面原始碼取得總流量、好友人數和追蹤者人
    4. 主程式:取得粉絲名單及其相關資訊
    5. 主程式:取得朋友名單及其相關資訊
    6. 主程式:使用 Google sheets API 憑證開啟試算表
    7. 主程式:獲取運作天數
    8. 主程式:寫入粉絲和好友的人數及流量數
    9. 主程式:對照粉絲和朋友的資料後寫入名單和裡面帳號的相關資
    10. 主程式:寫入程式執行時的相關細節
    11. 主程式:結束
  (七)預留章節
    1. 副程式
    2. 主程式:取得起始時間和裝置資訊
    3. 主程式:中繼節
    4. 主程式:使用 Google sheets API 憑證開啟試算表
    5. 主程式:獲取運作天數
    6. 主程式:中繼節
    7. 主程式:結束
四、本地端自動化
  (一)程式執行
  (二)批次檔案 Batch File
  (三)工作排程器
五、遠端自動化
  (一)GitHub 帳號
  (二)GitHub Secret
  (三)GitHub Action
六、結論
  (一)關於程式的結論
  (二)關於整個專案的結論
參考資料
  不分類
  環境變數
  本地自動化──Batch File
  雲端自動化──GitHub Secret
  雲端自動化──GitHub Action YAML 參考資料
附錄
  附錄一:爬蟲程式使用的套件 Package
  附錄二:同樣意思,2 種效率
  附錄三:專案的 GitHub 網址

引用網址:http://www.jamesdambrosio.com/TrackBack.php?sn=5750546
All rights reserved. 版權所有,保留一切權利

相關創作

同標籤作品搜尋:Python|爬蟲程式|巴哈姆特|噗浪|流量紀錄器|crawler|Gamer|Plurk

留言共 0 篇留言

我要留言提醒:您尚未登入,請先登入再留言

2喜歡★player0309 可決定是否刪除您的留言,請勿發表違反站規文字。

前一篇:應付本地端輕度自動化工作... 後一篇:針對巴哈和噗浪的Pyth...


face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情? 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】