Enson.Studio.: CODING

顯示具有 CODING 標籤的文章。顯示所有文章

20210510

Python - 網路爬蟲 (Web Crawler)

..................................................
# Date : 2021-05-10
..................................................
# Keywords: Code, Python, Web crawler, ... .
..................................................

# 網頁爬蟲與資料分析流程 [CASTMAN]：

[1] 尋找資料來源
[2] 使用 python 套件進行爬蟲
[3] 截取並過濾資料
[4] 分析資料
[5] 展示資料

..................................................

# 使用工具：Python、Jupyter。

# 使用套件：

[] requests

[] BeautifulSoup [WIKI]

[] Pandas [WEB]

# Installation :
[] 安裝 requests：於 CMD 輸入 pip3 install requests
[] 安裝 BeautifulSoup: 於CMD 輸入 pip install beautifulsoup4

..................................................

# 根據不同網頁內容使用不同套件來解析：

[] HTML, 使用 BeautifulSoup。

[] JSON, 使用內建之 JSON 套件即可 (import json)。

[] REQUEST：依網頁内容分 get and post.

..................................................

# 網路爬蟲範例：

[] 用 beautifulsoup 解析 HTML，抓標題：https://youtu.be/9Z9xKWfNo7k

..................................................

實際步驟：

一、載入套件
二、截取網頁資訊：使用 get

抓取圖片：

[] Python 網路爬蟲（基礎篇）knowlab, 20160628, https://knowlab.wordpress.com/2016/06/28/python-網路爬蟲（基礎篇）/
[] [爬蟲實戰] 如何爬取圖片以建立慾望之牆?, Youtube, https://youtu.be/9unqUH0PYCI

..................................................

JUPYTER Notebook

# 快捷鍵：

[] Ctrl + Enter = 在目前 CELL 中執行。

[] Alt + Enter = 執行 then 插入一新的 CELL。

..................................................

# REFERENCE

[] Python新手教學(Part 1)：用爬蟲爬全球股價!, FINLAB, https://www.finlab.tw/用爬蟲爬全世界股價/

[] [Python-Finance]證交所股票價格爬蟲實作教學(Let’s crawl stock price)-附程式碼, YCY-TAI, https://ycy-tai.medium.com/python-finance-證交所股票價格爬蟲實作教學-lets-crawl-stock-price-附程式碼-e5d07d41b779

[] 給初學者的 Python 網頁爬蟲與資料分析 (1) 前言, CASTMAN, 20161219, http://blog.castman.net/教學/2016/12/19/python-data-science-tutorial-1.html

[] 使用 Python 資料分析和視覺化上市櫃公司薪資公開資料, Techbridge, 20190726, https://blog.techbridge.cc/2019/07/26/how-to-use-taiwan-salary-data-to-do-python-data-analytics-and-data-visualization/

[] [Python] Pandas 基礎教學, ORANWIND, 20171001, https://oranwind.org/python-pandas-ji-chu-jiao-xue/

# REF. Package

[] BeautifulSoup, WIKI, https://zh.wikipedia.org/zh-tw/Beautiful_Soup
[] Pandas, https://pandas.pydata.org/

..................................................

20190917

PYTHON 基礎入門

..................................................

# Date : 2019-09-17

# Author : Enson, Yu, Ph.D.

..................................................

# Keywords: Code, Python, ... .

..................................................

# 基礎學習

* 『#』為註解符號。

* PIP 套件管理工具

* 執行：python 檔案名稱
..................................................

# Jupyter

[] 安裝：pip3 install jupyter
[] 執行：jupyter notebook

..................................................

# 套件 (Package)：

[] 模組套件說明：[dokelung-blog]。
[] requests : 用以模擬網路請求行為。

..................................................

# REFERENCE

[] Python, https://www.python.org/
[] Python, WIKI, https://zh.wikipedia.org/wiki/Python
[] Python 台灣使用者群組, http://wiki.python.org.tw/Pot
[] 編程派, http://codingpy.com/
[] DJANGO, WIKI, https://zh.wikipedia.org/wiki/Django

## REF. Fundamental Study.

[] Django筆記 - Python的模組與套件, dokelung-blog, http://dokelung-blog.logdown.com/posts/243281-notes-django-python-modules-and-kits
[] Python 基本語法與科學計算套件的使用： Python 基礎(一), http://www.astro.ncu.edu.tw/~yhsu/yhsu/python基礎一/

## REF. JUPYTER

[] [Python] Mac OS / Windows 安裝 Jupyter, ORANGEWIND, 20160721, https://oranwind.org/bid-data-mac-os-an-zhuang-jupyter/

..................................................

20190421

Mrakdown 語法

..................................................

#Update: 2024-02-16

..................................................
#Keywords: Markdown, Code, Language, Programming, ... .
..................................................

# 特性：

* 輕量級標記式語言

* 附檔名為：.md

# 語法：

* 用『#』表示標題，# 越多則代表越多階。
* 用前後『**』表示粗體字： **要加粗的文字**。
* 用『*』表示清單符號。
* 用數字，表示清單數字。
* 用『空行』表示段落。
* 用『---』表示水平線。
* 用『|』、『-』來建立表格 [MS,20190326]。

| Item | Item | Item |
| :----- | -----: |:-----: |
| A | B | C |
| A1 | B1 | C1 |

..................................................

# REFERENCE

[] Markdown - 易編易讀，優雅的寫文吧！,ITHELP,20181021, https://ithelp.ithome.com.tw/articles/10203758
[] 如何使用 Markdown 來撰寫 Docs, MICROSOFT, 20190326, https://docs.microsoft.com/zh-tw/contribute/how-to-write-use-markdown
[] Markdown, WIKI, https://www.wikiwand.com/zh-tw/Markdown
[] 如何溝通資料：輕量級標記式語言使用 Markdown 協助寫作文字敘述, DATAPOINT, 20180916, https://medium.com/datainpoint/communicating-md-e53a08e6652f

..................................................

20180206

Python - requests

Python - requests
Keywords:Python, package, requests, ... .
____________________________________________________________

# 截取網頁 URL 內容。

import request
www = requests.get ("URL")
print (www.text)

____________________________________________________________

20180125

TensorFlow

Keywords : Python, Google, TensorFlow, Machine Learning ... .
____________________________________________________________

Python 安裝 TensorFlow [TensorFlow]：

C:\> pip3 install --upgrade tensorflow
C:\> pip3 install --upgrade tensorflow-gpu

____________________________________________________________

REFERENCE

[] Installing TensorFlow on Windows, TensorFlow, https://www.tensorflow.org/install/install_windows

____________________________________________________________

20180110

關於影像處理 (Image Processing)

Keywords: Image processing, Freeware, Coding, ... .
____________________________________________________________

免費工具：

[] OpenCV [WEB] [WIKI]。

____________________________________________________________

REFERENCE

[] OpenCV, Website, https://opencv.org
[] OpenCV, WIKI, https://zh.wikipedia.org/wiki/OpenCV

____________________________________________________________

20170516

APP Inventor

---------- ---------- ---------- ---------- ----------

REFERENCE

MIT App Inventor 2, http://ai2.appinventor.mit.edu/
MIT應用開發者, WIKI, https://goo.gl/E26x2o
App Inventor TW 中文學習網, http://www.appinventor.tw/

---------- ---------- ---------- ---------- ----------

20170207

IPCONFIG

ipconfig 是微軟作業系統上用來控制網路連線的一個命令列工具。

利用 CMD.exe 開啟命令提示字元，即可在 DOS 環境下使用。

---------- ---------- ---------- ---------- ----------

ipconfig 後置指令：

/? 顯示幫助資訊
/all 顯示現時所有網路連線的設定
/release 釋放某一個網路上的IP位置
/renew 更新某一個網路上的IP位置
/flushdns 把DNS解析器的暫存內容全數刪除

---------- ---------- ---------- ---------- ----------

REFERENCE

IPCONFIG, WIKI, https://zh.wikipedia.org/wiki/Ipconfig

---------- ---------- ---------- ---------- ----------

20170204

撰寫批次檔 (Batch) 使用指令

---------- ---------- ---------- ---------- ----------

批次檔之附檔名 = cmd 或 bat

----------

START , 開啟視窗或執行程式
開啟火狐及特定網址 = start firefox.exe URL

----------

TIMEOUT , 暫停
暫停五秒 = timeout /t 5

---------- ---------- ---------- ---------- ----------

REFERENCE

[BAT]批次檔BAT最基礎的71個指令, GN00982591, https://goo.gl/uhdT2L
Windows批處理(cmd/bat)常用命令小結, Read01, 20160412, https://goo.gl/CdCbjq
Bat 批次檔_關閉已開啟的程式 (taskkill), 20110105, https://goo.gl/82N3T4
BAT：批處理教學（上）, YUPSKY, 20110615, https://goo.gl/lBfR1D

---------- ---------- ---------- ---------- ----------

20151014

Raspberry Pi (樹莓派) 相關資料

----

網站：

官方網站 = https://www.raspberrypi.org/

台灣樹莓派 = http://www.raspberrypi.com.tw/

硬.Pi.製.作 = https://sites.google.com/site/raspberrypidiy/home

學習樹莓派--Raspberry Pi = https://sites.google.com/site/raspberypishare0918/
Raspberry on Engadget = http://chinese.engadget.com/tag/raspberrypi/
Raspberry Pi 教學 on BotSheet, http://www.botsheet.com/cht/category/tutorial-category/raspberry-pi-tutorial-category/

----

文章：

再看Raspberry Pi 2，升級後的硬體如何提升效能, 20150314, TECHBANG, http://goo.gl/vaX4dz
其實 Raspberry Pi 的門檻沒那麼高, 20141119, TECHBANG, http://goo.gl/NCp0Ni

----
Enson.

訂閱：文章 (Atom)