顯示具有 2020-08 標籤的文章。顯示所有文章

20210510

Python - 網路爬蟲 (Web Crawler)

..................................................
# Date : 2021-05-10
..................................................
# Keywords: Code, Python, Web crawler, ... .
..................................................

# 網頁爬蟲與資料分析流程 [CASTMAN]：

[1] 尋找資料來源
[2] 使用 python 套件進行爬蟲
[3] 截取並過濾資料
[4] 分析資料
[5] 展示資料

..................................................

# 使用工具：Python、Jupyter。

# 使用套件：

[] requests

[] BeautifulSoup [WIKI]

[] Pandas [WEB]

# Installation :
[] 安裝 requests：於 CMD 輸入 pip3 install requests
[] 安裝 BeautifulSoup: 於CMD 輸入 pip install beautifulsoup4

..................................................

# 根據不同網頁內容使用不同套件來解析：

[] HTML, 使用 BeautifulSoup。

[] JSON, 使用內建之 JSON 套件即可 (import json)。

[] REQUEST：依網頁内容分 get and post.

..................................................

# 網路爬蟲範例：

[] 用 beautifulsoup 解析 HTML，抓標題：https://youtu.be/9Z9xKWfNo7k

..................................................

實際步驟：

一、載入套件
二、截取網頁資訊：使用 get

抓取圖片：

[] Python 網路爬蟲（基礎篇）knowlab, 20160628, https://knowlab.wordpress.com/2016/06/28/python-網路爬蟲（基礎篇）/
[] [爬蟲實戰] 如何爬取圖片以建立慾望之牆?, Youtube, https://youtu.be/9unqUH0PYCI

..................................................

JUPYTER Notebook

# 快捷鍵：

[] Ctrl + Enter = 在目前 CELL 中執行。

[] Alt + Enter = 執行 then 插入一新的 CELL。

..................................................

# REFERENCE

[] Python新手教學(Part 1)：用爬蟲爬全球股價!, FINLAB, https://www.finlab.tw/用爬蟲爬全世界股價/

[] [Python-Finance]證交所股票價格爬蟲實作教學(Let’s crawl stock price)-附程式碼, YCY-TAI, https://ycy-tai.medium.com/python-finance-證交所股票價格爬蟲實作教學-lets-crawl-stock-price-附程式碼-e5d07d41b779

[] 給初學者的 Python 網頁爬蟲與資料分析 (1) 前言, CASTMAN, 20161219, http://blog.castman.net/教學/2016/12/19/python-data-science-tutorial-1.html

[] 使用 Python 資料分析和視覺化上市櫃公司薪資公開資料, Techbridge, 20190726, https://blog.techbridge.cc/2019/07/26/how-to-use-taiwan-salary-data-to-do-python-data-analytics-and-data-visualization/

[] [Python] Pandas 基礎教學, ORANWIND, 20171001, https://oranwind.org/python-pandas-ji-chu-jiao-xue/

# REF. Package

[] BeautifulSoup, WIKI, https://zh.wikipedia.org/zh-tw/Beautiful_Soup
[] Pandas, https://pandas.pydata.org/

..................................................

20200817

商業模式圖 (Business Model Canvas)

..................................................

# Update = 2020-08-17

..................................................

# Keywords: Business model canvas, ... .

..................................................

商業模式圖（business model canvas），利用九個面向思考商業模式，包括：

[1] 價值主張（Value proposition）

[2] 關鍵合作夥伴（Key partners）

[3] 關鍵活動（Key activities）

[4] 關鍵資源（Key Resources）

[5] 客戶關係（Customer relationships）

[6] 銷售通路（Channels）

[7] 目標客群（Customer segments）

[8] 成本結構（Cost structure）

[9] 收入來源（Revenue streams）

可將9個課題分爲4個導向 [Grothmarketing,20191128]：

[1] 供給導向 = 關鍵合作夥伴 + 關鍵活動 + 關鍵資源

[2] 價值導向 = 價值主張

[3] 需求導向 = 客戶關係 + 銷售通路 + 目標客群

[4] 財務導向 = 成本結構 + 收入來源

..................................................

# VIDEO：

[] 獲利世代正席捲世界！全球逾10萬人採用！, https://youtu.be/eUwGePieHCg

..................................................

# REFERENCE

[] Business Model Canvas, Business Model Canvas, https://en.wikipedia.org/wiki/Business_Model_Canvas

[] Canvanizer, https://canvanizer.com/new/business-model-canvas

[] 如何決定企業的商業模式？ (Business model canvas), TENTEN, 20180705, https://university.tenten.co/t/topic/458

[] 簡單了解商業模式畫布圖(Business Model Canvas BMC), FLIPWEB, 20181008, https://medium.com/@flipweb/簡單了解商業模式畫布圖-business-model-canvas-bmc-37512c35f898

[] 完整掌握商業模式圖：圖文解析、案例練習及模式圖沒告訴你的事！, Grothmarketing, 20191128, https://growthmarketing.tw/business-model-canvas/

..................................................

20200816

Python Libraries

..................................................

# Update : 2021-02-21

..................................................

# Keywords: Code, Python, LIbraries, Extension, ... .

..................................................

# Data Science Libraries :

[] Pandas, NumPy, Scikit-learn, Gradio, TensorFlow, Keras, SciPy, Statsmodels, Plotly, Seaborn [Towardsdatascience, 20210218].

..................................................

# Brief Introduction :

[] Matplotlib = Plotting.

[] NumPy = Matrix calculation.

[] Pandas = Data analysis.

..................................................

# requests = Http application.

[] 電腦中若安裝多種版本的 Python，可利用『where pip』指令，查詢安裝位置。

..................................................

# REFERENCE

[] Top 10 Python Libraries for Data Science in 2021, Towardsdatascience, 20210218, https://towardsdatascience.com/top-10-python-libraries-for-data-science-in-2021-b122f168ae62

..................................................

演講 (Speech)

# 演講 (Speech)

..................................................

# Update = 2020-08-16

..................................................

# Keywords: Speech, Review, Research, ... .

..................................................

# 讀研究論文：

[] 彭明輝教授-期刊論文閲讀技巧 [YT]，重點摘錄：

[] 智商差不多，差別在『技巧』的運用。
[] 最高境界：讀最少的論文，找到最多有用的點子。
[] 看 Introduction 瞭解該領域各篇論文的優缺點，從結果瞭解量化結果。
[] 口試，做投影片，引導門外漢在30分鐘内，瞭解你做了1年半的研究。
[] 摘要（Abstract）：此論文要解決的問題。
[] 針對目標產品（研究領域），找出主要的公司（學者流派），進行優劣比較，思考如何勝出？如何做市場區隔？找到特定客戶？
[] IEEE magazine = Ready for industry.
[] Review paper = 匯整所有 paper 的 introduction.
[] 文獻回顧，文獻的有效性？條件爲何？
[] 回答某領域的問題、相關學者流派、研究主題，問各系所的博士生最快。

..................................................

# REFERENCE

[] 20150314 城市講堂苦苓苦苓與瓦幸的魔法森林, https://youtu.be/h5XdQpxwMUM

[] 期刊論文閱讀技巧, https://youtu.be/2RCbU7haayo

..................................................

20200802

日記 (Diary)

日記 (Diary)
..................................................
# Update = 2020-08-02
..................................................
# Keywords: Diary, ... .
..................................................

# ABSTRACT :

[] 日記，以日期為排序的筆記 [WIKI]。

[] 工具：紙張 + 筆；或以數位工具，如 EVERNOTE、NOTION 等軟體 APP 進行記錄。

..................................................

# 寫日記的優點：

(1) 減低壓力及焦慮、整理思緒，啓發新意念去解決問題、與自我對話、探索自我，供未來的自己參考 [TheNewsLens,20200508]。

..................................................

# 名人日記：

(1) 蔣介石日記 [WIKI]。

(2) 蔣經國日記 [WIKI]。

..................................................

# REFERENCE

[] Diary, WIKI, https://en.wikipedia.org/wiki/Diary

[] 蔣介石日記, WIKI, https://zh.wikipedia.org/wiki/蔣介石日記

[] 蔣經國日記, WIKI, https://zh.wikipedia.org/wiki/蔣經國日記

[] 你有寫日記的習慣嗎？寫日記對心理健康的三個好處, 20200508, TheNewsLens, https://www.thenewslens.com/article/134781

..................................................

訂閱：文章 (Atom)