WELCOME DATA LAND|文字探勘 (Data Analytics)
近期,由 OpenAI 於 2022 年 11 月開發並推出的 ChatGPT 充斥於各大平台,不管是新聞媒體、社群媒體,還是口耳相傳,大家對於 ChatGPT 的回覆深感驚喜。那麼,關於網路上的內容在文字探勘上該如何使用呢?所謂公平性(Fairness)、普惠(Inclusiv…
【技術分享】認識文本分析|Word2Vec, Doc2Vec 比較 (附Python程式碼)
本篇筆記 Python自然語言處理入門的常用方法 Word2Vec,及其延伸:Doc2Vec,表述他們之間的關聯,並以Python實作比較不同方法分辨同樣兩個語句的效果。(介於中間的還有Sent2Vec,概念與Doc2Vec相似) Word2Vec是什麼?
【技術分享】認識文本分析|給我一段話,我告訴你重點在哪:對文本重點字詞加權的TF-IDF方法
適逢上週五2019數位奇點獎,敝公司獲得【最佳數據科技創新獎】銅獎;當中的案件我們使用到tfidf產生的文本向量做KMeans分群。正好想試試再讓文章簡單好懂一點,本周就單純只介紹這個文本分析很常用到的統計方法:TF-IDF。一句話解釋TF-IDF——用來從一段文字/一個語料庫...