Insights & Innovations

Dive into our curated collection of articles, where we explore the latest trends, breakthroughs, and best practices in the world of Large Language Models and NLP. Stay informed, inspired, and ahead of the curve with our expert insights

Dancing with AI | 簡立峰老師於中央研究院的演說

這篇文章分享了簡立峰博士在中央研究院的演講,主題是「與 AI 共舞」。他探討了 AI 的快速發展、台灣在 AI 產業中的挑戰與機遇,並強調了資料、算力和硬體的重要性。簡博士也提到台積電的全球影響力,以及台灣應如何在 Edge AI 和應用領域找到突破口,並提醒個人應學會與 AI 互動,提升問問題的能力。

Read More »

Apache 筆記:Ubuntu 的 Memory管理

這篇文章探討了 Ubuntu 的記憶體管理,特別關注緩衝區(buff/cache)的作用與管理。文章介紹如何透過 `free -m` 檢視系統的記憶體使用情況,解釋了記憶體分配的各個參數,並強調 Linux 系統會自動管理快取和緩衝區。此外,針對某些情境下是否需要手動釋放 buff/cache,文章也提供了建議和操作步驟。

Read More »

PHP 基礎:PHP-FPM 與 mod_php?

這篇文章介紹了 PHP-FPM(FastCGI Process Manager)與 mod_php 之間的差異與優勢。PHP-FPM 採用獨立 process管理,提供更好的效能、靈活性與安全性,特別適合高並發環境。相比之下,mod_php 對資源管理較差,記憶體使用更高。文中還詳細介紹了 PHP-FPM 的安裝流程,包含如何設定 Apache 與 PHP-FPM 的整合,並提供了對伺服器性能優化的實用建議。

Read More »

PHP基礎:關於 php.ini 中 max_input_vars 的設定

這篇文章探討了如何最佳化 PHP 的 `max_input_vars` 設定,該參數控制透過 `$_POST`、`$_GET` 和 `$_COOKIE` 傳遞的變數數量。文中強調了根據應用程式需求來調整該值的重要性,並提供了具體步驟來修改 `php.ini` 文件。最後,還提醒用戶需在修改後重啟伺服器,並持續監控效能和安全性。

Read More »

DataGemma:以真實數據為基礎,破解人工智慧的「幻覺」難題

Large Language Models(LLMs)已成為 AI領域的核心推動力。然而,伴隨著這些進步,LLMs 也帶來了一個令人頭痛的問題:「幻覺」(hallucinations)。這種現象指的是模型在缺乏足夠資訊或理解的情況下,仍然自信地生成錯誤或不準確的內容,誤導使用者。為了應對這一挑戰,Google 推出了 DataGemma,其目標是想要將 LLMs 與龐大且可靠的真實世界數據資料庫『Data Commons』相結合的創新嘗試。

Read More »

關於 OpenAI 新推出名為 o1 model的一些筆記

OpenAI 新推出的 o1 系列模型,厲害的地方是可以做很深入的推理。它在科學推理方面表現特別好,像是在程式競賽和數學比賽中都拿到很高的成績。這個模型最特別的是,它會先想一想再回答,而且可以產生很長的內部思考過程。現在有兩種版本:o1-preview 適合需要用到廣泛知識的難題,o1-mini 則比較適合程式和數學任務。不過要注意,用這個模型時要給它足夠的空間來思考喔!

Read More »

AI 遊戲引擎:虛擬世界的新紀元還是海市蜃樓?

遊戲技術的演進一直令人著迷,從像素到多邊形,再到 3D。如今,AI 驅動的遊戲引擎正帶來新一波技術革新,尤其是 GameNGen 系統。該系統聲稱可即時模擬經典遊戲《DOOM》的世界,並透過經過大量數據集訓練的神經網路,即時生成遊戲畫面。GameNGen 在重現已知場景方面表現出色,但其創造全新內容的能力仍待驗證。儘管如此,GameNGen 代表了遊戲引擎向 AI 驅動方向的重要進展,可能徹底改變遊戲開發及相關領域。

Read More »

AI 的 6,000 億美元賭局:從晶圓到雲端,一場驚心動魄的產業博弈

在這場驚心動魄的 AI 供應鏈大戲中,從晶圓製造到雲端服務,每個環節都在上演著精彩的角力。科技巨頭們正在吸收巨大的需求風險,但這種平衡能持續多久?本文深入探討了 AI 產業中錯綜複雜的關係,揭示了台積電、輝達、雲端服務商等關鍵玩家如何在利潤和風險之間尋求平衡。我們將看到,在這個價值 6000 億美元的市場中,每個決策都可能引發連鎖反應,而整個產業的未來走向,或許就取決於這場驚險萬分的博弈。

Read More »

如何透過 Key-Value Paired CSV 建立 RAG資料集?

所謂的 Key-Value paired CSV 在我們系統中指的是有明確定義 CSV檔案標頭欄位名稱且沒有巢狀結構(ex. cell 沒有分割或合併)的 CSV檔案,有明確定義欄位名稱與其對應的數值,系統在剖析檔案內容時會更加的精準。

Read More »

如何校正 RAG後的資料集 | 操作教學

點選 RAG 選單進入 RAG 資料及列表,並選定要進行校正的資料集。 在已檢索的資料及列表中點選要校正資料的語料片段。 點選要校正的語料區塊後會展開一個選單,然後編修要校正的資料。 資料編修完後點擊『Update chunk』,更新後的數據就可以寫入 Vector Store完成語料的更新。

Read More »

Agent 的建立流程以及模型選擇 | 操作教學

這個介面是專門用來管理你的 AI Agent 的工具。在這裡,你可以看到所有已建立的 Agent,了解它們的名稱、類型(例如 Chatbot)、當前狀態(像是是否啟用),以及建立時間。你可以利用這個介面新增 Agent、編輯設定或管理它們的狀態。此外,你還可以使用搜尋功能來快速找到你需要的 Agent,方便你更有效地掌握和控制所有的 LLM Agent。

Read More »

OpenAI 的 Structured Outputs 與 `gpt-4o-2024-08-06` 模型

OpenAI推出結構化輸出功能,確保模型輸出完全符合開發者提供的JSON結構定義。新模型gpt-4o-2024-08-06性能大幅提升,同時降低了使用成本。該功能支援多種模型,包括GPT-4和GPT-3.5系列,適用於Chat completion、Assistant和Batch API。OpenAI採用了特殊訓練和約束解碼技術,提高了輸出的可靠性。此功能還支援視覺輸入,為多模態應用開闢了新的可能性。然而,使用時需注意某些限制,如資料類型限制和初次處理延遲等。

Read More »