PGSQL 的 queryid 跟 planid 功能的外掛—pg_store_plans 筆記

 EDB/PGSQL 預設僅能透過 auto_explain 紀錄執行 SQL 的執行計畫到 DB Log 檔案內。

PGSQL 查看當前/歷史執行計畫的社群擴充外掛，可以直接以表查詢運行 SQL 的執行計畫，有以下兩個（截至 2022 年三月中為止）：

在 Bash Shell Script 檢查相依 Script 檔案＆輸出內容自動導向＆輸出內容補前綴

用 Bash Shell Script 時，你有以下困擾ㄇ～？

1. 拆多個 Script、自訂設定檔，擔心檔案漏掉不知道
2. 因為手痠不想在執行 Script 時寫輸出導向（大於符號 > log_file 2>&1）；更不想在 Script 裡面每一行都加上輸出導向（手更痠。。）。只想要一兩行公式就自動檔向檔案
3. 想要在 Shell Script 所吐出來的輸出內容，每一行添加時間或是檔名等裝飾品
4. [Update 2022/3/8] 症狀四：不能同時運作的 shell script，運作時間又抓不準，然而卻需要設定頻繁 cronjob 排程，卻又害怕重複運行。。

這篇集以上問題之小成於一身，弄一個簡易可以抄的 Shell Script 範本，自認症狀符合的人類就夾去配ㄅ～

利用 Python3 內建 venv 管理 PGSQL PL/Python3 裡面可以使用的 Python 模組

使用 Python 有很多便利，但也很多困擾。。。其中之一就是 dependency hell。經典的圖就是 xkcd: Python Environment～

當然這狀況已經有許多手段可以預先規劃避免與處理，其中之一就是使用 virtualenv 製作隔離的 python runtime 環境。

那麼，當 Postgres 的內嵌 stored procdure PL/PythonU 遇到需要安裝模組要怎辦？

初步認識 EDB Postgres 的 K8s 容器化解決方案 — Cloud Native PostgreSQL Operator

基於上一篇筆記所找到的好心測試 K8s 工具，這邊要來嘗試 EDB Postgres 的 PostgreSQL 容器化方案 — Cloud Native PostgreSQL Operator。

在前一陣子 EDB 曾經在 K8s/Openshift 平台還沒變成壓倒性主流容器平台方案時，就已經提供 Docker Container 的資料庫解決方案，當時也做了一點點練習（筆記在這）。

不過當時得努力的搞清楚最原生的 K8s YAML 設置，其實很複雜。。。

隨著 K8s 整體的推進，出現了 Helm 與 Operator 這類「套件管理」的工具，加上 K8s 強化 Stateful Container 的支援，資料庫陸陸續續也可以輕易登陸 K8s 平台。

EDB 團隊基於這些變化，加上原 2ndQ 團隊的一同合作，便推出這個成熟的 K8s 解決方案。

這邊就要來初步體驗一下～

K8s in Docker：好心的 K8s 測試環境

K8s 有一大堆的測試環境設置方式，這邊紀錄一個 KIND 專案 — Kubernetes IN Docker — 把在 Docker Container 裡面模擬多節點 K8s 環境。

有別於之前筆記在 LXD 裡面設置 Minikube 得準備一堆預備動作，KIND 蠻好心的～簡簡單單的把 K8s 關在容器裡面～！

這樣一來～測試環境空間省很多，資源也比較省～更比之前辛苦的用 LXD 關住 Minikube 容易多了～

在 PGSQL 把 EAV 表格轉成 JSON 欄位與進一步攤平

Entity-Attribute-Value 型態（縮寫 EAV）的資料蠻常出現在實際應用上，最典型的就是資料分析時很多屬性標籤。

但是。。。PGSQL 其實不擅長對付這種屬性的資料。。。第二個無腦建議總是說：想辦法轉成關聯式結構的表格（第一個建議呢～就是建 GIN Index 之類的ㄅ～）

不過，這種屬性的資料正好可以用另一種主流資料儲存型態代換—JSON 型態。正好現在的 Postgres 也很擅長處理 JSON 資料。

另外值得提到的是，PGSQL 並不像 Cassandra 這種 Wide-Column Store 一樣可以開「很多」欄位，因此若 Attribute 標籤種類繁雜，就不是很適合在 PGSQL 開超多欄位的表格來存放。

因此這篇筆記嘗試把 EAV 轉換成 JSON 儲存的方式（測試版本：EDB PGSQL13，不過用到的功能基本上 PGSQL 9.5 以上都可以）。

另外，當標籤的類型很少，可以轉換成一般欄位的話（也就是關聯式表格），這篇筆記也嘗試演練一下～

如果看到這邊～還是不知道窩在講蝦米～請上網查一下 EAV pattern 與 Relational Model～

攜帶 ansible 環境的偷吃步方式

 由於開始接觸 ansible 佈署工具，但有一些麻煩的地方：

• 沒有連外部網路的環境，是很麻煩的，東西得預先備妥

• ansible 對版本對齊這件事還蠻要求的，不同版本的 playbook 或模組會有差異，套錯版本可能會有意料之外的狀況（通常是少一些步驟，變成雪球越滾越大）

• 對使用的 python 環境，也有不同版本：不過這一點稍微鬆一點，ansible 目前還能向下支援到很古老的 python 版本

• 如何方便的攜帶相依模組與對應的模組版本，這也是很痛苦的地方：雖然有 pip requirements.txt，但這沒有網路就無用武之地

部份公司的部門可能有設置 ansible tower 管理，這種狀況還有機會偷懶，只放置 ansible galaxy 帶過來的 collection 和預備好的 playbook；但更多時候，是面對接好線，灌好 RHEL/Debian 系列的電腦，直接開始表演。。。

因此要使用 ansible 佈署，最好是了解怎麼攜帶需要的環境。

以下筆記簡單的紀錄一種偷吃步方式：這邊以 CentOS 8 Stream 示範，不過原理上適用市面上熱門的 Linux distribution～