macOSのpostgresqlを更新する
メジャーバージョンアップがあるたびに調べているので次から自分のブログ内で検索を完結できるように書いておく。 今回はbrewで入れたpostgres11から12に更新する作業を行った。
TLDR
brew postgresql-upgrade-database を叩くと移行が完了する。
ただし古いpostgresが残ってしまうので移行後に brew uninstall postgresql@11 を行っておくほうが良さそう。
補足
雑に brew upgrade を行ったら11から12に上がってしまい、psqlコマンドが失敗するようになっていたのでどうやって更新するんだったかなぁと調べた。
つまりバージョンを上げてしまった後に上記の移行コマンドを叩いても特に問題はない。
他の記事では上げる前にあれこれする手順も紹介されているが、macOSに関して言うと上げてしまった後に1コマンド叩くだけで移行が完了するのでとても楽だった。
壊れてた時期もあったらしいけど自分が試したときには問題なかった。
refs: brew postgresql-upgrade-database fails 11 -> 12 · Issue #47110 · Homebrew/homebrew-core · GitHub
メモ用の実行ログ
$ > brew postgresql-upgrade-database ==> brew install postgresql@11 ==> Downloading https://homebrew.bintray.com/bottles/postgresql@11-11.6.catalina.bottle.tar.gz ==> Downloading from https://akamai.bintray.com/c9/c91e358723fd5f700f059a0a1beff478d3e4aaa2ec40a3a166e946ff130d9fd0?__gda__=exp=1576910868~hmac=6529fbd707d31b831a1a4abfe051201c23004a0ea2b8a5cc271a6b0809c0ebb9&response-content-disposition=attachment%3Bfilename%3D%22postgresql%40 ######################################################################## 100.0% ==> Pouring postgresql@11-11.6.catalina.bottle.tar.gz ==> /usr/local/Cellar/postgresql@11/11.6/bin/initdb --locale=C -E UTF-8 /usr/local/var/postgresql@11 ==> Caveats To migrate existing data from a previous major version of PostgreSQL run: brew postgresql-upgrade-database postgresql@11 is keg-only, which means it was not symlinked into /usr/local, because this is an alternate version of another formula. If you need to have postgresql@11 first in your PATH run: echo 'export PATH="/usr/local/opt/postgresql@11/bin:$PATH"' >> ~/.zshrc For compilers to find postgresql@11 you may need to set: export LDFLAGS="-L/usr/local/opt/postgresql@11/lib" export CPPFLAGS="-I/usr/local/opt/postgresql@11/include" For pkg-config to find postgresql@11 you may need to set: export PKG_CONFIG_PATH="/usr/local/opt/postgresql@11/lib/pkgconfig" To have launchd start postgresql@11 now and restart at login: brew services start postgresql@11 Or, if you don't want/need a background service you can just run: pg_ctl -D /usr/local/var/postgresql@11 start ==> Summary 🍺 /usr/local/Cellar/postgresql@11/11.6: 3,191 files, 36.4MB ==> Upgrading postgresql data from 11 to 12... Stopping `postgresql`... (might take a while) ==> Successfully stopped `postgresql` (label: homebrew.mxcl.postgresql) waiting for server to start....2019-12-21 15:36:11.543 JST [28763] LOG: listening on IPv6 address "::1", port 5432 2019-12-21 15:36:11.543 JST [28763] LOG: listening on IPv4 address "127.0.0.1", port 5432 2019-12-21 15:36:11.543 JST [28763] LOG: listening on Unix socket "/tmp/.s.PGSQL.5432" 2019-12-21 15:36:11.615 JST [28764] LOG: database system was interrupted; last known up at 2019-12-18 23:10:29 JST 2019-12-21 15:36:12.543 JST [28764] LOG: database system was not properly shut down; automatic recovery in progress 2019-12-21 15:36:12.557 JST [28764] LOG: redo starts at 28/787E54F0 2019-12-21 15:36:12.557 JST [28764] LOG: invalid record length at 28/787E55D0: wanted 24, got 0 2019-12-21 15:36:12.557 JST [28764] LOG: redo done at 28/787E5598 .2019-12-21 15:36:12.586 JST [28763] LOG: database system is ready to accept connections done server started waiting for server to shut down....2019-12-21 15:36:13.010 JST [28763] LOG: received fast shutdown request 2019-12-21 15:36:13.010 JST [28763] LOG: aborting any active transactions 2019-12-21 15:36:13.011 JST [28763] LOG: background worker "logical replication launcher" (PID 28770) exited with exit code 1 2019-12-21 15:36:13.011 JST [28765] LOG: shutting down 2019-12-21 15:36:13.017 JST [28763] LOG: database system is shut down done server stopped ==> Moving postgresql data from /usr/local/var/postgres to /usr/local/var/postgres.old... ==> Creating database... The files belonging to this database system will be owned by user "xxxx". This user must also own the server process. The database cluster will be initialized with locale "en_US.UTF-8". The default text search configuration will be set to "english". Data page checksums are disabled. fixing permissions on existing directory /usr/local/var/postgres ... ok creating subdirectories ... ok selecting dynamic shared memory implementation ... posix selecting default max_connections ... 100 selecting default shared_buffers ... 128MB selecting default time zone ... Asia/Tokyo creating configuration files ... ok running bootstrap script ... ok performing post-bootstrap initialization ... ok syncing data to disk ... ok initdb: warning: enabling "trust" authentication for local connections You can change this by editing pg_hba.conf or using the option -A, or --auth-local and --auth-host, the next time you run initdb. Success. You can now start the database server using: /usr/local/opt/postgresql/bin/pg_ctl -D /usr/local/var/postgres -l logfile start ==> Migrating and upgrading data... Performing Consistency Checks ----------------------------- Checking cluster versions ok Checking database user is the install user ok Checking database connection settings ok Checking for prepared transactions ok Checking for reg* data types in user tables ok Checking for contrib/isn with bigint-passing mismatch ok Checking for tables WITH OIDS ok Checking for invalid "sql_identifier" user columns ok Creating dump of global objects ok Creating dump of database schemas ok Checking for presence of required libraries ok Checking database user is the install user ok Checking for prepared transactions ok If pg_upgrade fails after this point, you must re-initdb the new cluster before continuing. Performing Upgrade ------------------ Analyzing all rows in the new cluster ok Freezing all rows in the new cluster ok Deleting files from new pg_xact ok Copying old pg_xact to new server ok Setting next transaction ID and epoch for new cluster ok Deleting files from new pg_multixact/offsets ok Copying old pg_multixact/offsets to new server ok Deleting files from new pg_multixact/members ok Copying old pg_multixact/members to new server ok Setting next multixact ID and offset for new cluster ok Resetting WAL archives ok Setting frozenxid and minmxid counters in new cluster ok Restoring global objects in the new cluster ok Restoring database schemas in the new cluster ok Copying user relation files ok Setting next OID for new cluster ok Sync data directory to disk ok Creating script to analyze new cluster ok Creating script to delete old cluster ok Upgrade Complete ---------------- Optimizer statistics are not transferred by pg_upgrade so, once you start the new server, consider running: ./analyze_new_cluster.sh Running this script will delete the old cluster's data files: ./delete_old_cluster.sh ==> Upgraded postgresql data from 11 to 12! ==> Your postgresql 11 data remains at /usr/local/var/postgres.old ==> Successfully started `postgresql` (label: homebrew.mxcl.postgresql)
2019年振り返り
今年の目標はアウトプットを増やすこととして4月にブログを開設し、今24記事なので1ヶ月3記事ぐらいのアウトプットだった。
言語的には去年と比べて圧倒的にGoを書いた。 もともとはRuby/TSあたりをよく触っていてVSCodeのvimキーバインドで書いていたけど、 IntelliJ IDEAのOpen Source Licensesを取得した - 839の日記 でGolandのライセンスをもらえたあたりからよくGoを書くようになった。 ちょっとしたツールを作るときにRubyと違ってドキュメントを見に行かなくても型情報で大体わかる体験が素晴らしい…。 自分用便利ツールも大体Goで書くようになった気がする。 来年も引き続きGoを書き続けたいのでIDEAのライセンスが無事更新できたらいいなー。
言語の話の横道として自分は院卒ではあるけど、学校の授業を全力で吸収していたかと言われると自信を持てない面があり、 もっと基礎学力をつけたいという気持ちが社会人になってからずっと根底にあった。 例えば構文解析器を作るような授業のときもなぁなぁでやっていたりして、ASTと聞くと難しそうな印象を持ってしまう、といったところ。 このあたりにもっと自信を持ちたいと思い今年はインタプリタ言語を本を見ながら作ってみたりしていた。
この話はもう少し詳細な内容を別記事で書きたいと思っているけど、どうやって言語を作っていくのかが詳細に書かれており大変良書だった。 作るのはシンプルなASTではあるものの、具体的にどう構築がしていくのかはなんとなくわかったし、苦手な印象も薄まったと思う。 まだ1周しただけでなんとなくわかった程度なので、復習フェーズを挟んで「なんとなくわかった」から「わかった！」と言える段階にしたい。
インフラはVPS2台で運用していたサーバたちを全面的にGKEに移行した。 k8sをちゃんと運用ベースで触りたかったという背景とストレージが足りなくなってきておりVPSでは増やしにくいという背景があった。 10月頃に移行したので運用としてはまだ2ヶ月目で、VPSに帰ることはないと思うのでこれからk8sの運用の辛さを味わっていきたい。 とはいえお金をケチりまくった構成なので会社で使う場合とは違った部分のノウハウが溜まっていきそうな気がする。 使うからには運用で困らない程度に全体をわかっておきたいというタイプなので、CKA/CKADの資格を取ったりしてk8sと少し仲良しになったりもした。
全体的にGCPに寄せたインフラ構成が増えたのでfirebaseでhostingしているサイトをいくつか作ったりもした。 フロントはReactがある程度書けるのでReactで作っておいてAPIサーバが必要な上述のGKEの上に載せたりしている。 firestoreは雑に使う分には本当に良くてRDSとかは立ててるとめっちゃ高いけどfirestoreなら大体無料なのがありがたい。 とはいえ自分以外のユーザが居るケースに使うのは設計的にめちゃくちゃ難しいなとは思うのでサービスで使ってみようとはあんまり思えなかった。 これはwriteがボトルネックにならないならとりあえずRDBのほうが便利で融通が効くよね、という思想が自分の中で割と大きい…。
OSS活動として印象に残っているのはGitHub Actions向けにslackライブラリを作ったり、RailsにActiveRecordのissueを立てたりした。 あんまり開発者に使われるツールを作ったことがなかったので、slackライブラリはちょこちょこissueを立ててもらえたりして新鮮味があった。 ActiveRecordのほうは書き出してみたらめっちゃ長くなったので割愛、またいつか別記事で書きたい。
あとは自分もそろそろ30歳の足音が近づいてきたので、キャリアってどうしていきたいんだろうなぁみたいな気持ちも徐々に湧いてきた。 転職は特に今モチベーションもないけど、どういうエンジニアになりたいのかということは結構悩ましい。
今年は結構いろんな技術やコンテキストスイッチに対応してきたと思うけど、来年も引き続き世の中の変化に対応できるようにアンテナを張りつつ頑張りたい。 今は専ら巨人の肩に乗っからせてもらっているけれど、長期的にはそういうライブラリを使う側から作る側になってみたいなと思う。
Activity
2019年の草はこんな感じだった。 社会人になってからは1番コードを書いていたけど、前半が少しサボり気味だったりした。
歴代では学生の最後の年が一番コードを書いていてそれまであと一歩という感じだった。 まぁGitHubは完全趣味コードだけなので会社含めたら圧倒的に学生の時より書いてるけど…。
Certified Kubernetes Application Developer(CKAD)を取得した(19/12 v1.16)
CyberMondayで安くなっていたのでCKADを取得した。
6月に Certified Kubernetes Administrator(CKA)を取得した(19/06 v1.14) - 839の日記 でCKAを取得したのだが、勉強方法はほぼ同じで GitHub - dgkanatsios/CKAD-exercises: A set of exercises to prepare for Certified Kubernetes Application Developer exam by Cloud Native Computing Foundation を2周してk8sのバージョンアップ方法(v1.16.0 -> v1.16.4)を確認したぐらい。 スコアは84/100で8%分の問題はまるまる読む時間がなかったので6%分何かをやらかした模様。
CKAと比較すると、CKADは圧倒的に時間が足りず、問題がそもそも最後まで解けなかった(読めなかった)。 途中の問題で過剰に悩みすぎたのが原因で、問題の文意が掴みにくかったように思った。 問題を全く見直す余裕がなかったので、実は凡ミスだらけで落ちてるかも…と不安だったので早めにクリスマスプレゼントがもらえて安心。
素直に受け取るとこれ何の意味があるの？と思う一方真面目にやろうとすると割と大変だよなぁ、みたいな問題を延々と悩んで結局素直に解いた、みたいな問題がいくつかあり、そのあたりで大幅に時間を消化してしまった。 難易度としては全体的にはCKAよりもCKADのほうが高かったように思う。
実際、CKAでやるようなことはマネージドサービスを使ってるとあんまりやらないことが多いので、より実践的なのはCKADのように感じた。 問題の内容としても実作業と近かったのはCKADだったように感じる。
CKADはどうやらCKAD-JPというのがあり、日本語でサポートチャットが可能な区分もあったようなのだが、申し込みまで気づかずにCKADで受けてしまった。 英語力が拙い影響で開始までのセットアップに15分ほど使ってしまったので、日本語で受けられるなら個人的には日本語で受けたかったなーとは思う。 CyberMondayのクーポンでもCKAD-JPが受けられるなら日本人はCKAD-JPのほうが良いのではないかと思う。
GCPやAWSの資格もとってみたいなーと思いつつ、今はあんまりモチベーションがないので次やる気が湧いたらGCPの資格でも取得してみたい*1。
