objectstorage azure azurite googlecloudstorage gcs s3 amazon

オブジェクトストレージ

最近ではファイルサーバを用意するのではなく、オブジェクトストレージを使用する方が多くなってきたように思う。私がWebでのキャリアを始めた頃には既にAWSやGoogle Cloudなどのクラウドサービスが提供されていたため、ファイルや大きなデータを保持する時はファイルサーバよりもオブジェクトストレージを使用する方が身近だったし、今もそうだ。SambaやFTPdなどのファイルサーバを用意しろと言われると ...

aws dynamodb terraform

DynamoDBのTime To Live機能を使ってアイテムを削除する

DynamoDBをキャッシュとして使用している。そのデータは一時的に保持するデータであり、無ければ新しく作成される。そのデータは永続的に保持していたのだが、一定時間過ぎたキャッシュを削除する状況に出会った。 通常DynamoDBのアイテムを削除する場合、DeleteItemを用いて削除するが、DynamoDBは上記の状況を考慮し、特定の属性に設定された時刻が現在時刻よりも古ければ削除する Time To Live という ...

python uvicorn

uvicornとasyncioとmultiprocessing

uvicornはPython製のWebアプリケーションサーバで非同期IOに対応している。簡単なスクリプトを書いてその起動方法について考えてみる。 uvicornのインストール まずはuvicornのインストールを行う。 pip install uvicorn https://pypi.org/project/uvicorn/ サンプルアプリケーション uvicornにサンプルとなるようなシンプルなアプリケーションが掲載されている。今回はそれをそのまま使うことにする。 async def app(scope, receive, send): assert scope['type'] == 'http' await send({ 'type': 'http.response.start', 'status': 200, 'headers': [ [b'content-type', b'text/plain'], ...

emacs lisp

コマンドパスをコピーするユーティリティwhich-command.elを実装した

CLIコマンドへのパスを取得したい時、whichコマンドを使用するとパスを表示できる。そのwhichコマンドのためのユーティリティを実装した。検索したいCLIコマンドへのパスを取得し、クリップボードにコピーする。 https://github.com/TakesxiSximada/emacs.d/tree/main/lisp/which-command.el M-x which-command RET ls RET のように実行するとlsコマンドへのパスが、クリップボードにコピーされる。 なお、このライブラリはMelpaなどのリポジトリに登録していない。そのためインストールするためには、Gi ...

comment[WIP]

RDBMSのタイムゾーン情報テーブル

リレーショナルデータベースにはタイムゾーン情報を保持しているテーブルを持っていることが多い。主要なリレーショナルデータベースがどの名前でタイムゾーンの情報を保持しているかを確認する。 PostgreSQL PostgreSQLのタイムゾーン情報は、システムカタログ pg_timezone_names に保持されている。システムカタログとは、RDBMSがシステムに必要な内部情報を格納して置く領域のことを指し、PostgreSQLでのシステムカタログは通常の ...

comment[WIP]

NoteのようなSNS共有機能UIを用いてブログの間違いを指摘できるようにする

Noteというブログサービスには素晴らしいSNS共有機能がある。文章をマウスで選択すると、それについてのSNS共有ボタンが表示される。記事について言及する時、どこの部分について言及しているのか分かりやすくなる。はてなブログ、Zenn、dev.toなどのサービスにもSNS共有機能は実装されているが、僕はNoteのSNS共有機能が操作性の観点から、最も優れていると考えている。 NoteのSNS共有機能 常 ...

comment[WIP]

OBSを使ってYoutube Liveでゲーム配信を行う

2022年07月頃から始めて、数人でゲームサーバーをホスティングしプレイしてきた。数ヶ月の間ほとんど毎朝やっている。そこの住人の間でせっかくだからゲーム配信しようという話になった。どのプラットフォームでもよかったがてっとり早くはじめるために、YouTube Liveでゲーム配信を行うことにした。チャンネルを作り、もろもろの整備をした。いつもは私の端末で配信を行っているが、他の住人の端末でも配信を行え ...

comment

Post

昨晩はもうむりかもしれないと思っていたが、寝て起きたら大丈夫になっていた。もう少しだけなら、頑張ってみようと思う。

comment

Post

もうむりかもしれない

sql

データベースの結合について考える

諸事情により結合を基本的なところから、おさらいしたくなった。学び直すという意味合いもあるけれど、言葉の定義や使い方を再確認し、良くわかっていなかいがスルーしても問題なかった疑問点や曖昧にしている箇所について、間違えてても良いから確認し考えて答えを出すという作業をしてみようと思う。ここ数年は特にそういうことに時間を使っている気がする。生きているといろんなフェーズがあると思うし、そのフェーズの順序も人 ...

comment

Post

昨日よりもちょっとだけマシな今日を送ろうと思う。昨日より少しだけ早く起きたり、昨日より少しだけいっぱい働いたりしよう。そうやって積み上がった生活の先に望む状態を達成するための道筋が付くように見直しを続ける。

google calendar

gcalcliを使う

私はカレンダー、スケジュール管理として公私共にGoogleカレンダーを使用している。そういう人は多いのではないだろうか。実際にとてもよくできている。仕事関連のタスクはGithub Issue、Confluence、Asanaなど、それぞれのプロジェクトが指定するもの使用しており、個人のタスク管理にはOrg-modeを使用している。それぞれのサービスやツールそれ自体はとてもよくできているが、それぞれの ...

comment

Post

日々の生活のチューニングを継続しつづける。

emacs lisp[WIP]

Emacsのsyntax-tableを扱う

syntax-tableとは syntax-tableはEmacsのバッファ上の文字の特定のパターンに対し、意味付けしfaceを設定する役割を持つ。プログラミング言語の構文を解釈し、シンタックスハイライトを実現しているのは、このデータ構造があるからだ。syntax-tableの実体は、char-tableだ。 https://www.gnu.org/software/emacs/manual/html_node/elisp/Syntax-Tables.html 新しいsyntax-tableを作る make-syntax-table 関数により新しいシンタックステーブルを作成する。 (make-syntax-table) m ...

emacs lisp aws

AWS CLIのEmacs用ユーティリティ aws-cli.el を実装した

AWS CLIのEmacs用ユーティリティを実装した。このライブラリはAWS CLIをスケルトンファイルを用いて、Emacsから実行する機能を提供する。ここではこのライブラリが提供する各機能を説明する。 https://github.com/TakesxiSximada/emacs.d/blob/main/lisp/aws-cli.el 変数 aws-cli-command AWS CLIとして実行するコマンドを設定する。通常は aws を用いる。例えばAWSのダミーサーバー群であるlocalstackなどに対して実行する場合 --endpoint-url を指定しなければならない。そのように値を変更することで実 ...

comment

Post

12月は毎年だいたい白熱してるけれど、今年はずっと白熱している気がする。残り15日程度か。悔いが残らないように力を尽そう。

django python

Djangoのマイグレーションファイルをまとめる

Djangoを用いてWebアプリケーションを開発していると、データベースマイグレーションをしばしば行う必要が出てくる。データベースマイグレーションのファイルが多くなってくると、マイグレーションを実行するだけで、結構時間がかかる。Djangoでテストを実行する時は毎回最初からマイグレーションが実行されるため、マイグレーション自体に時間がかかると、開発体験が著しく損なわれる。 Djangoではこのような ...

youtube[WIP]

Youtube Analytics and Reporting APIsを使う

Youtube Analytics and Reporting APIを用いて各種情報を自動で収集する方法を調査する。 https://developers.google.com/youtube/analytics/sample-requests GET https://youtubeanalytics.googleapis.com/v2/reports metrics=views,comments,likes,dislikes,estimatedMinutesWatched,averageViewDuration GET https://youtubeanalytics.googleapis.com/v2/reports { "error": { "code": 401, "message": "Request is missing required authentication credential. Expected OAuth 2 access token, login cookie or other valid authentication credential. See https://developers.google.com/identity/sign-in/web/devconsole-project.", "errors": [ { "message": "Login Required.", "domain": "global", "reason": "required", "location": "Authorization", "locationType": "header" } ], "status": "UNAUTHENTICATED", "details": [ { "@type": "type.googleapis.com/google.rpc.ErrorInfo", "reason": "CREDENTIALS_MISSING", "domain": "googleapis.com", "metadata": { "service": "youtubeanalytics.googleapis.com", "method": "google.youtube.analytics.v2.TargetedQueriesService.Query" } } ] } } // GET https://youtubeanalytics.googleapis.com/v2/reports // HTTP/1.1 401 Unauthorized // WWW-Authenticate: Bearer realm="https://accounts.google.com/" // Vary: Origin // Vary: X-Origin // Vary: Referer // Content-Type: application/json; charset=UTF-8 // Date: Tue, 13 Dec 2022 01:30:19 GMT // Server: ESF // Cache-Control: private // X-XSS-Protection: 0 // X-Frame-Options: SAMEORIGIN // X-Content-Type-Options: nosniff // Alt-Svc: h3=":443"; ma=2592000,h3-29=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43" // Transfer-Encoding: chunked // Request duration: 1.311815s

django celery python azure

Django + CeleryでブローカーにSSL有りのRedisを使う

• Celeryのデフォルトの設定ではCeleryでブローカーにSSL有りのRedisを使えない。
• SSL有りのRedisを使うには次の設定が必要となる。
• BROKER_USE_SSL: ブローカーとの接続とSSL設定のSSL使用を切り替える。例: {'ssl_cert_reqs': 'none'}
• CELERY_REDIS_BACKEND_USE_SSL: Redisがブローカーの場合はこの設定も必要。例: {'ssl_cert_reqs': ssl.CERT_CERT_REQUIRED} (sslは標準ライブラリのssl)
• Django + Celeryの設定例を記載した。

golang echo

Go+EchoでAPIサーバーを書く

実装 package main import ( "net/http" "github.com/labstack/echo/v4" ) func main() { e := echo.New() e.GET("/", func(c echo.Context) error { return c.String(http.StatusOK, "Hello, World!") }) e.Logger.Fatal(e.Start(":1323")) } 依存パッケージの取得 go mod tidy 起動 go run server.go 関連ファイル go.mod go.sum

google oauth2

Google Identity Servicesを用いてGoogleのOAuth2ログインを利用する

GoogleでのOAuth2ログインを用いるためにこれまで使用していたJavaScriptプラットフォームライブラリが2023年3月31日に廃止される。そのためこの機能を利用しているなら、Google Identity Servicesに移行する必要がある。既存のクライアントIDは影響を受けないが、新しく作成されたクライアントIDは古いプラットフォームライブラリを使用できない1。また2022年07月29日以前に作成 ...

minetest c++

Minetestのメニュー画面にサーバー名を表示させない

Minetestのゲームサーバーをホスティングしていて、それを用いてゲーム配信をしている。そのサーバーは公開サーバーではないため、アドレスなどを秘匿しておきたい。しかしゲーム画面には表示されてしまう。ゲーム配信でメニュー画面を表示する際、サーバー情報が写り込んでしまうことが問題となった。そこでソースコードを書き換えて、サーバー情報を表示しないように修正する。 特に難しいことはない。該当箇所のコードを ...

comment

Post

大学の時の就職活動と、社会人数年目で遭遇したリーマンショックで、仕事があることのありがたさを学んだように思う。環境や状況が変化すれば、いつでも無職にはなるんだけれど、そのための備えと準備をしつつ、目の前にある自分の仕事に全力で取り組もうという気持ちを再確認した。

comment

Post

30才でフリーランスに転向した頃は、ハングリーさがあったが、今もその頃に近い感覚がある。ぬるま湯につかっていた時期もあった。懐かしくもあるが、その状態はどうやら脱したようだ。

comment

書籍の翻訳を終えて

書籍「マイクロフロントエンド」が10月25日に発売された。この本は原書「Building Microfrontend」の日本語翻訳だ。私は2022年の3月頃から翻訳に取り組んでいた。今回は、この事について書こうと思う。「マイクロフロントエンド」という本の特徴や、お勧めポイントではなく、基本的にはただの私の個人的な所感が主な内容となる。 私はこれまで書籍の執筆や技術監修での仕事をさせていただいていた。翻 ...

comment

Post

所有している銀行口座を整理し一覧表を作成した。

emacs homebrew

GNU Emacsのインストール方法を考える

GNU Emacsをインストールする方法はいくつもある。絶対的に正しいやり方など存在しないから、思い思いの方法でインストールすればよい。行いたいことによっては、特定のインストール方法を用いた方が良いこともある。今回はEmacsのインストール方法について考えてみたい。ただし、あくまで自分にとってどのような方法が適切かを考えるのであって、インストール方法を網羅したりするつもりはない。特別な断りなくEmacs ...

emacs security

GNU EmacsにOSコマンドインジェクションの脆弱性が発見されたので対処する

GNU EmacsにOSコマンドインジェクションの脆弱性が発見された。 https://nvd.nist.gov/vuln/detail/CVE-2022-45939 割と重大な脆弱性評価であったため、内容を確認し対処することにした。 OSコマンドインジェクション OSコマンドインジェクションとは外部の攻撃者が、攻撃対象のOSコマンドを実行するようしむける攻撃のことだ。例えば次のようなWeb APIがあるとする。 POST http://example.com Content-Type: application/json { "cmd": "ls" } 通常こんなWeb APIは論外だが、このcmdの値をsystem関数で実行し、 ...

comment

LINEスタンプを販売してみる

いくつかの創作されたイラストを入手し、その製作者と話をしていたのだが、その話のなかでLINEスタンプにして売り出そうということになった。 製作者はコンピューターやインターネットやWebサービスの知識はあまりないため、こちらでLINEスタンプの販売に関する整備をした。 画像はKritaで制作した。画像サイズが240px x 240pxのサイズでPNG形式でエクスポートする必要があった。 また画像は8種類準備す ...

comment[WIP]

パラメータストアとシークレットマネージャの使い分け

comment

Post

重いタスクがなかなか進まず、進捗が出せないタスクが滞留してしまう。この問題をなんとかしたい。

comment

Post

メッセージングサービスのまとめ資料。あとで読む。 https://pages.awscloud.com/rs/112-TZM-766/images/DevAx_connect_season1_Day2_MessagingService_%E9%85%8D%E5%B8%83.pdf

comment

Post

いろいろなものを手放していく作業をずっとやっていて、ずっと見て見ぬふりをしていた問題に対して、ついに取り組んだ1ヶ月だった。最善手と思えるものを可能な範囲で打ってきたが、なかなかに上手くはいかないものだな。そんな中でも少しだけ人との繋りを感じられたことはよかった。約20年前と約10年前に、人生に関わる決断をしたのだが、結局のところ10年前の決断は意味のないものだったのかもな。20年前の決断が良かっ ...

comment

Post

小学生と話す機会があった。その子は冬場でも半袖を着ていた。「寒くないのか？」と聞いてみたら「寒くないし、寒い時は自分のあったかい所を触れば暑くなる」と言って、自分の首を手で触っていた。どうやら彼の首はあったかいらしい。その子は数ヶ月前に大きな事故に遭遇し、回復こそしたものの後遺症が残った。今も片耳は聞こえない。それでもどこかあっけらかんとしていて、悲観的でなく、なぜか自慢気に見えた。彼の美徳である ...

emacs lisp

interaction.elを実装した

システム開発をしていると、データがどのような形式でどこに保持されていて、どのように取得し、どのように保存できるのかといった情報を知りたくなる。プログラムでこねくり回されたデータも、元を辿ればそういった情報に行き着くからだ。プログラムでこねくり回し問題は散見するが、その問題と向き合うためにもこういった情報に対して、即座にアクセスしコード内のコメントで、ドキュメントで、あらゆる文書で、実際のコードで確 ...

comment

「マイクロサービスアーキテクチャ 第2版」の査読を担当した

「マイクロサービスアーキテクチャ 第2版」が2022年12月02日に発売された。私は査読者として制作に参加させていただいた。「マイクロフロントエンド」は翻訳を担当させていただいたため、今回の査読も含め、マイクロアーキテクチャについての知識が深まったように思う。両方ともとても良い書籍だったので、興味がある人には是非読んでもらいたい。 マイクロアーキテクチャについて思うことは、出来ることならその手法を取ら ...

comment

Post

他人との距離を縮められなくなったということを最近よく思う。以前は自然にできていたそんなことも、今はとても難しく感じる。年齢のせいなのか、それとも人と関わることが極端に少ない時間を長く過ごしすぎたからなのか、理由はよくわからない。でもこの事について考えるのは、これで最後にしようと思う。人間性を諦めてここまでやってきたのだから、今更虫が良すぎる。せめて自分の調子が良いときぐらいは、還元していきたいかな ...

comment[WIP]

Emacsのスクラッチバッファの仕組みを調べる

メジャーモードとマイナーモード関連するシンボル まずはメジャーモードとマイナーモード関連するシンボルの意味から確認する。 シンボル 関連付けられている値 major-mode 現在のバッファで有効になっているメジャーモードのシンボル。スクラッチバッファでは lisp-interactiion-mode が設定される。 minor-mode-alist モードラインへ表示するマイナーモードとその表示方法を設定する連想リスト。 minor-mode-list 使用可能な全てのマイナーモードのリスト。 minor-mode-map-alist マイナーモードに使用するキーマップの連 ...

comment

Post

肩も肋骨も骨折してるし、たぶんもう死ぬ。

oracle oracledatabase docker

Oracle DatabaseをDockerで起動する

Oracle Databaseのソースコードを取得しDocker Imageを自分でビルドして起動する。

elasticsearch

Elasticsearchを使う

Imageのビルド # image: elasticsearch FROM docker.elastic.co/elasticsearch/elasticsearch:7.16.2 # 日本語解析用 RUN elasticsearch-plugin install analysis-kuromoji コンテナの起動 docker run -it --rm \ --publish="127.0.0.1:9200:9200" \ --expose="9200" \ --env="xpack.security.enabled=false" \ --env="discovery.type=single-node" \ --env="bootstrap.memory_lock=true" \ --env="ES_JAVA_OPTS=-Xms512m -Xmx512m" \ --ulimit="memlock=-1:-1" \ --workdir="/workdir" \ --volume="elasticsearch-data:/usr/share/elasticsearch/data" \ --volume="$(pwd):/workdir" \ --name="elasticsearch" \ elasticsearch

comment

プログラミング言語での句、節、式、文、そして式文、複合文の違い

プログラミング言語について解説している文章にはちらほらと「句」、「節」、「式」、「文」と言った単語が使われる。これらの説明をいくら読んでも私はピンと来なかった。何となくは分かる。Pythonで言えばifやforで記述されるコードの部分は文であり代入も文だ。一方で関数呼び出しは式であり、演算子を用いた値の操作も式だ。そのコードを評価した時、何の値にも置き換わらないコードは文、何らかの値に置き換わるコ ...

comment

PCを壊してしまったので中古のMac Book Proを購入した

不注意でMac Book ProにType-Cのケーブルの端子を挟み込んでしまった。ヒビこそ入らなかったものの液晶に線が入るようになってしまい「修理に出す必要がありそうだな」などと考えながらPCを再起動すると、起動してこない状態になっていた。林檎のマークさえ表示されない。予想以上に深刻なダメージを受けていたようだ。 問題なのはこのPCは仕事で使用しているメインマシンであることだ。サブ機は1ヶ月ほど前に知人に譲 ...

comment

ただのメモ

Live as if you were to die tomorrow; learn as if you were to live forever. 「永遠に生きるかのように学べ。明日死ぬかのように生きろ。」 出自は不明だたが、昔からよく使われる言葉で、様々な人の言葉として紹介される。一番有名な人物としてはガンジーだが、どうやらガンジーの誕生以前にこの言葉は既にあったようだ。たくさんの人が使った言葉だけあって、良いことを言っている。今日をどのように過せば良いかという事についてのピントを合わせてくれる。1つの基準とし ...

comment

その場にとどまりたければ、全力で走り続けなければならない

It takes all the running you can do, to keep in the same place. 「その場にとどまりたければ、全力で走り続けなければならないのよ」 これはルイス・キャロル作「不思議の国のアリス」の作中の登場人物「赤の女王」の台詞だ。とても人気のある言葉であり、多くの分野で引用されている。私もこの言葉は好きだ。そして事実の一面を良く言い表していると思う。 全力で走り続けることができず、ひっそりと離脱していく人を何人も見てきた。それ自体が間違っていると言いた ...

comment

地獄からの帰りの分の切符を先に買っておく

従来型のRDBMSから異なるスタイルのDBMSへの移行のための調査をしているんだけれど、Webフレームワークに付随しているデータベースマイグレーションが上手く通らない。こんな初歩的なことでこんなに苦しむのかと思う。そんな中でふっと新しい技術要素への乗り換えについて考えたことを書くことにする。 今回はデータベースという重要な技術的要素の移行について考えていた。移行先として候補に挙がっていたもの、それ自 ...

postgresql

PostgreSQLのクラウドベンダーのマネージドサービスまたはDockerイメージのサポート状況

• PostgreSQLのDockerイメージの提供状況とクラウドベンダーのマネージドサービスのサポート状況を確認した。
• Docker Hubには各種バージョンのイメージが提供されていた。
• マネージドサービスは14まで(14,13,12,11,10,9.6)をサポートしている所が多かった。
• PostgreSQL 15はマネージドサービスではまだ使用できない。

minetest

Post

Minetestのサーバー代は73円だった。その前の月が9円だったから、増えたことにはなるけれど、そもそもの金額がとても小さいからこんなものかもしれない。料金のうちのほとんどはネットワーク使用料(Egress)だった。システムに対して適応した変化としては、ネットワーク層(ティア)の変更、データベースのCloud Storageへのバックアップなどの対応を行なった。データベースのバックアップあたりの影 ...

firebase

Firebase Cloud MessagingのAPIのダミーサーバーを実装する

Firebase Cloud MessagingのAPIのダミーサーバーをmitmproxyを用いて実装した。 クライアントはPythonとfirebase_adminを使用した。 認証を含めローカルサーバに切り替ええるには、ライブラリに対してモンキーパッチを当てるなどの対応が必要だった。

orgmode latex tex pdf

EmacsのOrg-modeのドキュメントをLaTeXを使用してPDFに変換する

• 契約書をOrg-modeで作成しPDFとして生成する環境を整えた。
• PDFの生成にはMacTeXを用い、platex、dvipdfmxを用いてPDFを生成した。
• Org-modeからPDF生成を一気通貫するためのコマンドを実装した。