python

Pythonのサードパーティパッケージの歩き方

### Pythonのサードパーティ パッケージの歩き方 --- 歩き方 --- サードパーティパッケージを 1. 使う 2. 読む 3. 書く 4. まとめ --- # 使う --- ### サードパーティパッケージとは - 標準ライブラリ以外のライブラリ / パッケージ - 作者は一般の開発者 - 完成度は様々 --- ### なぜ使うのか? - 作ってあるものを使ったほうが早い - 完成度が高いものも結構ある --- どうやって使うのか? --- ### pip - パッケージマネージャー - 公式 - 通常 https://pypi.python.org/pypi からパッケージをインストー ...

math

数当てゲーム

## 数当てゲーム --- バーテンダー「100万円を賭けて勝負をしよう」 --- バーテンダー曰く - 最初にバーテンダーは1から1,000,000 までの数字を1つ選ぶ - あなたは数字を1つ答える - バーテンダーの選んだ数字を的中すれば あなたの勝ち --- バーテンダー曰く - 賭けの間、バーテンダーが選んだ数字は変らない - 数字を答えるチャンスは20回 - 答えた数字がバーテンダーの選んだ数字と比べて - 同じであれば「正解」と言う - 大きけれ ...

slide hugo revealjs

スライド機能をHugoに追加する

スライド機能を Hugoに追加する 背景 記事投稿サービスを用いて記事を書いていた サービスが終了する フォーマットを強制される 自由度が少ない 静的サイトジェネレーターで セルフホスティングすることにした (Hugoを使うことにした) Hugo 静的サイトジェネレーター Goで実装されている 静的ページの生成が速い ThemeにはHugo-PaperModを使用することにした モチベーション 今まで書いた記事の大部分は セルフホスティ ...

emacs googledrive dired

Emacsのdiredでストリーミング設定のGoogle Driveのファイルを開くとエラーするのはダウンロードを待てていないから

Google Drive等で、ミラーリングではなくストリーミングにすると、diredなどでファイルを開こうとする時にエラーが発生する。 find-file-noselect-1: Wrong type argument: arrayp, nil diredでファイルを開くと dired-find-file が呼び出される1。 dired-find-file は最初にファイル名を特定し、次にファイルを開こうとする。Google Drive等でストリーミングの設定にしている場合、同期した状態ではファイルはまだローカルには存在しない。ファイルへアクセスされた後にクラウドからファ ...

comment

必要かと思って時間をかけて持たせた持ち物は、どうやら不要だったようだ。なんか一気に力が抜けてしまう。本当にこういうのは時間が経ってみないとわからないものだ。必要だと思ったんだけれどなぁ。

mitmproxy

MITMProxyでTLS通信を受け取る

Webサービスを開発していると、他のサービスと連携し始め、どんどん複雑なシステム構成となっていく。外部サービスとの連携というのは、本当によくある要件で、ログインなどのアカウント連携から、ポイント付与、決済、メール送信、データの相互変換を伴うもの、外部サービスが提供する機能の一部をそのまま利用するものなど多岐に渡る。 そのようなシステム開発を行う時、ローカルで開発する時に外部サービスを利用できなかった ...

computer science[WIP]

データ構造

データ構造 配列 +---+---+---+---+---+---+---+ | | | | | | | | +---+---+---+---+---+---+---+ ヒープ +---+ | | +-+-+ | +------------+-----------+ | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | +------+------+ +---+ | | | +-+-+ +-+-+ +-+-+ | | | | | | +-+-+ +-+-+ +-+-+ | | | +--+---+ +--+---+ +--+ | | | | | +-+-+ +-+-+ +-+-+ +-+-+ +-+-+ | | | | | | | | | | +---+ +---+ +---+ +---+ +---+ リングバッファ +---+ +---+ +---------+ +-------+ +---------+ | +---+ +---+ | | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | | +---+ +---+ | +---------+ +-------+ +---------+ +---+ +---+ ハッシュテーブル +---+---+---+---+ | | | | | +-+-+-+-+-+-+-+-+ | | | | | | | +---------------------------------------+ | | +-----------------------------------+ | | +---------------------------+ | | +-------------------+ | | | | | | | v v v v +---+---+---+-+-+---+---+-+-+---+---+-+-+---+-+-+ | | | | | | | | | | | | | +---+---+---+---+---+---+---+---+---+---+---+---+ 連結リ ...

comment

今日はpopplerの使い方を勉強して、pdf-tooslのepdfinfoの拡張をしようと思う。

あれからn年経った ふりかえり

あれから9年経った

フリーランスに転向した頃から「あれからn年経った」というタイトルで、1年に1度その年の成果を記事にしてきた。実施してない年もあるが、去年から再開することができた。だから今年も1年の総括をする。その時にどんなことをを感じて、どう行動したのか、についても適宜書くことにする。 2022年を全力で取り組んで、そしてふと振り返ると、今年も実りのある1年となっていた。とりあえず「おつかれさまでした」という言葉と ...

data etl[WIP]

ETL

データ処理の統合時に必要となるプロセスで、データウェアハウスやデータレイクにデータをロードする前のプロセスのことをETLと言うことがある。収集したデータを必要に応じて変換・加工し、データウェアハウスやデータレイクに貯める。このデータはレポートやデータマイニグなどの分析に利用される。 Extract 抽出 Transform 変換 Load 格納(データベース内にロードするという意味) 各種データはシステムコンポーネント間を次のように流れる。 Data Source ...

comment[WIP]

認知力の低下を何とかする

仕事があることは本当にありがい事だ。私には仕事がなかった時期が過去にあった。だから本当にそう思う。今は仕事があるから、その死後に全力を出そうと思い取り組んでいる。現在はありがたい事に、複数の開発と書籍の翻訳を平行して作業を進めている。もう数年このような状況で過ごしている。 しかし複数の全く関係のない作業を平行して行うと、以前の作業内容を全く覚えていなかったり、別のプロジェクトの作業同士を関連している ...

comment

MySQLのテーブルにCSVファイルのデータを取り込む

• LOAD DATA INFILE構文を使うとファイルのデータをMySQLのテーブルに取り込める。
• 取り込み元の形式に合せてFIELDS TERMINATED BYやOPTIONALLY ENCLOSED BYを指定する。
• アクセス制限によるエラーが発生したらlocal_infileを設定し、クライアントの起動オプションに–local-infile=1を指定する。

comment

今日はフィールドワークをする。毎日外に出て、そこでできる限り仕事をしている。仕事はあんまり進められないけれど、それでも家で作業をするよりは進む。自分の手が遅いので何をするにも時間がかかる。タスクを処理する能力が追い付かないから、適当な所で切り上げて次のタスクをしないといけない。この時の頭の切り替えが上手くいかない。以前やっていた作業も忘れてしまう。PCを2つ持っていて、メインで使用しているPCから ...

comment[WIP]

Djangoのマイグレーションファイルをまとめる

準備 PostgreSQLを使う。 CREATE DATABASE example; pip install psycopg2-binary ALTER ROLE postgres SET log_statement = 'all', ALTER USER postgres SET log_statement to 'all'; 全て消してmakemigrations 本番のデータベースがまだ無い場合はできる。既に本番のデータベースがある場合はできない。 マイグレーションファイルをすべて消して、makemigrationsしなおす。 squashmigrationする –fake-initialする 2022-12-23 04:00:27.254 UTC [558] LOG: statement: SELECT c.relname, CASE WHEN c.relispartition THEN 'p' WHEN c.relkind IN ('m', 'v') THEN 'v' ELSE 't' END FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON ...

comment

量的データと質的データ

量的データ(Quantitative data) 大きさとしての性質を持つデータであり、数値として表現可能である。日本語は以下のように訳される。 定量 量的 質的データ(ualitative data) 大きさとしての性質を持たないデータであり、数値として表現できないものが多い。日本語は以下のように訳される。 定性データ 質的データ 順序関係をもつものやラベルとして数値として表現可能なものもあるが、それらは大きさを持っているとは言え ...

comment[WIP]

ITエンジニアは業務時間外に勉強するべきか？

考えた事を記載しておくことにする。 勉強または学習とは、新しい知識や経験を得ること。 勉強や学習をしなければならない人なんて存在しない。だから別にしなくてもよい。「勉強すべき」というのは言い過ぎ。 ただしITエンジニアは業務時間外にも勉強や学習をすると、たまに仕事に結び付くことがある。 そもそも勉強や学習をした方が良い人というのはITエンジニアに限らず全ての人に言える。そしてその目的は人生を豊かにすること ...

aws s3 minio localstack fakes3

AWS S3の署名付きURLを用いてファイルをアップロードする

AWS S3には一定期間だけ認証情報を持たなくてもキーにオブジェクトをアップロード/ダウンロードするための署名付きURLという機能がある。以下にその構成の例を示す。 この機能はとても便利ではあるが、メタデータの扱いや各種類似サーバーの細かな仕様の違いなど、落とし穴のような罠もいくつか存在する。今回はこの署名付きURLの発行、署名付きURLへのオブジェクトをアップロードを試すなかで、陥った問題を備忘録として ...

objectstorage azure azurite googlecloudstorage gcs s3 amazon

オブジェクトストレージ

最近ではファイルサーバを用意するのではなく、オブジェクトストレージを使用する方が多くなってきたように思う。私がWebでのキャリアを始めた頃には既にAWSやGoogle Cloudなどのクラウドサービスが提供されていたため、ファイルや大きなデータを保持する時はファイルサーバよりもオブジェクトストレージを使用する方が身近だったし、今もそうだ。SambaやFTPdなどのファイルサーバを用意しろと言われると ...

aws dynamodb terraform

DynamoDBのTime To Live機能を使ってアイテムを削除する

DynamoDBをキャッシュとして使用している。そのデータは一時的に保持するデータであり、無ければ新しく作成される。そのデータは永続的に保持していたのだが、一定時間過ぎたキャッシュを削除する状況に出会った。 通常DynamoDBのアイテムを削除する場合、DeleteItemを用いて削除するが、DynamoDBは上記の状況を考慮し、特定の属性に設定された時刻が現在時刻よりも古ければ削除する Time To Live という ...

python uvicorn

uvicornとasyncioとmultiprocessing

uvicornはPython製のWebアプリケーションサーバで非同期IOに対応している。簡単なスクリプトを書いてその起動方法について考えてみる。 uvicornのインストール まずはuvicornのインストールを行う。 pip install uvicorn https://pypi.org/project/uvicorn/ サンプルアプリケーション uvicornにサンプルとなるようなシンプルなアプリケーションが掲載されている。今回はそれをそのまま使うことにする。 async def app(scope, receive, send): assert scope['type'] == 'http' await send({ 'type': 'http.response.start', 'status': 200, 'headers': [ [b'content-type', b'text/plain'], ...

comment[WIP]

RDBMSのタイムゾーン情報テーブル

リレーショナルデータベースにはタイムゾーン情報を保持しているテーブルを持っていることが多い。主要なリレーショナルデータベースがどの名前でタイムゾーンの情報を保持しているかを確認する。 PostgreSQL PostgreSQLのタイムゾーン情報は、システムカタログ pg_timezone_names に保持されている。システムカタログとは、RDBMSがシステムに必要な内部情報を格納して置く領域のことを指し、PostgreSQLでのシステムカタログは通常の ...

comment[WIP]

NoteのようなSNS共有機能UIを用いてブログの間違いを指摘できるようにする

Noteというブログサービスには素晴らしいSNS共有機能がある。文章をマウスで選択すると、それについてのSNS共有ボタンが表示される。記事について言及する時、どこの部分について言及しているのか分かりやすくなる。はてなブログ、Zenn、dev.toなどのサービスにもSNS共有機能は実装されているが、僕はNoteのSNS共有機能が操作性の観点から、最も優れていると考えている。 NoteのSNS共有機能 常 ...

comment[WIP]

OBSを使ってYoutube Liveでゲーム配信を行う

2022年07月頃から始めて、数人でゲームサーバーをホスティングしプレイしてきた。数ヶ月の間ほとんど毎朝やっている。そこの住人の間でせっかくだからゲーム配信しようという話になった。どのプラットフォームでもよかったがてっとり早くはじめるために、YouTube Liveでゲーム配信を行うことにした。チャンネルを作り、もろもろの整備をした。いつもは私の端末で配信を行っているが、他の住人の端末でも配信を行え ...

comment

昨晩はもうむりかもしれないと思っていたが、寝て起きたら大丈夫になっていた。もう少しだけなら、頑張ってみようと思う。

comment

もうむりかもしれない

sql

データベースの結合について考える

諸事情により結合を基本的なところから、おさらいしたくなった。学び直すという意味合いもあるけれど、言葉の定義や使い方を再確認し、良くわかっていなかいがスルーしても問題なかった疑問点や曖昧にしている箇所について、間違えてても良いから確認し考えて答えを出すという作業をしてみようと思う。ここ数年は特にそういうことに時間を使っている気がする。生きているといろんなフェーズがあると思うし、そのフェーズの順序も人 ...

comment

昨日よりもちょっとだけマシな今日を送ろうと思う。昨日より少しだけ早く起きたり、昨日より少しだけいっぱい働いたりしよう。そうやって積み上がった生活の先に望む状態を達成するための道筋が付くように見直しを続ける。

google calendar

gcalcliを使う

私はカレンダー、スケジュール管理として公私共にGoogleカレンダーを使用している。そういう人は多いのではないだろうか。実際にとてもよくできている。仕事関連のタスクはGithub Issue、Confluence、Asanaなど、それぞれのプロジェクトが指定するもの使用しており、個人のタスク管理にはOrg-modeを使用している。それぞれのサービスやツールそれ自体はとてもよくできているが、それぞれの ...

comment

日々の生活のチューニングを継続しつづける。

comment

12月は毎年だいたい白熱してるけれど、今年はずっと白熱している気がする。残り15日程度か。悔いが残らないように力を尽そう。

django python

Djangoのマイグレーションファイルをまとめる

Djangoを用いてWebアプリケーションを開発していると、データベースマイグレーションをしばしば行う必要が出てくる。データベースマイグレーションのファイルが多くなってくると、マイグレーションを実行するだけで、結構時間がかかる。Djangoでテストを実行する時は毎回最初からマイグレーションが実行されるため、マイグレーション自体に時間がかかると、開発体験が著しく損なわれる。 Djangoではこのような ...

youtube[WIP]

Youtube Analytics and Reporting APIsを使う

Youtube Analytics and Reporting APIを用いて各種情報を自動で収集する方法を調査する。 https://developers.google.com/youtube/analytics/sample-requests GET https://youtubeanalytics.googleapis.com/v2/reports metrics=views,comments,likes,dislikes,estimatedMinutesWatched,averageViewDuration GET https://youtubeanalytics.googleapis.com/v2/reports { "error": { "code": 401, "message": "Request is missing required authentication credential. Expected OAuth 2 access token, login cookie or other valid authentication credential. See https://developers.google.com/identity/sign-in/web/devconsole-project.", "errors": [ { "message": "Login Required.", "domain": "global", "reason": "required", "location": "Authorization", "locationType": "header" } ], "status": "UNAUTHENTICATED", "details": [ { "@type": "type.googleapis.com/google.rpc.ErrorInfo", "reason": "CREDENTIALS_MISSING", "domain": "googleapis.com", "metadata": { "service": "youtubeanalytics.googleapis.com", "method": "google.youtube.analytics.v2.TargetedQueriesService.Query" } } ] } } // GET https://youtubeanalytics.googleapis.com/v2/reports // HTTP/1.1 401 Unauthorized // WWW-Authenticate: Bearer realm="https://accounts.google.com/" // Vary: Origin // Vary: X-Origin // Vary: Referer // Content-Type: application/json; charset=UTF-8 // Date: Tue, 13 Dec 2022 01:30:19 GMT // Server: ESF // Cache-Control: private // X-XSS-Protection: 0 // X-Frame-Options: SAMEORIGIN // X-Content-Type-Options: nosniff // Alt-Svc: h3=":443"; ma=2592000,h3-29=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43" // Transfer-Encoding: chunked // Request duration: 1.311815s

django celery python azure

Django + CeleryでブローカーにSSL有りのRedisを使う

• Celeryのデフォルトの設定ではCeleryでブローカーにSSL有りのRedisを使えない。
• SSL有りのRedisを使うには次の設定が必要となる。
• BROKER_USE_SSL: ブローカーとの接続とSSL設定のSSL使用を切り替える。例: {'ssl_cert_reqs': 'none'}
• CELERY_REDIS_BACKEND_USE_SSL: Redisがブローカーの場合はこの設定も必要。例: {'ssl_cert_reqs': ssl.CERT_CERT_REQUIRED} (sslは標準ライブラリのssl)
• Django + Celeryの設定例を記載した。

golang echo

Go+EchoでAPIサーバーを書く

実装 package main import ( "net/http" "github.com/labstack/echo/v4" ) func main() { e := echo.New() e.GET("/", func(c echo.Context) error { return c.String(http.StatusOK, "Hello, World!") }) e.Logger.Fatal(e.Start(":1323")) } 依存パッケージの取得 go mod tidy 起動 go run server.go 関連ファイル go.mod go.sum

google oauth2

Google Identity Servicesを用いてGoogleのOAuth2ログインを利用する

GoogleでのOAuth2ログインを用いるためにこれまで使用していたJavaScriptプラットフォームライブラリが2023年3月31日に廃止される。そのためこの機能を利用しているなら、Google Identity Servicesに移行する必要がある。既存のクライアントIDは影響を受けないが、新しく作成されたクライアントIDは古いプラットフォームライブラリを使用できない1。また2022年07月29日以前に作成 ...

minetest c++

Minetestのメニュー画面にサーバー名を表示させない

Minetestのゲームサーバーをホスティングしていて、それを用いてゲーム配信をしている。そのサーバーは公開サーバーではないため、アドレスなどを秘匿しておきたい。しかしゲーム画面には表示されてしまう。ゲーム配信でメニュー画面を表示する際、サーバー情報が写り込んでしまうことが問題となった。そこでソースコードを書き換えて、サーバー情報を表示しないように修正する。 特に難しいことはない。該当箇所のコードを ...

comment

大学の時の就職活動と、社会人数年目で遭遇したリーマンショックで、仕事があることのありがたさを学んだように思う。環境や状況が変化すれば、いつでも無職にはなるんだけれど、そのための備えと準備をしつつ、目の前にある自分の仕事に全力で取り組もうという気持ちを再確認した。

comment

30才でフリーランスに転向した頃は、ハングリーさがあったが、今もその頃に近い感覚がある。ぬるま湯につかっていた時期もあった。懐かしくもあるが、その状態はどうやら脱したようだ。

comment

書籍の翻訳を終えて

書籍「マイクロフロントエンド」が10月25日に発売された。この本は原書「Building Microfrontend」の日本語翻訳だ。私は2022年の3月頃から翻訳に取り組んでいた。今回は、この事について書こうと思う。「マイクロフロントエンド」という本の特徴や、お勧めポイントではなく、基本的にはただの私の個人的な所感が主な内容となる。 私はこれまで書籍の執筆や技術監修での仕事をさせていただいていた。翻 ...

comment

所有している銀行口座を整理し一覧表を作成した。

emacs homebrew

GNU Emacsをインストールする

GNU Emacsをインストールする方法はいくつもある。絶対的に正しいやり方など存在しないから、思い思いの方法でインストールすればいいはずだ。行いたいことによっては変わったインストール方法をしないといけない事もあるかもしれない。今回はEmacsのインストール方法について考えてみる事にした。ただし、あくまで自分にとってどのような方法が適切かを考えるのであって、インストール方法を網羅したりするつもりはない。 ...

emacs security

GNU EmacsにOSコマンドインジェクションの脆弱性が発見されたので対処する

GNU EmacsにOSコマンドインジェクションの脆弱性が発見された。 https://nvd.nist.gov/vuln/detail/CVE-2022-45939 割と重大な脆弱性評価であったため、内容を確認し対処することにした。 OSコマンドインジェクション OSコマンドインジェクションとは外部の攻撃者が、攻撃対象のOSコマンドを実行するようしむける攻撃のことだ。例えば次のようなWeb APIがあるとする。 POST http://example.com Content-Type: application/json { "cmd": "ls" } 通常こんなWeb APIは論外だが、このcmdの値をsystem関数で実行し、 ...

comment

LINEスタンプを販売してみる

いくつかの創作されたイラストを入手し、その製作者と話をしていたのだが、その話のなかでLINEスタンプにして売り出そうということになった。 製作者はコンピューターやインターネットやWebサービスの知識はあまりないため、こちらでLINEスタンプの販売に関する整備をした。 画像はKritaで制作した。画像サイズが240px x 240pxのサイズでPNG形式でエクスポートする必要があった。 また画像は8種類準備す ...

comment[WIP]

パラメータストアとシークレットマネージャの使い分け

comment

重いタスクがなかなか進まず、進捗が出せないタスクが滞留してしまう。この問題をなんとかしたい。

comment

メッセージングサービスのまとめ資料。あとで読む。 https://pages.awscloud.com/rs/112-TZM-766/images/DevAx_connect_season1_Day2_MessagingService_%E9%85%8D%E5%B8%83.pdf

comment

いろいろなものを手放していく作業をずっとやっていて、ずっと見て見ぬふりをしていた問題に対して、ついに取り組んだ1ヶ月だった。最善手と思えるものを可能な範囲で打ってきたが、なかなかに上手くはいかないものだな。そんな中でも少しだけ人との繋りを感じられたことはよかった。約20年前と約10年前に、人生に関わる決断をしたのだが、結局のところ10年前の決断は意味のないものだったのかもな。20年前の決断が良かっ ...

comment

小学生と話す機会があった。その子は冬場でも半袖を着ていた。「寒くないのか？」と聞いてみたら「寒くないし、寒い時は自分のあったかい所を触れば暑くなる」と言って、自分の首を手で触っていた。どうやら彼の首はあったかいらしい。その子は数ヶ月前に大きな事故に遭遇し、回復こそしたものの後遺症が残った。今も片耳は聞こえない。それでもどこかあっけらかんとしていて、悲観的でなく、なぜか自慢気に見えた。彼の美徳である ...

emacs lisp

interaction.elを実装した

システム開発をしていると、データがどのような形式でどこに保持されていて、どのように取得し、どのように保存できるのかといった情報を知りたくなる。プログラムでこねくり回されたデータも、元を辿ればそういった情報に行き着くからだ。プログラムでこねくり回し問題は散見するが、その問題と向き合うためにもこういった情報に対して、即座にアクセスしコード内のコメントで、ドキュメントで、あらゆる文書で、実際のコードで確 ...

comment

「マイクロサービスアーキテクチャ 第2版」の査読を担当した

「マイクロサービスアーキテクチャ 第2版」が2022年12月02日に発売された。私は査読者として制作に参加させていただいた。「マイクロフロントエンド」は翻訳を担当させていただいたため、今回の査読も含め、マイクロアーキテクチャについての知識が深まったように思う。両方ともとても良い書籍だったので、興味がある人には是非読んでもらいたい。 マイクロアーキテクチャについて思うことは、出来ることならその手法を取ら ...