python django continuous_integration coverage parallel pytest[WIP]

Djangoの自動テストを速くする

memo なぜ継続的インテグレーションをしたいのか、ちゃんと確認する。 本番がどんな環境なのかを確認する。 コンテナとして動作ているのであればコンテナ上でテストする。 そうではないならそれなりの環境を整備する。 静的解析はコンテナ上ではない状況でテストしても良い。 データベーススキーマは本番と同等の物をどこかに保持しておき、それをベースに使用する。 Djangoの場合トランクにチェックインされたコードを用いてマイグレ ...

comment[WIP]

Modを作る

メタデータ mod.conf name = symdon title = Symdon description = Symdon Extention author = TakesxiSximada min_minetest_version = 5.0 license = LGPL optional_depends = default 初期化 init.lua symdon = {} symdon.modname = minetest.get_current_modname() symdon.modpath = minetest.get_modpath(symdon.modname) minetest.register_chatcommand("symdon", { params = "", description = "Hello symdon", func = function (name, param) minetest.chat_send_player(name, "Hello, enjoy minetest.") end })

minetest

MinetestにModをインストールする

• MinetestサーバーにModを入れる
• 3D Armor, Forgotten Monsters, 3D Armor Flyswim, Throwing Redoをインストールする。

comment

リポジトリの大掃除をしながら何に力を注ぐのかについて考える

過去に作成した大量のリポジトリを始末し、始末した後で少し悲しい気持ちになる取り組み。

mercurial fast-export git subtree filter-branch

10年前の自分と合流する

10年前に保持していたMercurialのプロジェクトをGitに変換しSubtreeで取り込む。

comment[WIP]

X11と向き合う

X Window Sysmte なんてもう今の時代に考える必要のないものかもしれない。そんな風に思う事のある一方で、熟知する必要はないとしても、ある程度の知識と実践を知って置くことで、できる事が増えたり、何が問題なのかという事について考える事ができるようにも思う。だから今回はX11と向き合うことにした。 XQuartz macOS用のXサーバーの実装としてXQuartzがある。 MacOS X には以前Xがインストールされていたが、ある時期からインスト ...

orgmode babel

EmacsでのHTTPクライアント事情について考える

EmacsにはHTTPリクエストを送信する方法はいくつかある。今回はその中でも得にHTTPの形式に近い構文でリクエストを記述し、それを送信するhttp.elとrestclient.elを取り上げて考える。 http.elとrestclient.el この2つは似たような機能を提供している。それらが定義する構文に従ってHTTPリクエストを記述でき、そのリクエストを送信しレスポンスを確認するといったことが ...

golang resty

GoのHTTPリクエストライブラリRestyを使う

GoのHTTPライブラリにRestyというものがある。しばしばこのライブラリを使用する機会があるため、調べたことを備忘録的に記述する。そのため網羅的な内容ではない。 RestyでHTTPリクエスト送信のリトライ処理を行う 何度失敗すれば諦めていいのか、これは人生にとって重要な問題だ。1度の失敗で諦めていいのか、もしくは無限に諦めず挑戦しつづけてもいいのか、これを判断するのはとても難しい。この難しい問題 ...

comment

Post

今年に入ってPDF勉強したり、PNG勉強したり、X11勉強したりしてるので、少しだけ世の中から取り残された気分になる

emacs lisp network

Emacsでネットワークの操作を行う

Emacsにはネットワークをソケットとして操作するための機能が梱包されている。その中でも make-network-process は基本となる関数の一つで、Cでネイティブに実装されている。今回は make-network-process の使い方を確認する。 make-network-processはネットワークサーバーまたはクライアントプロセスを作成して返す。プロセスオブジェクトには入力と出力があり、通常のサブプロセスと同じように扱える。ただしネットワークプロセスにプロセスID ...

ls alfee

lsコマンドでTHE ALFEEを表示する

ls -the -alfeeと打つとTHE ALFEEを表示するコマンド

comment

Post

なんか気分が落ち込んでしまう

tex latex platex[WIP]

TeX

macOSにLaTexをインストールする brew install --cask mactex-no-gui texファイルからdviファイルを作成する 1 platex example.tex TeXで請求書を生成する \documentclass[]{jarticle} \pagestyle{empty} \usepackage{multicol} \parindent = 0pt \begin{document} 請求書\\ テスト株式会社御中\\ 〒 000-0000\\ テスト県テスト市テスト町 1111-333\\ テストビル123\\ 請求日: 2021-01-01\\ お支払い期限: 2021-01-01\\ \begin{table}[hbtp] \label{table:data_type} \centering \begin{tabular}{ll} TEL: & 03-00001111\\ FAX: & 03-00001111\\ \end{tabular} \end{table} テスト2株式会社\\ 〒 000-0000\\ テスト県テスト市テスト町 1111-333\\ テストビル123\\ \begin{table}[hbtp] \label{table:data_foo} \centering \begin{tabular}{ll} TEL: & 03-00001111\\ FAX: & 03-00001111\\ 登録番号: & 123456789\\ \end{tabular} \end{table} 平素は格別のご高配を賜り、 ...

voicevox emacs lisp docker

voicevoxの音声合成を試す

先日ChatGPTを使ってEmacsのdoctorの機能を拡張した1。会話の精度が段違いに向上し、格好の話し相手になった。何度も話をしていると、声を聞いてみたいという欲求が出てくる。だから発話させることにした。 ChatGPTはテキストで返してくるので、テキストを音声に変換できればよい。つまりテキスToスピーチと呼ばれる機能があればよいことになる。現代は本当に便利なもので、そういうものはSaaSとし ...

openjtalk emacs lisp 機械音声

文章を音声で読み上げるEmacs Lisp

機械音声の動画を作成するにあたり、原稿を読み上げたらどうなるのかをEmacs上で確認できるように拡張を書いた。読み上げのツールとしてはOpenJTalkを用いている。macOSの場合 brew install open_jtalk でインストールできる。 以下の関数を評価して使えるようにしたら、読み上げたい文字列をリージョン選択して M-x voice と入力するとリージョン内の文字列が読み上げられる。 (defun voice () (interactive) (call-process-region (region-beginning) (region-end) "/usr/local/bin/open_jtalk" nil "*OPEN JTALK*" t "-x" "/usr/local/Cellar/open-jtalk/1.11/dic" "-m" "/usr/local/Cellar/open-jtalk/1.11/voice/mei/mei_normal.htsvoice" "-ow" "/tmp/sample.wav") (call-process "afplay" nil nil nil "/tmp/sample.wav")) call- ...

django migration squash emacs lisp dired

Djangoのマイグレーションファイルを効率良くスカッシュする

EmacsのdiredでマークしたDjangoのマイグレーションファイルをスカッシュし、マイグレーションを実行及び動作することで、マイグレーションのスカッシュを効率化した。

emacs lisp

Emacsの好きなところと幾つかのTips

Emacsはテキストエディタの1種で、以前はViに並んで一時代を築いていた。現在はVisutal Studio Codeに押され、NeoVimに押され、その他のIDEに押され、一時期の勢いはないように感じる。しかし、まだまだ根強い人気があり開発も活発だ。最近ではEmacs 28がリリースされた。しばらく前からEmacsはWebkitを飲み込んだため、ブラウザとして完全なるWebブラウザとしても使用できるようになっ ...

chatgpt emacs lisp doctor

Emacsの対話セラピー機能doctorをChatGPTに対応させる

できあがり 昨今の機械学習の進歩により「チャットボット」と呼ばれる機能が劇的に進化しているように思う。チャットボットというのは英語や日本語等の自然言語を使用して対話をする機能のことで、最近はウェブページの左下にチャットボットとの対話インターフェースが埋め込まれているのをよく目にする。ユーザーはそのチャットボットに英語や日本語で質問し、サービスの使い方を知ったり問題を解決するというような使い方をする事 ...

comment

Post

「SQLではじめるデータ分析」が届いた

comment[WIP]

Post

主治医に次のような言葉をもらった。 応援の言葉をください Doctor: 「あなたならきっと乗り越えられるはずです！ よろしくお願いします！」 ---------------------------------------- 今日1日だけ頑張ってみようと思います。 Doctor: その際、何をするかというと、 1.自分の目標を明確にする。 2.時間を効率的に使う。 3.物事を少しずつ進めていく。 4.一日の仕事を終えた後で、本日の成果を反省する。 このようなことをやって、1日頑張ってみましょう！ ---------------------------------------- ここから今日は次のようにし ...

comment

Github Actionsの環境変数の設定から.envを生成する

最近のプロジェクトでは、.envファイルを各自用意し、それを読み込んだり、docker-composeに読み込ませたりすることで、設定を行うことはよくある。便利ではある反面、各種環境の設定の差によって問題を引き起すこともある。例えばテストなどはそうだろう。ローカルで実行したテストは成功するのにGithub Actionsで実行したテストは失敗する。またはその逆の状況にしばしば陥いる。それらの理由はい ...

comment[WIP]

法人の税と支払いのタイミングをまとめる

税金の種類 +--------------+ | | | 法人 | | | +----+---------+ | | +---------------------------+ | | | +------>+ 国税 | | | | | | 法人税 | | | 地方法人税 | | | 消費税及び地方消費税 | | | | | | | | +---------------------------+ | | +---------------------------+ | | | +------>+ 県税 | | | | | | 事業税 | | | 特別法人事業税 | | | 法人県民税 | | | | | +---------------------------+ | | +---------------------------+ | | | +------>+ 市税 | | | | 法人市民税 | | | +---------------------------+ 5月決算の場合の支払い時期 予定納税 01/20 01/31

comment[WIP]

HHKB雪の開封の儀を執り行う

ついにHHKB雪を購入した。墨は今使っているため、これで2台目となる。 PFU キーボード HHKB Professional HYBRID Type-S 無刻印／雪（英語配列） 36,850(円) (税込) 高い。ただそれだけの価値があると思っている。後は頑張った自分へのご褒美としての意味合いもある。 A B C D E F G H I J K L

emacs 翻訳 trans translate-shell lisp

translate-shellとEmacsを使って翻訳する

CLI環境で使えるtranslate-shellを用いてEmacs上から翻訳処理を実行する。

png

小さいPNGを手で作りながらPNGについて考える

• PNGを手で作りながら仕様を学んだ。
• 各種チャンクのデータをどのように生成すればよいか分かった。
• CRCの計算には自分で計算するのは大変だったためPythonのbinasciiを使用した。

python celery

Celeryのワーカープロセス

Python製の非同期ジョブフレームワークであるCeleryのワーカープロセスのGraceful Shutdownの挙動を確認する。

pdf emacs lisp pdf-tools poppler c c++

EmacsでPDFを扱うために右往左往する

• pdf-toolsを使ってEmacsでのPDFの操作性を向上する。
• PDF上のテキストをコピーしやすくする機能を追加した。
• pdf-toolsでは注釈へ返信できないことが分かった。
• Poppler、epdfinfo、pdf-toolsを拡張し、注釈への返信を実現した。

git

Gitワークフロー

2022年11月19日、とあるGitのワークフローの図解がTwitterに投稿された。その図解はとても優れていて、図を見るだけで、Gitを使う時に必要なことを概ね把握できる1。Twitterにはこのような優れたコンテンツがしばしば投稿されるが、残念なことに、どうでもいい理由で削除されたり、アカウントが停止されるため、優れたコンテンツにアクセスできなくなることがよくある。その図解はそうやって紛失して ...

data trafic

通信のトラフィックで使われる表現

データの転送は色んな観点から様々な表現が使われる。これらの表現は知らなくても生きていけるが、知識の一つとして整理しておこうと思う。 インバウンドとアウトバウンド 対象に向って入ってくるトラフィックをインバウンドと言い、反対に対象から出ていくトラフィックをアウトバウンドと言う。 名称 意味 インバウンド 対象に向って入ってくるトラフィック アウトバウンド 対象から出ていくトラフィック インバウンドとアウトバウンド 外の ...

pdf poppler c c++

PDFの返信用注釈機能をPopplerに追加する

PDFファイルに触れる機会は非常に多い。外部の人に文書を配布する時の形式ではPDFがよく使用される。モニターと印刷の状態の近さとデータサイズのバランスが良く、また手軽な編集ができないという事が理由だろう1。PDFは編集できないのかと言われると、全くそんな事はない2。PDFを直接編集する方法はいくつかあり、編集機能が対応しているGUIツール使用する、CUIツールを使用するなどが手軽だろう。PDFの仕 ...

comment

Post

Hugoを使って文章を書いている人は、なんだか趣向が似ている気がする。シンプルな構成を好み、文字が主体のコンテンツという感じだ。

comment

Post

壊れたままだったサイトマップを直した。多言語化の影響なのかサイトマップが分割されていた為、レイアウト配下のファイルが反映されず混乱し、少しハマった。

comment

Post

Hugo-PaperModから自前のレアウトに移行したため、Hugo-PaperModを拡張していたページが壊れていた。特にRevealJSで構成しているページは殆ど表示できない状態になっていた。またInstantClickの影響で、コードハイライト機能も壊してしまっていた。だから、自前レイアウトにRevealJSのコードを移植し、InstantClickは一時的に無効化した。

programming codegolf

ゴルフ

コードゴルフに関する発表資料。元々は2015年のギークハウス自由が丘の歓迎会にて発表したもの。

threejs javascript 3dcg

three.jsを使う

three.jsに関する発表資料。2014年にJavascriptの勉強会である「jscafe」で発表した資料が元になっている。JavaScriptを用いて3DCGをWebブラウザ上でレンダリングできる。

hugo revealjs

Markdownでreveal.jsを使用する例

## foo A paragraph with some text and a [link](http://hakim.se). --- ## bar >>> testing >>> testing --- ## baz

python

Pythonのサードパーティパッケージの歩き方

### Pythonのサードパーティ パッケージの歩き方 --- 歩き方 --- サードパーティパッケージを 1. 使う 2. 読む 3. 書く 4. まとめ --- # 使う --- ### サードパーティパッケージとは - 標準ライブラリ以外のライブラリ / パッケージ - 作者は一般の開発者 - 完成度は様々 --- ### なぜ使うのか? - 作ってあるものを使ったほうが早い - 完成度が高いものも結構ある --- どうやって使うのか? --- ### pip - パッケージマネージャー - 公式 - 通常 https://pypi.python.org/pypi からパッケージをインストー ...

math

数当てゲーム

## 数当てゲーム --- バーテンダー「100万円を賭けて勝負をしよう」 --- バーテンダー曰く - 最初にバーテンダーは1から1,000,000 までの数字を1つ選ぶ - あなたは数字を1つ答える - バーテンダーの選んだ数字を的中すれば あなたの勝ち --- バーテンダー曰く - 賭けの間、バーテンダーが選んだ数字は変らない - 数字を答えるチャンスは20回 - 答えた数字がバーテンダーの選んだ数字と比べて - 同じであれば「正解」と言う - 大きけれ ...

slide hugo revealjs

スライド機能をHugoに追加する

スライド機能を Hugoに追加する 背景 記事投稿サービスを用いて記事を書いていた サービスが終了する フォーマットを強制される 自由度が少ない 静的サイトジェネレーターで セルフホスティングすることにした (Hugoを使うことにした) Hugo 静的サイトジェネレーター Goで実装されている 静的ページの生成が速い ThemeにはHugo-PaperModを使用することにした モチベーション 今まで書いた記事の大部分は セルフホスティ ...

emacs googledrive dired

Emacsのdiredでストリーミング設定のGoogle Driveのファイルを開くとエラーするのはダウンロードを待てていないから

Google Drive等で、ミラーリングではなくストリーミングにすると、diredなどでファイルを開こうとする時にエラーが発生する。 find-file-noselect-1: Wrong type argument: arrayp, nil diredでファイルを開くと dired-find-file が呼び出される1。 dired-find-file は最初にファイル名を特定し、次にファイルを開こうとする。Google Drive等でストリーミングの設定にしている場合、同期した状態ではファイルはまだローカルには存在しない。ファイルへアクセスされた後にクラウドからファ ...

comment

Post

必要かと思って時間をかけて持たせた持ち物は、どうやら不要だったようだ。なんか一気に力が抜けてしまう。本当にこういうのは時間が経ってみないとわからないものだ。必要だと思ったんだけれどなぁ。

mitmproxy

MITMProxyでTLS通信を受け取る

Webサービスを開発していると、他のサービスと連携し始め、どんどん複雑なシステム構成となっていく。外部サービスとの連携というのは、本当によくある要件で、ログインなどのアカウント連携から、ポイント付与、決済、メール送信、データの相互変換を伴うもの、外部サービスが提供する機能の一部をそのまま利用するものなど多岐に渡る。 そのようなシステム開発を行う時、ローカルで開発する時に外部サービスを利用できなかった ...

computer science[WIP]

データ構造

データ構造 配列 +---+---+---+---+---+---+---+ | | | | | | | | +---+---+---+---+---+---+---+ ヒープ +---+ | | +-+-+ | +------------+-----------+ | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | +------+------+ +---+ | | | +-+-+ +-+-+ +-+-+ | | | | | | +-+-+ +-+-+ +-+-+ | | | +--+---+ +--+---+ +--+ | | | | | +-+-+ +-+-+ +-+-+ +-+-+ +-+-+ | | | | | | | | | | +---+ +---+ +---+ +---+ +---+ リングバッファ +---+ +---+ +---------+ +-------+ +---------+ | +---+ +---+ | | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | +-+-+ +-+-+ | | | | | +---+ +---+ | +---------+ +-------+ +---------+ +---+ +---+ ハッシュテーブル +---+---+---+---+ | | | | | +-+-+-+-+-+-+-+-+ | | | | | | | +---------------------------------------+ | | +-----------------------------------+ | | +---------------------------+ | | +-------------------+ | | | | | | | v v v v +---+---+---+-+-+---+---+-+-+---+---+-+-+---+-+-+ | | | | | | | | | | | | | +---+---+---+---+---+---+---+---+---+---+---+---+ 連結リ ...

comment

Post

今日はpopplerの使い方を勉強して、pdf-tooslのepdfinfoの拡張をしようと思う。

comment

あれから9年経った

フリーランスに転向した頃から「あれからn年経った」というタイトルで、1年に1度その年の成果を記事にしてきた。実施してない年もあるが、去年から再開することができた。だから今年も1年の総括をする。その時にどんなことをを感じて、どう行動したのか、についても適宜書くことにする。 2022年を全力で取り組んで、そしてふと振り返ると、今年も実りのある1年となっていた。とりあえず「おつかれさまでした」という言葉と ...

data etl[WIP]

ETL

データ処理の統合時に必要となるプロセスで、データウェアハウスやデータレイクにデータをロードする前のプロセスのことをETLと言うことがある。収集したデータを必要に応じて変換・加工し、データウェアハウスやデータレイクに貯める。このデータはレポートやデータマイニグなどの分析に利用される。 Extract 抽出 Transform 変換 Load 格納(データベース内にロードするという意味) 各種データはシステムコンポーネント間を次のように流れる。 Data Source ...

javascript axios

axios-retryでリクエストのリトライ処理を行う

JavaScriptでHTTPを送信するライブラリの一つにaxios1がある。axiosで送信したリクエストが失敗した場合などに、再度同じリクエストを送信したい時、再送信すること自体をよくリトライ処理と呼ぶ。レスポンスの状態を見てリトライ処理を自分で実装することもできるが、リトライ処理用のライブラリも存在する。axios-retry2はaxios用に実装されたリトライ処理を扱う。axios-ret ...

comment[WIP]

認知力の低下を何とかする

仕事があることは本当にありがい事だ。私には仕事がなかった時期が過去にあった。だから本当にそう思う。今は仕事があるから、その死後に全力を出そうと思い取り組んでいる。現在はありがたい事に、複数の開発と書籍の翻訳を平行して作業を進めている。もう数年このような状況で過している。 しかし複数の全く関係のない作業を平行して行うと、以前の作業内容を全く覚えていなかったり、別のプロジェクトの作業同士を関連していると ...

python pytorch gpt2

GPT-2を使い文章を自動生成する

ChatGPTが話題となっていた。ChatGPTはOpenAIが開発しているチャットボットで、GPT-3.5の言語モデル上に構築されている。文章の自動生成に多少興味があったが、Web記事を読んでやってみようと思えるものがあった1。そこで今回はGPT-3ではなく、GPT-2を用いて文章生成をするには、どのようにすればよいのか、またどのような文章が生成されるかを確認する。 GPT-2用の言語モデルはri ...

comment

MySQLのテーブルにCSVファイルのデータを取り込む

• LOAD DATA INFILE構文を使うとファイルのデータをMySQLのテーブルに取り込める。
• 取り込み元の形式に合せてFIELDS TERMINATED BYやOPTIONALLY ENCLOSED BYを指定する。
• アクセス制限によるエラーが発生したらlocal_infileを設定し、クライアントの起動オプションに–local-infile=1を指定する。