IDCFクラウドが個人向けサービスを閉じるとのことで急遽GCPへ移行した。GCPでの運用は、無料のf1-microインスタンスとプリエンプトなg1-smallインスタンス2つを使う構成。常時稼働のf1-microをディスパッチャにしてg1-smallにphp-fpmやmysqlなどの実体プロセスを置く。しかし、プロキシ的なプロセスのみのf1-microが安定しない。一定期間経過すると(おそらくスラッシングで)沈黙してしまう。いろいろ工夫はしてみたんだけど、残念ながら改善には至らなかった。 ... 続きを読む
Tag Archives: Linux
PostgreSQL 11 + pgpool2 @ Ubuntu 18.04
自宅インフラの中核を成しつつあるMAAS。そのバックエンドで使われているDBがpostgresqlなので、重い腰をあげて勉強中。前回にストリーミングレプリケーション構成は作れたので、今回はフェールオーバや旧マスターの復旧などを自動化してみる。あまり知識はないんだけど、ググった感じだとpgpool2を使うのが一番やりたいことに近そう。という訳で、pgpool2のインストールから。aptリポジトリはpostgresql11を入れたのと同じところ。... 続きを読む
Ubuntu 18.04 + mirakurun + EPGStation 構築 QSVエンコード編
UbuntuでのQSVエンコードは他の記事でも何度か扱ってきたので、繰り返しの部分も多いが復習も兼ねてまとめておく。まずドライバが2種類あり、Intel公式のIntel Media Server Studioのものを使うか、OSSのmedia-driverを使うか。前者はkernel patchの形を取るためkernelが限定されてしまう。後者はその必要はないが、エンコードの性能が倍くらい劣化する。どちらを取るかは人それぞれだが硬直的なシステムは歪みが歪みを招き続けるので、性能が劣化してでも後者を選択する。ドライバの構築方法は以下。... 続きを読む
Ubuntu 18.04 + mirakurun + EPGStation 構築 設定編
前回の流れからQSVのffmpegセットアップを続けようかと思ってたんだけど、よくよく思い返すとmirakurunやEPGStationの設定でも多少のはまりがあったので、その辺りを先にまとめておく。QSVのffmpegやcomskip等は、録画サーバにおいてオプション的な位置付けで、あってもなくても録画サーバそのものは動作する訳だし。mirakurunとEPGStationのインストールが終わった段階で、両者の設定を済ませて、軽く録画処理を動かしておく方が切り分け的にも安全。... 続きを読む
PostgreSQL 11 ストリーミングレプリケーション @ Ubuntu 18.04
自分がウェブシステムを学び始めた昔にPostgreSQLはよく触っていた。当時はMySQLに比べて遥かにリッチなミドルウェアに見えていた。その後のMySQLの隆盛は言うまでもなく、すっかりPostgreSQLに触れることは減っていった。それでも幾つかのツールのバックエンドとしてPostgreSQLが採用されることがある。代表的なものとしてはChefとか。そして、私が利用し始めたMAASもバックエンドはPostgreSQLだ。その冗長化を達成するにはPostgreSQLのHA化が必須となる。... 続きを読む
Ubuntu 18.04 + mirakurun + EPGStation 構築 インストール編
録画サーバの構築に手を出し始めたのが3年前。何かしら致命的な問題がある訳ではないものの、サーバを作り変える度に何となく録画サーバの構成も変更してきた。今回はサーバがCentOSからUbuntuになるということで、録画サーバもせっかくなので大きく変更。epgrec UNAからmirakurun+EPGStationに変えてみるつもり。一時期epgrec+mirakurunも試してみたが、自分で修正したコードもつぎはぎだらけだし、UIと実際の振る舞いが乖離してしまっている部分もあって、そろそろ限界に近かった。... 続きを読む
WordPress on Google App Engine by php72
前回、Google App EngineからDBへの接続部分を検証したので、今回は実際にGAE上でwordpressを動かしてみる。DBはGCE上のMySQLでもCloud SQLでもどちらでもよいので好みで。ただ、f1-microでMySQLを動かすのはあまり安定しなかったので、GCEでやる場合でもg1-smallくらいは使った方がよさそう。そうすると金額的にはf1-microのCloud SQLでいいかなって感じになるね。g1-smallのプリエンプトインスタンス2つでレプリさせる形でも動かないことはないと思うけど。... 続きを読む
Ubuntu 18.04 + media-driver + ffmpeg4 QSVエンコード
UbuntuでのQSVを実現するに当たって、今まで2つのドライバを使ってきた。Intel Media Server Studioに付属しているiHDドライバとmadia-driver (Intel Media Driver for VAAPI)でmakeするiHDドライバ。何となく前者はQSVで使い、後者はVAAPIで使うものみたいに考えてきた。実はmedia-driverも元はと言えばQSVで使うつもりで準備したものだったが、UbuntuでQSV対応のffmpegを準備することが出来ずに断念。やむなくVAAPIで使ってみたら思いの外きれいだったという結果。... 続きを読む
Ubuntu MAAS カスタムイメージ 構築
前回までで一通りMAASを使うための準備が整ったので、実践的に使い始めることを検討する。MAASに限らず、カスタムノードセットアップについては、2つのアプローチがある。デフォルトのセットアップに対して必要な更新を行うか、カスタマイズされたインストールイメージそのものを用意してしまうか。出来上がるものが同じだとすれば、前者は構築手順が明確であることがメリット、後者は変更差分の多寡に関係なく高速にセットアップ出来ることがメリット。... 続きを読む
Ubuntu 18.04 + IMSS 2018R2 + ffmpeg4 QSVエンコード
Intel Media Server Studioの最新版を日本で一番チェックしているのは自分ではないか、という自負がある。2017年の頃からZ270チップセットでQSV対応させたkernelが起動しないことに悩んでいるからだ。vPro対応している安いマザーボードがZ270くらいしかないんだよね。LinuxでQSV使うにはskylakeにしておきたいし。2018年最初のバージョンは2018R1という、続きがありそうな名前が付けられている。しかし、待てど暮せどR2が出てくる気配はなく、2018年も終わりが近付く。... 続きを読む
Google App Engine 検証 GAE+GCE(MySQL)
年度内くらいにIDCFクラウドを追い出されそうなので、無料利用枠の充実しているGCPへの引っ越しを試みる。GCPでwordpressを動かすには、GCEで普通に構築するか、GAEで動かすか。どちらも1インスタンスは無料なので、PHPをGAEで動かして、DBをGCEで動かせば完全無料じゃん、という安直な発想。GCEは今までとそれほど変化はないだろう。NICをブリッジ化できなかったり、フローティングIPが使えなかったりで、多少の構成変更は求められるが。一方のGAEは触ったこともないので、こちらから使ってみる。... 続きを読む
CentOS 7.5 + IMSS 2018R1 + ffmpeg4 QSVエンコード
長きに渡って悩んできた、LinuxでのQSV。前回、VAAPIにiHDドライバを適用することでUbuntuでの実績を作れたが、実はBSの録画データにおいて、深刻なブロックノイズが何度か発生。例えば、妖怪ウォッチとかBリーグの試合とか。見るに堪えないほど頻繁にブロックノイズが発生し続けてしまう。ちなみに地上波で同じような問題は確認していない。もしかしたら、うちの環境がいけないのかもしれないけど。とはいえ、このままでは納得いかないので、録画機を一旦CentOSに戻すことにした。... 続きを読む
IDCFクラウド終了？ 移行先はGCPかAWSか
年末に舞い込んだIDCFクラウドからのメールに驚いた方も少なくないはず。内容は個人向けサービスを年度内に終了するというもの。見返してみると2年近くIDCFクラウドにはお世話になっている。これから安価なクラウドサービスとして利用していくつもりだっただけに、この通知へのショックは大きい。想像以上に期限も短いので、何はともあれ急いで引っ越す準備をしなければならない。引越し先としては他のワンコインクラウドか、GCP/AWS等の大手か。正直仕事で使うことなさそうなクラウドは遠慮しておきたい。... 続きを読む
Ubuntu MAAS 環境構築 バックアップ&リストア編
MAASをインフラの中心に据えるに当たって、既存環境を大きく変化させていく必要がある。DHCPは入れ替えたんだけど、DNSはまだだし。冗長化も先延ばし。LXCのコンテナ上に作ってあるので、一度構築してしまえば作り直す必要はなさそうなんだけど、何があるかわからないのでバックアップと再構築くらいはできるようにしておきたい。再構築手順は公式にあるので、それを参考にする。そのドキュメントを読んだ限りでは、どうやらデータベースのバックアップさえ取っておけば大丈夫な模様。... 続きを読む
Ubuntu MAAS 環境構築 CLI設定編
前回はWebUIで設定できることを中心にまとめてみたので、今回はCLIで行った設定を整理していく。中にはWebUIからも設定できるものの、頻繁に行う作業なのでCLIでやるのが楽というものと、WebUIからは設定できないためにCLIで対応したものがある。いずれにせよ、何らかの事情でCLIで設定するのが妥当と考えたものたちになる。とにもかくにもmaasサーバのterminalでログインしないと何も出来ない。以下のようにapikeyを出力して、それを読み込む形でログインする。一度ログインしてしまえば再起動するまでログインしたままだ。... 続きを読む
WordPress 5.0 更新と wpautop 障害
たまにはタイムリーなネタを。Wordpressの5.0が遂にリリースされた。さすがにメジャーバージョンアップに当たるので、事前にソースとDBをバックアップしてから作業を始める。久々にサーバを覗いてみると、ファイルシステムとして使っているGlusterfsが片肺になってて、Split-brainしまくり。ここだけまだGlusterfsのバージョン上げてないからSplit-brainの対応が面倒なんだよね。。。IDCFが個人向けサービスやめるとか言ってるから、その移行の際にまたアーキテクチャ変えてみたいな。おっと、脱線。... 続きを読む
Ubuntu MAAS 環境構築 WebUI設定編
素のMAAS環境を構築し、サーバたちをAMT対応をさせて、本格的にMAASによる自動デプロイの下準備が整った。ここからはMAAS側に細かい設定を加えて、サーバたちが意図した環境にセットアップされるよう整備していく。WebUIが充実しているので、何となくWebから何でも出来てしまいそうな気がするが、意外と出来ないこともあったりする。WebUI以上にCLIが充実しているので、細かい部分はコマンドを併用して設定する形になる。まずは、WebUIで設定できるものから変更してみる。... 続きを読む
Ubuntu MAAS 環境構築 Intel AMT対応編
自宅のインフラをMAAS中心に構築しようと思うと、リモートからの電源操作を検討する必要がある。思い返してみれば、デスクで作業中もウォークインクローゼットに電源を押しに行くのすら億劫。ましてやサーバ数が増えたため、1Fにも2Fにもサーバを置くようになってしまっている。更には出先での作業で誤ってフリーズさせたときなど、家人に電源ボタンを押してもらったりすることもある。QSVやNICのTSO辺りがわりと落ちる。やはりサーバ用途こそ、他の機能をさしおいてでもリモート電源操作を可能にした方が生産性の向上に繋がりそうだ。... 続きを読む
Ubuntu MAAS 環境構築 インストール編
今まではkickstart+chefでCentOSを自動構築していた。grubからkickstart処理を呼び出せるようにして、リモートからの再構築も出来ていた。特に不便はなかったんだけど、せっかくUbuntu移行するのに、同じような環境にするのはちょっとイマイチ。一応、preseedによる構築は試してはみたけど。構成管理にかける労力がバカバカしくもあり、chefの守備範囲をぎりぎりまで小さくしたいという願望もある。そもそもchefもやめるつもりだし。そこで以前から気になっていたMAASを試してみることにした。... 続きを読む
Ubuntu 18.04 LTS Server インストール障害
CentOS7からUbuntu 18.04へ移行を進めている。本来はServer用途として使うつもりだったのに、どうしてもインストールが出来ず、やむなくDesktop Editionを評価している。きっと、それほど中身は違わないだろうし。そのUbuntuもQSVを試したり、Desktopを使ってみたりでじわじわと慣れてきた。それなりにOSへの理解が深まると、やはり最初のインストール失敗を掘り下げたくなってきたりする。OS上に構築した資産が大きくならないうちに、もう1度トライしてみよう。出力されたエラーは前回の記事にも載せたが、以下のような感じ。... 続きを読む