シャレにならないが、F/W の インターフェイス落としてしまった。
思い出すと青魔に jc してしまう(ブルーになる←うまいw)けど
戒めとしてがんばって日記に書く。
二つの異なるセグメント
ネットワーク A xxx.xxx.xxx.0/25
GATEWAY xxx.xxx.xxx.1
BROADCAST xxx.xxx.xxx.127
SUBNET 255.255.255.128
ネットワーク B xxx.xxx.xxx.128/25
GATEWAY xxx.xxx.xxx.129
BROADCAST xxx.xxx.xxx.255
SUBNET 255.255.255.128
において、B で稼働していたサーバーを A へ移す際
ぼけっとしてて、ネットワーク設定を変更せず
プライベートじゃないLAN 刺してしまった。
+-----------F/W----------+ +----+
| interface.1 (A GATEWAY)---★---| L2 |----- A network servers
| | +----+ ↑
| interface.2 (B GATEWAY) | B 設定のサーバーを追加
+-------------------------+
直後(5~分ほどしてからだったと思う)
A GATEWAY の F/W interface と L2 間の
リンクアップが途絶えた(★のとこ)。
(F/W ログ physical state of interface.1 has changed to Down)
結果、F/W を経由する通信が途絶えた。
同ネットワーク内またはプライベートについては、通信できていた。
障害によるシステムの停止時間は 438秒(7分18秒)。
・L2に違うネットワークがやってくるとまずい…?
・問題のサーバーが ARP テーブル更新するとき
・BROADCAST 吐くとき
・B のサーバーが、外へのアクセスを試みた時(ntp など)
いろいろ考えるけど
頭が悪くて詳しい原因がわからない…
追加しちゃったマズいサーバーは
DSR の ロードバランサとして稼働してたやつで
ipvsadm, heartbeat, ldirectord の設定がしてあって
かなりの頻度で相方と連絡取ろうとするので、それが悪いのかもしれない。
調査がんばる。
思い出すと青魔に jc してしまう(ブルーになる←うまいw)けど
戒めとしてがんばって日記に書く。
二つの異なるセグメント
ネットワーク A xxx.xxx.xxx.0/25
GATEWAY xxx.xxx.xxx.1
BROADCAST xxx.xxx.xxx.127
SUBNET 255.255.255.128
ネットワーク B xxx.xxx.xxx.128/25
GATEWAY xxx.xxx.xxx.129
BROADCAST xxx.xxx.xxx.255
SUBNET 255.255.255.128
において、B で稼働していたサーバーを A へ移す際
ぼけっとしてて、ネットワーク設定を変更せず
プライベートじゃないLAN 刺してしまった。
+-----------F/W----------+ +----+
| interface.1 (A GATEWAY)---★---| L2 |----- A network servers
| | +----+ ↑
| interface.2 (B GATEWAY) | B 設定のサーバーを追加
+-------------------------+
直後(5~分ほどしてからだったと思う)
A GATEWAY の F/W interface と L2 間の
リンクアップが途絶えた(★のとこ)。
(F/W ログ physical state of interface.1 has changed to Down)
結果、F/W を経由する通信が途絶えた。
同ネットワーク内またはプライベートについては、通信できていた。
障害によるシステムの停止時間は 438秒(7分18秒)。
・L2に違うネットワークがやってくるとまずい…?
・問題のサーバーが ARP テーブル更新するとき
・BROADCAST 吐くとき
・B のサーバーが、外へのアクセスを試みた時(ntp など)
いろいろ考えるけど
頭が悪くて詳しい原因がわからない…
追加しちゃったマズいサーバーは
DSR の ロードバランサとして稼働してたやつで
ipvsadm, heartbeat, ldirectord の設定がしてあって
かなりの頻度で相方と連絡取ろうとするので、それが悪いのかもしれない。
調査がんばる。
PR
この記事にコメントする
無題
う~ん、難しいですね~
B.Cストームが起きてる訳でもなさそうですし・・・
この図は左側の先にインターネットということでいいんですかね?
今回の現象と似たことをよくやってしまうのが
ルータが複数存在するネットワークで
デフォルトゲートウェイの設定を
存在する間違えたIP に設定するとこうなってました。
目的のサーバまでは辿り着くのですが、
戻ってこない(戻せない)んですよね。
今回はちょっと違いますね・・・
5年前、ルータドライバの開発をしてたんですけど、
昔のバカHUBは分かりやすくていいんです。
設定を間違えると通信出来ないだけですから。
でも、スイッチはバグなのかヘタに気を利かしてくれるせいか
設定ミスをするとネットワーク障害まで起こしてくれます。
しかもメーカごと、更に同じメーカでもバージョンによってワケ分からん動きをします><;
再現できる環境があれば、ぜひ実験したいところですよね^^;
不謹慎ですが、
ネットワークって奥が深くておもしろいなぁ^^;
B.Cストームが起きてる訳でもなさそうですし・・・
この図は左側の先にインターネットということでいいんですかね?
今回の現象と似たことをよくやってしまうのが
ルータが複数存在するネットワークで
デフォルトゲートウェイの設定を
存在する間違えたIP に設定するとこうなってました。
目的のサーバまでは辿り着くのですが、
戻ってこない(戻せない)んですよね。
今回はちょっと違いますね・・・
5年前、ルータドライバの開発をしてたんですけど、
昔のバカHUBは分かりやすくていいんです。
設定を間違えると通信出来ないだけですから。
でも、スイッチはバグなのかヘタに気を利かしてくれるせいか
設定ミスをするとネットワーク障害まで起こしてくれます。
しかもメーカごと、更に同じメーカでもバージョンによってワケ分からん動きをします><;
再現できる環境があれば、ぜひ実験したいところですよね^^;
不謹慎ですが、
ネットワークって奥が深くておもしろいなぁ^^;