<div dir="ltr">It appears to have been restarted. They are back on us with a vengeance, and finding ways around this filter.<div><br></div><div>We need a better filter, on page creation side, as well as account creation side.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 19, 2016 at 3:04 AM, Arnaud Héritier <span dir="ltr"><<a href="mailto:aheritier@gmail.com" target="_blank">aheritier@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">The bot was fixed/restarted ?</div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Mon, Jan 18, 2016 at 6:43 PM, Larry Shatzer, Jr. <span dir="ltr"><<a href="mailto:larrys@gmail.com" target="_blank">larrys@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">We need to get that running on a box more people have access to so we can kick it when it does this. It is becoming more critical to keep spam away. I do not want to spend all my day off deleting spam.</div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jan 18, 2016 at 8:44 AM, R. Tyler Croy <span dir="ltr"><<a href="mailto:tyler@monkeypox.org" target="_blank">tyler@monkeypox.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">(replies inline)<br>
<span><br>
On Mon, 18 Jan 2016, Larry Shatzer, Jr. wrote:<br>
<br>
> And now it appears the wiki spam bot is dead, since there are probably<br>
> around a thousand spam pages, all ones that would normally be killed by it.<br>
<br>
<br>
</span>Due to access constraints, I didn't touch the backend spam bot at all for what<br>
it's worth. It may have cratered due to the connectivity issues though. I'll<br>
ping KK as soon as I see him online about it.<br>
<div><div><br>
<br>
> On Sun, Jan 17, 2016 at 8:43 PM, R. Tyler Croy <<a href="mailto:tyler@monkeypox.org" target="_blank">tyler@monkeypox.org</a>> wrote:<br>
><br>
> ><br>
> > We had some wiki availability issues today, that were partially my fault<br>
> > and<br>
> > partially related to trying to bring "build13" of the docker confluence<br>
> > image<br>
> > into production.<br>
> ><br>
> > KK made the change earlier last week to disable LDAP caching but for some<br>
> > reason Docker wasn't pulling the new container properly. This is what I<br>
> > set out<br>
> > to fix about 6 hours ago.<br>
> ><br>
> ><br>
> > First, I discovered that newer versions of Docker had no problem pulling<br>
> > the<br>
> > docker container and we did not have consistent versions of Docker<br>
> > installed<br>
> > across our machines (1.5.0, 1.7.0 and 1.9.1 by my survey). With this<br>
> > commit[1]<br>
> > I ensured that we would have 1.9.1 consistently installed. This required<br>
> > some<br>
> > changes to the forked version of garethr-docker puppet module we use since<br>
> > it's<br>
> > been changed quite a bit to accomodate newer options in later Docker<br>
> > versions.<br>
> ><br>
> ><br>
> > COOL, surely that must have been the end of my day.<br>
> ><br>
> ><br>
> > Second, after rolling out the Docker changes the wiki became unavailable.<br>
> > Investigation led to two problems, one I have seen before with Docker a few<br>
> > times already in our infrastructure: stale IPTables routing rules. When<br>
> > Docker<br>
> > sets up its networking it will install some rules into a couple chains in<br>
> > the<br>
> > `filter` and `nat` tables, periodically it has failed to clean up these<br>
> > rules<br>
> > leading to requests not being routed between confluence-cache and<br>
> > confluence<br>
> > containers. The second problem I identified was that there was an internal<br>
> > IP<br>
> > address hard-coded for the confluence-cache container, which no longer<br>
> > existed,<br>
> > so naturally it wasn't finding the right confluence container. I addressed<br>
> > *that* with this[2] change.<br>
> ><br>
> ><br>
> > While debugging this, I noticed another cute behavior of docker with it's<br>
> > named<br>
> > containers support. Since we name our containers (e.g. `confluence`), the<br>
> > docker daemon will actually persist the tag and some of the options passed<br>
> > into<br>
> > the `docker run` invocation. I.e. `docker run -e SOME=foo --name<br>
> > bleepbloop rtyler/myimage`<br>
> > would persist the environment variable options (SOME=foo) until I stopped<br>
> > and<br>
> > removed the container (e.g. `docker rm bleepbloop`)<br>
> ><br>
> > To remedy this, I nuked all the previous incantations of named containers<br>
> > from<br>
> > the host running confluence. That finished, I could FINALLY run `build13`<br>
> > of<br>
> > the confluence container which had the LDAP cache setting change that KK<br>
> > made<br>
> > earlier. Bringing that up I discovered another issue..<br>
> ><br>
> ><br>
> > Third, lots of spammers and bots are regularly hitting the wiki which I<br>
> > suspected was causing confluence not to come online and stay online, so I<br>
> > made<br>
> > this commit[3] to deny those bots at the Apache proxy level (refresher,<br>
> > requests go: Apache (ssl termination) -> Nginx (cache) -> Confluence)<br>
> ><br>
> ><br>
> > All that said and done, it still does not appear that the current<br>
> > configuration<br>
> > of Confluence can sustain the traffic levels without LDAP caching enabled,<br>
> > so I<br>
> > unfortunately have pinned things back down to `build7`<br>
> ><br>
> ><br>
> ><br>
> > You may be asking yourself at this point of the email: "why is he writing<br>
> > all<br>
> > this out?" Welp, this is effectively what I spent my Sunday doing, and it<br>
> > would<br>
> > be a shame if nobody but me learned from this collosal waste of time. :)<br>
> ><br>
> ><br>
> > Anywho, that's that. Confluence is back online, and I'm probably not going<br>
> > to<br>
> > touch it for at least a few days, lest I go crazy.<br>
> ><br>
> ><br>
> > [1]<br>
> > <a href="https://github.com/jenkins-infra/jenkins-infra/commit/0107e79b0aa7b5bd9acd3d4d6b268c4178331beb" rel="noreferrer" target="_blank">https://github.com/jenkins-infra/jenkins-infra/commit/0107e79b0aa7b5bd9acd3d4d6b268c4178331beb</a><br>
> > [2]<br>
> > <a href="https://github.com/jenkins-infra/jenkins-infra/commit/f95c0e67803e9129c54a3f7fe8fce2940f7ad874" rel="noreferrer" target="_blank">https://github.com/jenkins-infra/jenkins-infra/commit/f95c0e67803e9129c54a3f7fe8fce2940f7ad874</a><br>
> > [3]<br>
> > <a href="https://github.com/jenkins-infra/jenkins-infra/commit/675e4bdfc7bdd96b34046dc872f73f7f514e4e49" rel="noreferrer" target="_blank">https://github.com/jenkins-infra/jenkins-infra/commit/675e4bdfc7bdd96b34046dc872f73f7f514e4e49</a><br>
> ><br>
> ><br>
> > Cheers<br>
> > - R. Tyler Croy<br>
> ><br>
> > ------------------------------------------------------<br>
> >      Code: <<a href="https://github.com/rtyler" rel="noreferrer" target="_blank">https://github.com/rtyler</a>><br>
> >   Chatter: <<a href="https://twitter.com/agentdero" rel="noreferrer" target="_blank">https://twitter.com/agentdero</a>><br>
> ><br>
> >   % gpg --keyserver <a href="http://keys.gnupg.net" rel="noreferrer" target="_blank">keys.gnupg.net</a> --recv-key 3F51E16F<br>
> > ------------------------------------------------------<br>
> ><br>
> > _______________________________________________<br>
> > Jenkins-infra mailing list<br>
> > <a href="mailto:Jenkins-infra@lists.jenkins-ci.org" target="_blank">Jenkins-infra@lists.jenkins-ci.org</a><br>
> > <a href="http://lists.jenkins-ci.org/mailman/listinfo/jenkins-infra" rel="noreferrer" target="_blank">http://lists.jenkins-ci.org/mailman/listinfo/jenkins-infra</a><br>
> ><br>
> ><br>
<br>
- R. Tyler Croy<br>
<br>
------------------------------------------------------<br>
     Code: <<a href="https://github.com/rtyler" rel="noreferrer" target="_blank">https://github.com/rtyler</a>><br>
  Chatter: <<a href="https://twitter.com/agentdero" rel="noreferrer" target="_blank">https://twitter.com/agentdero</a>><br>
<br>
  % gpg --keyserver <a href="http://keys.gnupg.net" rel="noreferrer" target="_blank">keys.gnupg.net</a> --recv-key 3F51E16F<br>
------------------------------------------------------<br>
</div></div></blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
Jenkins-infra mailing list<br>
<a href="mailto:Jenkins-infra@lists.jenkins-ci.org" target="_blank">Jenkins-infra@lists.jenkins-ci.org</a><br>
<a href="http://lists.jenkins-ci.org/mailman/listinfo/jenkins-infra" rel="noreferrer" target="_blank">http://lists.jenkins-ci.org/mailman/listinfo/jenkins-infra</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div><div>-----</div><div>Arnaud Héritier</div><div><a href="http://aheritier.net" target="_blank">http://aheritier.net</a></div><div>Mail/GTalk: aheritier AT gmail DOT com</div><div>Twitter/Skype : aheritier</div></div>
</font></span></div>
</blockquote></div><br></div>