config/initializers/json_with_oj.rb あたりに以下のコードを置く

class Oj::Encoder
  def initialize(options)
    @options = options
  end

  def encode(value)
    ::Oj.dump(value, @options)
  end
end

ActiveSupport::JSON::Encoding.json_encoder = Oj::Encoder

多分そのうち Oj 側に Encoder みたいな実装入るだろうから、それが入ったらそっち使うといい。

コードはパブリックドメインです。