Django-Multitenant-分布式多租户数据库项目实战(Python\u002FDjango+Postgres+Citus)

2022-03-31 09:45 浏览：145

Python/Django 支持分布式多租户数据库，如 Postgres+Citus。

通过将租户上下文添加到您的查询来实现轻松横向扩展，使数据库(例如 Citus)能够有效地将查询路由到正确的数据库节点。

构建多租户数据库的架构包括：为每个租户创建一个数据库、为每个租户创建一个 schema 和让所有租户共享同一个表。这个库基于第三种设计，即让所有租户共享同一个表，它假设所有租户相关的模型/表都有一个 tenant_id 列来表示租户。

以下链接更多地讨论了何时以及如何为您的多租户数据库选择正确架构的权衡：

https://www.citusdata.com/blog/2016/10/03/designing-your-saas-database-for-high-scalability/

关于多租户的其他有用链接：

https://www.citusdata.com/blog/2017/03/09/multi-tenant-sharding-tutorial/
https://www.citusdata.com/blog/2017/06/02/scaling-complex-sql-transactions/

项目源码

https://github.com/citusdata/django-multitenant

安装

pip install --no-cache-dir django_multitenant

支持的 Django 版本/前提条件。

Python	Django
3.X	2.2
3.X	3.2
3.X	4.0

用法

为了使用这个库，您可以使用 Mixins 或让您的模型从我们的自定义模型类继承。

模型变化

在要使用库的任何文件中导入它：

from django_multitenant.fields import *
from django_multitenant.models import *

所有模型都应继承 TenantModel 类。Ex: class Product(TenantModel):
定义一个名为 tenant_id 的静态变量，并使用该变量指定租户列。Ex: tenant_id='store_id'
TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
实现上述 2 个步骤的示例模型：

class Store(TenantModel):
    tenant_id = 'id'
    name =  models.CharField(max_length=50)
    address = models.CharField(max_length=255)
    email = models.CharField(max_length=50)

  class Product(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()
    class meta(object):
      unique_together = ["id", "store"]
  class Purchase(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)

使用 mixins 更改模型

在您要使用库的任何文件中，只需：

from django_multitenant.mixins import *

所有模型都应使用 TenantModelMixin 和 django models.Model 或您的客户模型类 Ex: class Product(TenantModelMixin, models.Model):
定义一个名为 tenant_id 的静态变量，并使用该变量指定租户列。Ex: tenant_id='store_id'
TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
实现上述 2 个步骤的示例模型：

class ProductManager(TenantManagerMixin, models.Manager):
    pass

  class Product(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()

    objects = ProductManager()

    class meta(object):
      unique_together = ["id", "store"]

  class PurchaseManager(TenantManagerMixin, models.Manager):
    pass

  class Purchase(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)

    objects = PurchaseManager()

在 db 层自动化复合外键：

使用 TenantForeignKey 在租户相关模型之间创建外键将自动将 tenant_id 添加到引用查询(例如 product.purchases)和连接查询(例如 product__name)。如果要确保在 db 层创建复合外键(带有 tenant_id)，则应将 settings.py 中的数据库 ENGINE 更改为 django_multitenant.backends.postgresql。

'default': {
      'ENGINE': 'django_multitenant.backends.postgresql',
      ......
      ......
      ......
    }

在哪里设置租户?

使用中间件编写身份验证逻辑，该中间件还为每个 session/request 设置/取消设置租户。这样，开发人员不必担心基于每个视图设置租户。只需在身份验证时设置它，库将确保其余部分(将 tenant_id 过滤器添加到查询中)。上面的示例实现如下：

from django_multitenant.utils import set_current_tenant

    class MultitenantMiddleware:
        def __init__(self, get_response):
            self.get_response = get_response

        def __call__(self, request):
            if request.user and not request.user.is_anonymous:
                set_current_tenant(request.user.employee.company)
            return self.get_response(request)

在您的设置中，您需要更新 MIDDLEWARE 设置以包含您创建的设置。

MIDDLEWARE = [
   # ...
   # existing items
   # ...
   'appname.middleware.MultitenantMiddleware'
]

在您希望基于租户范围的所有视图中使用 set_current_tenant(t) api 设置租户。这将自动(不指定显式过滤器)将所有 django API 调用范围限定为单个租户。如果未设置 current_tenant，则使用没有租户范围的默认/原生 API。

支持的 API

Model.objects.* 下的大部分 API。
Model.save() 为租户继承的模型注入 tenant_id。

 s=Store.objects.all()[0]
set_current_tenant(s)

#All the below API calls would add suitable tenant filters.
#Simple get_queryset()
Product.objects.get_queryset()

#Simple join
Purchase.objects.filter(id=1).filter(store__name='The Awesome Store').filter(product__description='All products are awesome')

#Update
Purchase.objects.filter(id=1).update(id=1)

#Save
p=Product(8,1,'Awesome Shoe','These shoes are awesome')
p.save()

#Simple aggregates
Product.objects.count()
Product.objects.filter(store__name='The Awesome Store').count()

#Subqueries
Product.objects.filter(name='Awesome Shoe');
Purchase.objects.filter(product__in=p);