Merge branch 'main' into stable

olgram/commands/info.py

@@ -20,8 +20,16 @@ async def info(message: types.Message, state: FSMContext):
         await message.answer("Недостаточно прав")
         return
 
-    bots_count = len(await models.Bot.all())
+    bots = await models.Bot.all()
+    bots_count = len(bots)
     user_count = len(await models.User.all())
+    templates_count = len(await models.DefaultAnswer.all())
+
+    income_messages = sum([bot.incoming_messages_count for bot in bots])
+    outgoing_messages = sum([bot.outgoing_messages_count for bot in bots])
 
     await message.answer(f"Количество ботов: {bots_count}\n"
-                         f"Количество пользователей: {user_count}\n")
+                         f"Количество пользователей (у конструктора): {user_count}\n"
+                         f"Шаблонов ответов: {templates_count}\n"
+                         f"Входящих сообщений у всех ботов: {income_messages}\n"
+                         f"Исходящих сообщений у всех ботов: {outgoing_messages}\n")

olgram/commands/menu.py

@@ -107,6 +107,11 @@ async def send_bot_menu(bot: Bot, call: types.CallbackQuery):
                                    callback_data=menu_callback.new(level=2, bot_id=bot.id, operation="delete",
                                                                    chat=empty))
     )
+    keyboard.insert(
+        types.InlineKeyboardButton(text="Статистика",
+                                   callback_data=menu_callback.new(level=2, bot_id=bot.id, operation="stat",
+                                                                   chat=empty))
+    )
     keyboard.insert(
         types.InlineKeyboardButton(text="<< Назад",
                                    callback_data=menu_callback.new(level=0, bot_id=empty, operation=empty, chat=empty))
@@ -174,6 +179,30 @@ async def send_bot_text_menu(bot: Bot, call: ty.Optional[types.CallbackQuery] =
         await AioBot.get_current().send_message(chat_id, text, reply_markup=keyboard, parse_mode="HTML")
 
 
+async def send_bot_statistic_menu(bot: Bot, call: ty.Optional[types.CallbackQuery] = None,
+                                  chat_id: ty.Optional[int] = None):
+    if call:
+        await call.answer()
+    keyboard = types.InlineKeyboardMarkup(row_width=2)
+    keyboard.insert(
+        types.InlineKeyboardButton(text="<< Назад",
+                                   callback_data=menu_callback.new(level=1, bot_id=bot.id, operation=empty, chat=empty))
+    )
+
+    text = dedent(f"""
+    Статистика по боту @{bot.name}
+
+    Входящих сообщений: <b>{bot.incoming_messages_count}</b>
+    Ответов: <b>{bot.outgoing_messages_count}</b>
+    Шаблоны ответов: <b>{len(await bot.answers)}</b>
+    Забанено пользователей: <b>{len(await bot.banned_users)}</b>
+    """)
+    if call:
+        await edit_or_create(call, text, keyboard, parse_mode="HTML")
+    else:
+        await AioBot.get_current().send_message(chat_id, text, reply_markup=keyboard, parse_mode="HTML")
+
+
 async def send_bot_second_text_menu(bot: Bot, call: ty.Optional[types.CallbackQuery] = None,
                                     chat_id: ty.Optional[int] = None):
     if call:
@@ -329,6 +358,8 @@ async def callback(call: types.CallbackQuery, callback_data: dict, state: FSMCon
             return await send_chats_menu(bot, call)
         if operation == "delete":
             return await send_bot_delete_menu(bot, call)
+        if operation == "stat":
+            return await send_bot_statistic_menu(bot, call)
         if operation == "text":
             await state.set_state("wait_start_text")
             async with state.proxy() as proxy:

olgram/migrations/models/9_20220218211744_update.sql

@@ -0,0 +1,6 @@
+-- upgrade --
+ALTER TABLE "bot" ADD "outgoing_messages_count" BIGINT NOT NULL  DEFAULT 0;
+ALTER TABLE "bot" ADD "incoming_messages_count" BIGINT NOT NULL  DEFAULT 0;
+-- downgrade --
+ALTER TABLE "bot" DROP COLUMN "outgoing_messages_count";
+ALTER TABLE "bot" DROP COLUMN "incoming_messages_count";

olgram/models/models.py

@@ -38,6 +38,9 @@ class Bot(Model):
                                         on_delete=fields.relational.CASCADE,
                                         null=True)
 
+    incoming_messages_count = fields.BigIntField(default=0)
+    outgoing_messages_count = fields.BigIntField(default=0)
+
     def decrypted_token(self):
         cryptor = DatabaseSettings.cryptor()
         return cryptor.decrypt(self.token)

olgram/settings.py

@@ -2,8 +2,10 @@ from dotenv import load_dotenv
 from abc import ABC
 import os
 import logging
-from olgram.utils.crypto import Cryptor
 from functools import lru_cache
+from datetime import timedelta
+import typing as ty
+from olgram.utils.crypto import Cryptor
 
 
 load_dotenv()
@@ -84,7 +86,18 @@ class ServerSettings(AbstractSettings):
     def append_text(cls) -> str:
         return "\n\nЭтот бот создан с помощью @OlgramBot"
 
-    logging.basicConfig(level=os.environ.get("LOGLEVEL", "INFO"))
+    @classmethod
+    @lru_cache
+    def redis_timeout_ms(cls) -> ty.Optional[int]:
+        return int(timedelta(days=14).total_seconds() * 1000.0)
+
+    @classmethod
+    @lru_cache
+    def thread_timeout_ms(cls) -> int:
+        return int(timedelta(days=1).total_seconds() * 1000.0)
+
+
+logging.basicConfig(level=os.environ.get("LOGLEVEL", "WARNING"))
 
 
 class BotSettings(AbstractSettings):

server/custom.py

@@ -7,6 +7,7 @@ from contextvars import ContextVar
 from aiohttp.web_exceptions import HTTPNotFound
 from aioredis.commands import create_redis_pool
 from aioredis import Redis
+from tortoise.expressions import F
 import logging
 import typing as ty
 from olgram.settings import ServerSettings
@@ -30,6 +31,10 @@ def _message_unique_id(bot_id: int, message_id: int) -> str:
     return f"{bot_id}_{message_id}"
 
 
+def _thread_uniqie_id(bot_id: int, chat_id: int) -> str:
+    return f"thread_{bot_id}_{chat_id}"
+
+
 async def message_handler(message: types.Message, *args, **kwargs):
     _logger.info("message handler")
     bot = db_bot_instance.get()
@@ -40,6 +45,7 @@ async def message_handler(message: types.Message, *args, **kwargs):
                            text=bot.start_text + ServerSettings.append_text())
 
     super_chat_id = await bot.super_chat_id()
+    is_super_group = super_chat_id < 0
 
     if message.chat.id != super_chat_id:
         # Это обычный чат
@@ -50,9 +56,25 @@ async def message_handler(message: types.Message, *args, **kwargs):
             return SendMessage(chat_id=message.chat.id,
                                text="Вы заблокированы в этом боте")
 
-        # сообщение нужно переслать в супер-чат
+        bot.incoming_messages_count = F("incoming_messages_count") + 1
-        new_message = await message.forward(super_chat_id)
+        await bot.save(update_fields=["incoming_messages_count"])
-        await _redis.set(_message_unique_id(bot.pk, new_message.message_id), message.chat.id)
+
+        # Пересылаем сообщение в супер-чат
+        if is_super_group:
+            thread_first_message = await _redis.get(_thread_uniqie_id(bot.pk, message.chat.id))
+            if thread_first_message:
+                # переслать в супер-чат, отвечая на предыдущее сообщение
+                new_message = await message.copy_to(super_chat_id, reply_to_message_id=int(thread_first_message))
+            else:
+                # переслать супер-чат
+                new_message = await message.forward(super_chat_id)
+                await _redis.set(_thread_uniqie_id(bot.pk, message.chat.id), new_message.message_id,
+                                 pexpire=ServerSettings.thread_timeout_ms())
+        else:  # личные сообщения не поддерживают потоки сообщений: простой forward
+            new_message = await message.forward(super_chat_id)
+
+        await _redis.set(_message_unique_id(bot.pk, new_message.message_id), message.chat.id,
+                         pexpire=ServerSettings.redis_timeout_ms())
 
         # И отправить пользователю специальный текст, если он указан
         if bot.second_text:
@@ -67,7 +89,8 @@ async def message_handler(message: types.Message, *args, **kwargs):
                 chat_id = message.reply_to_message.forward_from_chat
                 if not chat_id:
                     return SendMessage(chat_id=message.chat.id,
-                                       text="<i>Невозможно переслать сообщение: автор не найден</i>",
+                                       text="<i>Невозможно переслать сообщение: автор не найден "
+                                            "(сообщение слишком старое?)</i>",
                                        parse_mode="HTML")
             chat_id = int(chat_id)
 
@@ -90,6 +113,9 @@ async def message_handler(message: types.Message, *args, **kwargs):
                 await message.reply("<i>Невозможно переслать сообщение (автор заблокировал бота?)</i>",
                                     parse_mode="HTML")
                 return
+
+            bot.outgoing_messages_count = F("outgoing_messages_count") + 1
+            await bot.save(update_fields=["outgoing_messages_count"])
         elif super_chat_id > 0:
             # в супер-чате кто-то пишет сообщение сам себе, только для личных сообщений
             await message.forward(super_chat_id)

server/server.py

@@ -33,7 +33,8 @@ async def register_token(bot: Bot) -> bool:
     if ServerSettings.use_custom_cert():
         certificate = open(ServerSettings.public_path(), 'rb')
 
-    res = await a_bot.set_webhook(url_for_bot(bot), certificate=certificate, drop_pending_updates=True)
+    res = await a_bot.set_webhook(url_for_bot(bot), certificate=certificate, drop_pending_updates=True,
+                                  max_connections=10)
     await a_bot.session.close()
     del a_bot
     return res